백 장군은 1920년 평남 강서 출생으로 1941년 만주군관학교를 졸업한 뒤 일본 괴뢰국인 만주군에서 소위로 임관했다.

백 장군은 일제 간도특설대에서 장교로 복무했다. 간도특설대는 만주국 북부에 있던 사회주의 계열 민족 해방세력인 팔로군, 동북항일연군, 조선의용대와 만주 북서부에 잔존해 있던 대한독립군단을 토벌하기 위한 특수 목적을 띈 독립군 토벌 부대였다. 이 때문에 백 장군은 2009년 친일반민족행위 명단에 올랐고 현충원 안장 여부도 논란이 되고 있다.

그는 1948년 대한민국 정부 수립 후 국군에 입대해 국군 제5연대장과 육군본부 정보국장을 거쳐 1950년 4월에 개성을 관할로 하는 1사단장으로 부임해 1951년까지 사단을 지휘했다.

백 장군은 육군본부 정보국장 재직 중에 발생한 여순 14연대 반란사건 이후 남로당 빨치산 토벌과 군 내 좌경 인사 숙군에 주력했다. 그는 당시 남로당 총책으로 지목돼 사형 선고까지 받은 박정희 전 대통령을 구명했다.

6·25 전쟁 중 낙동강 전투와 38선 돌파 작전 등 결정적인 전투를 지휘했으며 그 공로를 인정받아 1953년 한국군 최초로 대장으로 진급했다. 당시 그의 나이는 33세였다.

백 장관은 6·25전쟁 최대 격전지였던 다부동 전투 때 도망치는 장병들을 모아놓고 "내가 앞장서 싸우겠다. 만약 내가 후퇴하면 나를 먼저 쏘라"며 배수의 진을 쳐 후퇴를 막았던 일화가 유명하다.

그는 1951년 중공군 춘계 공세를 막아 동부 전선 붕괴를 차단했다. 지리산 일대 빨치산 토벌작전에도 나섰다.

정전 회담 때는 한국군 대표로 참가했다. 백 장군은 1959년 합참의장을 지낸 뒤 1960년 5월31일 예편했다. 2010년 6·25전쟁 60주년을 기념해 '명예원수(元帥·5성 장군)'로 추대하는 방안이 검토됐다가 불발됐다.

유족은 부인 노인숙씨와 아들 남혁·남흥씨, 딸 남희·남순씨가 있다. 빈소는 서울아산병원 장례식장 30호실이다. 발인은 오는 15일 오전 7시다.