1948년 5월 경향신문 편집국장을 지낸 바 있는 언론인 김광주의 아들로 서울에서 태어났다. 돈암초등학교와 휘문중·고를 졸업하고 고려대에 입학하였으나 정외과와 영문과를 중퇴했다. 1973년부터 1989년 말까지 한국일보에서 기자생활을 했고, [시사저널] 사회부장, 편집국장, 심의위원 이사, 국민일보 부국장 및 출판국장, 한국일보 편집위원, 한겨레신문 사회부 부국장급으로 재직하였으며 2004년 이래로 전업작가로 활동하고 있다.

1986년 [한국일보] 재직 당시 3년 동안 [한국일보]에 매주 연재한 것을 묶어 낸 『문학기행』(박래부 공저)으로 해박한 문학적 지식과 유려한 문체로 빼어난 여행 산문집이라는 평가를 받은 바 있으며 한국일보에 연재하였던 독서 산문집 『내가 읽은 책과 세상』(1989) 등의 저서가 있으며 1999∼2000년 전국의 산천을 자전거로 여행하며 쓴 에세이 『자전거여행』(2000)도 생태·지리·역사를 횡과 종으로 연결한 수작으로 평가 받았다.

그의 대표 저서로는 『칼의 노래』를 꼽을 수 있다. 2001년 동인 문학상 수상작이기도 한 이 책은 전략 전문가이자 순결한 영웅이었던 이순신 장군의 삶을 통해 이 시대 본받아야 할 리더십을 제시한다. 이외의 저서로 독서 에세이집 『선택과 옹호』, 여행 산문집 『풍경과 상처』,『자전거여행』,『원형의 섬 진도』, 시론집 『‘너는 어느쪽이냐’고 묻는 말에 대하여』,『밥벌이의 지겨움』, 장편소설 『빗살무늬 토기의 추억』, 『아들아, 다시는 평발을 내밀지 마라』 등이 있다.

1916년 개성에서 태어나 개성 송도고등보통학교를 졸업하였다. 1943년 개성 부립박물관에 입사하여 2년후 서울국립박물관으로 전근하였다. 이후 국립박물관 학예관, 미술과장, 학예연구실장 등을 역임하였다. 1950년대부터 서울대, 고려대, 홍익대, 이화여대 등에서 미술사 강의를 하였으며, 1967년 이후 문화재위원회위원, 한국미술평론가협회 대표, 한국미술사학회 대표 등으로 활동하였다. 1974년부터 1984년까지 제4대 국립중앙박물관의 관장으로 활동하면서, 국립중앙박물관의 발전, 확장에 공을 세웠다. 1981년 2월 23일 홍익대학원에서 명예문학박사 학위를 취득한 그는 1984년 12월 16일 성북동 자택에서 별세했다.

한 평생 문화재와 한국 전통미술에 대한 애착으로 살아온 그는 심미안의 소유자로 일찍이 우리나라 고미술의 빼어난 아름다움을 알아보았다. 한국의 도자기, 전통 목공예, 회화사 부분에서 많은 학문적 업적을 남겼으며, 그의 대표작 『무량수전 배흘림기둥에 기대서서』는 이러한 애정을 바탕으로 하여 회화, 도자, 조각, 건축 등 한국 미술의 전 영역에 걸친 작품 120여점에 대한 글들을 담고 있다. 그는 이 책에서 달항아리를 '너무나 욕심이 없고 순정적이어서 마치 인간이 지닌 가식 없는 어진 마음의 본바탕을 보는 듯 하다', '그 어리숭하게 둥근 맛을 어느 나라의 항아리에서도 찾아볼 수 없다는 데서 대견함을 느낀다', '잘생긴 며느리 같다'고 표현하는 등 예술과 전통을 대중들이 친숙하게 느낄 수 있도록 하였다.

황수영, 진홍섭과 더불어 개성의 3걸로 불린 그는 박물관에서 일한 경험에 근거하되 강한 직관을 바탕으로 한국의 미를 찾고자 노력하였다. 그는 한국미에 대해 "우리 강산 어디서나 볼 수 있는 것이 특징이며, 거기에는 우리민족의 성정이나 생활이 녹아 있어 그들이 표현한 미술품에 나타난 아름다움도 다른 나라와 비교할 수 없는 익살, 은근, 고요, 순리, 백색, 담조(淡調), 추상 등 독자적인 미의 특질을 지녀 세계적인 미술품으로 당당히 자리잡은 것"이라는 한국미론을 구축하였다.

논문으로는 「단원 김홍도 재세연대고(檀園金弘道在世年代攷)」, 「겸재 정선론(謙齋鄭?論)」, 「한국의 불화(佛畵)」, 「혜원 신윤복론(蕙園申潤福論)」, 「이조의 화가들」 등이 있으며, 저서로는 『한국미술사』, 『무량수전 배흘림 기둥에 기대서서』가 있다.

그가 살았던 '최순우 옛집'은 서울 성북구 성북2동에 위치하고 있으며, (재)내셔널트러스트의 시민문화유산1호로 지정되어 잘 보존되고 있다. 개발논리에 의해 사라질 뻔한 것을 시민들이 지켜냄으로써 최순우 선생의 정신을 기림과 동시에 근대문화유산 보존에 대한 의미도 함께 살리고 있다. 이곳에서는 문화강좌, 연극활동 등 다양한 문화행사가 개최되어 있어 문화유산에 대한 보존과 공전이라는 현대적 의미를 재창조 하고 있다.