1948년 5월 경향신문 편집국장을 지낸 바 있는 언론인 김광주의 아들로 서울에서 태어났다. 돈암초등학교와 휘문중·고를 졸업하고 고려대에 입학하였으나 정외과와 영문과를 중퇴했다. 1973년부터 1989년 말까지 한국일보에서 기자생활을 했고, [시사저널] 사회부장, 편집국장, 심의위원 이사, 국민일보 부국장 및 출판국장, 한국일보 편집위원, 한겨레신문 사회부 부국장급으로 재직하였으며 2004년 이래로 전업작가로 활동하고 있다.

그는 휘문 중학교와 고등학교를 다니던 시절 산악부에 들어가서 등산을 많이 다녔다. 인왕산 치마바위에서 바위타기를 처음 배웠다 한다. 대학은 처음에는 고려대 정외과에 진학했다.(1966년). 2학년 때 우연히 바이런과 셸리를 읽은 것이 너무 좋아 2학년 1학기를 마치고 정외과에 뜻이 없어서 학교를 그만두고 집에서 영시를 읽으며 영문과로 전과할 준비를 했다. 그래서 동기생들이 4학년 올라갈 때 그는 영문과 2학년생이 되었다. 영문과로 옮기고 나서 한 학년을 다니고 군대에 갔다. 제대하니까 여동생도 고대 영문과에 입학했다. 당시 아버지가 돌아가셔서 집안이 어려운 상태라 한 집안에 대학생 두 명이 있을 수는 없었다. 돈을 닥닥 긁어 보니까 한 사람 등록금이 겨우 나오길래 김훈은 "내가 보니 넌 대학을 안 다니면 인간이 못 될 것 같으니, 이 돈을 가지고 대학에 다녀라"라고 말하며 그 돈을 여동생에게 주고, 자신은 대학을 중퇴했다.

김훈 씨는 모 월간지의 인터뷰에서 문학에 대한 자신의 생각을 이렇게 피력하기도 했다. "나는 문학이 인간을 구원하고, 문학이 인간의 영혼을 인도한다고 하는, 이런 개소리를 하는 놈은 다 죽어야 된다고 생각합니다. 문학이 무슨 지순하고 지고한 가치가 있어 가지고 인간의 의식주 생활보다 높은 곳에 있어서 현실을 관리하고 지도한다는 소리를 믿을 수가 없어요. 나는 문학이란 걸 하찮은 거라고 생각하는 거예요. 이 세상에 문제가 참 많잖아요. 우선 나라를 지켜야죠, 국방! 또 밥을 먹어야 하고, 도시와 교통문제를 해결해야 하고, 애들 가르쳐야 하고, 집 없는 놈한테 집을 지어줘야 하고…. 또 이런 저런 공동체의 문제가 있잖아요. 이런 여러 문제 중에서 맨 하위에 있는 문제가 문학이라고 난 생각하는 겁니다. 문학뿐 아니라 인간의 모든 언어행위가 난 그렇다고 생각합니다.

그런데 펜을 쥔 사람은 펜은 칼보다 강하다고 생각해 가지고 꼭대기에 있는 줄 착각하고 있는데, 이게 다 미친 사람들이지요. 이건 참 위태롭고 어리석은 생각이거든요. 사실 칼을 잡은 사람은 칼이 펜보다 강하다고 얘기를 안 하잖아요. 왜냐하면 사실이 칼이 더 강하니까 말할 필요가 없는 거지요. 그런데 펜 쥔 사람이 현실의 꼭대기에서 야단치고 호령할려고 하는데 이건 안 되죠. 문학은 뭐 초월적 존재로 인간을 구원한다, 이런 어리석은 언동을 하면 안 되죠. 문학이 현실 속에서의 자리가 어딘지를 알고, 문학하는 사람들이 정확하게 자기 자리에 가 있어야 하는 거죠" 그가 글을 쓰는 이유는 "나를 표현해 내기 위해서"이며 또 "우연하게도 내 생애의 훈련이 글 써먹게 돼 있으니까" 쓰는 것이라 한다. 그의 희망은 희망이 여러 가지 있는데 첫 번째가 음풍농월하는 것이라 한다. 또 음풍농월 하면서도 당대의 현실을 말할 수 있어야 한다고 생각한다.

김훈이 언어로 붙잡고자 하는 세상과 삶은 거창한 것이 아니다. 선상에서 밧줄을 잡아당기는 선원들이기도 하고, 자전거의 페달을 밟고 있는 자기 자신이기도 하고, 심지어는 민망하게도 혹은 선정주의의 혐의를 지울 수 없게도 미인의 기준이기도 하다. 그는 현미경처럼 자신과 바깥 사물들을 관찰하고 이를 언어로 어떻게든 풀어내려고 하며, 무엇보다도 어떤 행위를 하고 그 행위를 하면서 변화하는 자신의 몸과 느낌을 메타적으로 보고 언어로 표현해낸다. 시인이자 문학평론가인 남진우는 그를 일러 '문장가라는 예스러운 명칭이 어색하지 않은 우리 세대의 몇 안되는 글쟁이 중의 하나'라고 평하고 있기도 하다.

1986년 [한국일보] 재직 당시 3년 동안 [한국일보]에 매주 연재한 것을 묶어 낸 『문학기행』(박래부 공저)으로 해박한 문학적 지식과 유려한 문체로 빼어난 여행 산문집이라는 평가를 받은 바 있으며 한국일보에 연재하였던 독서 산문집 『내가 읽은 책과 세상』(1989) 등의 저서가 있으며 1999∼2000년 전국의 산천을 자전거로 여행하며 쓴 에세이 『자전거여행』(2000)도 생태·지리·역사를 횡과 종으로 연결한 수작으로 평가 받았다.

그의 대표 저서로는 『칼의 노래』를 꼽을 수 있다. 2001년 동인 문학상 수상작이기도 한 이 책은 전략 전문가이자 순결한 영웅이었던 이순신 장군의 삶을 통해 이 시대 본받아야 할 리더십을 제시한다. 영웅 이순신의 드러나 있는 궤적을 다큐멘터리식으로 복원하여 현실성을 부여하되, 소설 특유의 상상력으로 이순신 1인칭 서술을 일관되게 유지하여 전투 전후의 심사, 혈육의 죽음, 여인과의 통정, 정치와 권력의 폭력성, 죽음에 대한 사유, 문(文)과 무(武)의 멀고 가까움, 밥과 몸에 대한 사유, 한 나라의 생사를 책임진 장군으로서의 고뇌 등을 드러내고 있다.

이외의 저서로 독서 에세이집 『선택과 옹호』, 여행 산문집 『풍경과 상처』,『자전거여행』,『원형의 섬 진도』, 시론집 『‘너는 어느쪽이냐’고 묻는 말에 대하여』,『밥벌이의 지겨움』, 장편소설 『빗살무늬 토기의 추억』, 『아들아, 다시는 평발을 내밀지 마라』 등이 있다.