도쿄에서 태어나, 도쿄대학교 문학부 언어학과를 졸업하였다. 니혼대학교 예술학부에서 학생을 가르치며 문예동인지 《신사조》의 제15차 동인으로 참가했다. 1951년 《명부산수도》를 발표하며 작가로 데뷔했다. 이 작품으로 ‘아쿠타가와의 재래’라는 호평을 받았다. 일본 문학사에서는 야스오카 쇼타로, 엔도 슈사쿠 등과 함께 ‘제3의 신인’으로 불린다. 1967년 《모형 정원》으로 신초문학상을 수상했으며, 1982년에는 《무사시노 인디언》으로 문화청이 주관하는 예술선장 문부대신상을 수상했다. 1999년에는 제14회 산케이정론 대상을 수상했으며, 같은 해 정부에서 선정하는 ‘문화공로자’로도 뽑혔다. 1985년부터 1986년까지 문화청 장관을 역임했고, 2004년부터 일본예술원 원장을 맡고 있다.국내에 소개된 책으로는 《청소년에게 권하고 싶은 세계의 명작》, 《다시 느끼고 싶은 세계의 명작》 등이 있고, 현재도 왕성한 작품활동을 하고 있다.
우리나라에서도 베스트셀러 작가로 잘 알려진 소노 아야코가 그의 아내이다.