1926년 경상북도 안동 출생, 한국 이름은 김윤규(金胤奎). 안동시 교외 봉정사의 승려였던 아버지를 따라 4살 때부터 절에 다니면서 노선사(老禪師)로부터 한학과 경전 공부를 했다. 어린 나이에 아버지의 죽음, 어머니의 재혼, 일본으로 이주 등 풍파를 겪었다. 청소년기에는 일본 고전과 나쓰메 소세키, 가와바다 야스나리 등의 근대 소설을 섭렵했고, 1945년 와세다 대학 법학과에 입학하였으나 문학부로 학적을 옮기고 작가의 길을 준비한다.

1951년 「문학자(文學者)」에 처녀작인 「늦여름 혹은 이별곡」을 발표하여 등단한 이후, 1964년 「신조(新潮)」에 「다키기노」를 발표하고 아쿠다가와상 후보에 오른다. 한일 혼혈, 퇴폐의 미(美)라는 독특한 소재를 다룬 1965년작 「쓰루기가사키」는 대단한 호평을 받았고, 1966년 「하얀 양귀비」로 제15회 나오키상을 수상하며 일본 현대문학의 거두로 독보적인 지위를 확보하게 된다. 특히 1968년 「요미우리신문」에 연재한 소설 「겨울여행」에서는 소년원에서 고독한 생활을 보내는 씩씩한 주인공의 모습을 그려 대중적인 큰 공감을 받았다. 특히 그의 작품들은 독특한 질감의 미학적 묘사로 여성독자들로부터 폭넓은 사랑을 받았다.
1980년 「요미우리신문」에 「그해 겨울」을 연재하던 중 식도암으로 55세의 나이에 사망하였다.