1941년 일본 오사카에서 출생하고, 1945년 귀국하여 전라남도 순천에서 성장하였다. 순천고등학교와 서울대학교 불어불문학과를 졸업하였다. 4·19혁명이 일어나던 해인 1960년에 대학에 입학해서 4·19세대로 일컬어지기도 한다. 1962년 단편 「생명연습」이 『한국일보』 신춘문예에 당선되어 등단하였으며, 같은 해 김현, 최하림 등과 더불어 동인지 『산문시대』를 창간하고, 이 동인지에 「건」, 「환상수첩」 등을 발표하며 본격적인 문단활동을 시작하였다.

김승옥은 대학 재학 때 『산문시대』 동인으로 활동했으며, 「환상수첩」(1962), 「건」(1962), 「누이를 이해하기 위하여」(1963) 등의 단편을 동인지에 발표했다. 이후 「역사(力士)」(1964), 「무진기행」(1964), 「서울, 1964년 겨울」(1967) 등의 단편을 1960년대에 걸쳐 지속적으로 발표했다. 1970년대에 이르러서는 「서울의 달빛 0장」(1977), 「우리들의 낮은 울타리」(1979) 등을 간헐적으로 발표하면서 절필하기 전까지 20여 편의 소설을 남겼다.

1980년 [동아일보]에 장편 「먼지의 방」을 연재하다가 광주민주화운동 소식에 창작 의욕을 상실하고 절필했다. 1999년 세종대학교 국어국문학과 교수로 부임했지만, 2003년 오랜 친구인 소설가 이문구의 부고를 듣고 뇌졸중으로 교수직을 사임했다. 6·25전쟁이 끝난 후 나타난 문학의 무기력증을 뛰어넘은 것으로 평가받으며 1960년대적인 특징을 대표하는 작가로 자리잡았다. 문학평론가 유종호는 김승옥의 작품에 대해 “감수성의 혁명이다. 그는 우리의 모국어에 새로운 활기와 가능성에의 신뢰를 불어넣었다.”고 평했다. 그는 「서울, 1964년 겨울」로 제10회 동인문학상을, 「서울의 달빛 0장」으로 제1회 이상문학상을 수상했다.

김승옥의 소설은 대체로 개인의 꿈과 낭만을 용인하지 않는 관념체계, 사회조직, 일상성, 질서 등에 대한 비판의식을 그 내용으로 하고 있다. 기성의 관념체계, 허구화된 제도, 내용 없는 윤리감각이라는 일상적인 질서로부터 일탈하려는 열망, 곧 아웃사이더를 향한 열정이 김승옥 소설의 중심적이고 일관된 내용이다.

김승옥의 소설은 크게 두 시기로 나누어 볼 수 있다. 초기소설은 아웃사이더를 향한 열정이 현실을 압도하는바, 낭만주의적 색채를 강하게 띤다. 「환상수첩」, 「확인해 본 열다섯 개의 고정관념」 「생명연습」 등의 초기소설은 환각이나 환상을 쫓는 삶 혹은 현실을 초월한 삶에 대한 강렬한 동경이 두드러진다. 「무진기행」 이후 현실의 엄정한 법칙성을 인정하면서 변화하기 시작하며, 그의 후기소설은 초기의 아웃사이더를 향한 열정 대신에 꿈이나 환상을 잃고 살아갈 수밖에 없는 삶에 대한 환멸과 허무의지로 가득 찬다.

「서울 1964년 겨울」, 「야행」, 「차나 한잔」, 「염소는 힘이 세다」, 「1960년대식」 「서울 달빛 0장」 등 김승옥의 후기소설은 산업사회의 한 기호로서 살아가는 인간들의 상실감을 주로 형상화한다. 그리고 마지막으로 에로스적 열정으로 기성의 질서를 넘어서려는 시도를 보이기도 하지만, 이러한 의도를 담은 「보통여자」, 「강변부인」 등에서는 김승옥 소설이 지녔던 문제적인 성격을 찾아보기 힘들다.

그러므로 김승옥의 작품 속 인물들은 반짝이는 빛의 내면과 동시에 속된 일상의 외관을 동시에 지닌 역설적인 인물들이다. 그들은 빛의 아름다움을 알고 있지만, 그와 동시에 일상 속에서 존재할 수밖에 없는 타락한 윤리와 무책임성도 인정하고 있는 것이다. 그러나 이러한 특징은 1960년대만 유효할 수 있을 뿐이다. 1970년대에 들어 본격적으로 전개되는 왜곡된 근대화의 모순 그리고 이에 대한 응전 방식으로 발화하는 새로운 엄숙주의 앞에서는 무력하게 좌초할 수밖에 없는 것이기 때문이다.

김승옥 소설은 감각적인 문체, 언어의 조응력, 배경과 인물의 적절한 배치, 소설적 완결성 등 소설의 구성원리 면에서 새로운 기원을 열었다고 할 수 있으며, 또한 4·19혁명의 열광적인 분위기를 문학적 언어로 환치시키면서 전후세대문학의 무기력증을 뛰어넘었다는 점에서 문학사적으로 높은 평가를 받고 있다. 2010년에는 순천문학관에 그의 생애와 문학 사상을 기리기 위한 김승옥관이 마련되기도 했다.