경기도 이천에서 태어났다. 고려대 상대를 다니던 중 운명적인 사랑을 만나 결혼을 했으나, 집안의 반대와 강요로 아내가 가출하자 깊이 상심하게 된다. 결국 다니던 학교를 중퇴하고 사랑하는 아내를 찾아 20여 년 간 전국을 유랑했다. 그러한 자신의 절절한 체험들을 소설화한 『하얀 기억 속의 너』를 펴냈는데, ‘20세기 마지막 순애보’라는 찬사와 함께 100만 부 이상이 판매되어 수많은 독자들의 심금을 울렸다.

그 후 『하얀 사랑』 『하얀 소망』(『내 안의 너』로 재출간)을 발표했다. 또한 그동안 독자들로부터 온 편지와 그에 대한 단상을 정리한 『김상옥의 러브레터』(2003년)를 펴냈다. 그리고 모계(母系) 쪽으로 3대에 걸쳐 무병(巫病)에 걸린 미스코리아 출신의 한 여인의 사랑과 출생에 얽힌 비화를 다룬 『그 사랑이 나를 부르네』(2004년)를 발표하고 5년 만에 새소설 『북 치는 여자』를 출간했다.

김상옥 작품은 모두 실화를 바탕으로 한다는 점과, 인간의 가장 원초적인 욕망인 사랑을 테마로 하고 있다는 공통점을 지니고 있다. 그런 강점들로 인해서 그의 작품이 오래 묵은 장맛처럼 세월이 지나도 끊임없이 사랑받고 있다.