김상훈은 1919년 경상남도 거창에서 태어났다. 어려서 한문을 공부했으며, 연희전문학교를 졸업했다. 학도병이 되기를 거부해 졸업하면서 바로 원산철도공장으로 끌려가 징용살이를 했다. 병으로 돌아온 뒤 항일 활동을 하다가 1945년 1월에 붙잡혀서 서대문 형무소에서 징역을 살았다. 해방 뒤 조선문학가동맹에 참여하여 왕성하게 시를 써 발표했다. 1946년에 김광현, 이병철, 박산운, 유진오 들과 『전위시인집』을 펴냈다. 한국 전쟁 때 종군 작가뾔 전선에 들어갔다가 북에 남았다. 북에서는 시를 쓰는 한편, 고전 문학을 오늘의 세대에게 전하는 일에 힘을 쏟았다. 1986년 68세의 나이로 세상을 떠났다.

예부터 내려온 민간의 노래를 정리해 ‘가요집’을 엮었고, 우리 역사의 한시들을 골라서 ‘한시집’을 엮었다. 아내 류희정과 이규보 작품집을 두 권으로 엮은 것이 2005년에 『동명왕의 노래』와 『조물주에게 묻노라』로 남에서 출간되었다.

김상훈이 세상을 떠난 뒤에 북에서 유고시집 『흙』을 출간하였다.
2003년에 김상훈의 시비가 그의 고향인 거창에 세워졌으며, 『김상훈 시전집』(박태일 엮음, 세종출판사)과 『김상훈 시 연구』(한정호 엮음, 세종출판사)가 나왔다.