1913년 평양에서 출생하여 평양 숭실중학교를 졸업하였으며 숭실전문학교 문과에 입학하였다. 1936년 모교인 숭일학교에서 교편을 잡았으며, 1946년에는 숭일학교 초대 교감으로 취임하였다. 1951년에는 조선대학교 문리과 대학 부교수로 취임하였고, 1960년에는 숭실대학 부교수로 취임하여 1972년에는 숭전대학교 문리과대학장에 임명되었다.
1934년 「쓸쓸한 겨울 저녁이 올 때 당신들은」과 「어린 새벽은 우리를 찾아온다 합니다」를 《동아일보》에 발표하며 문단에 등단하였다. 1955년에 한국시인협회 제1회 시인상 대상에 선정되었으나 수상을 거부하였다. 같은 해 5월, 한국문학가협회 중앙위원에 임명되었으며, 7월에는 전라남도 제1회 문화상 문학 부문을 수상하였다. 1961년에는 한국문인협회 이사에 선출되었다. 1973년에 서울특별시문화상 문학 부문상을 수상하였다.
저서로 『김현승시초』, 『옹호자의 노래』, 『견고한 고독』, 『절대고독』, 『한국현대시해설』, 『세계문예사조사』, 『김현승시전집』, 『마지막 지상에서』, 『고독과 시』 등이 있다. 1975년 4월 11일 숭전대학교 채플 시간에 기도 중 고혈압으로 쓰러진 뒤, 자택에서 운명을 달리 하였다.