1927년 함경남도 나남에서 늦둥이 외아들로 태어났다. 아들을 얻고 싶어 아버지가 기독교 신앙을 가진 후 얻은 아들이라 하여 이름을 요섭으로 지었다는 얘기를 장편문학자전에서 밝히고 있다. 1941년 ≪매일신보≫ 신춘문예에 ＜고개 너머 선생＞이 입선돼 등단을 했다. 그 후 1947년 ≪소학생≫지에 시베리아 벌목노동자로 떠나는 이야기 ＜연＞을 발표하고 1949년에는 현대적 서사 구조 안에 ‘환상’이라는 문학적 장치를 내장한 작품 ＜늙은 나무의 노래＞를 발표했다.

1945년 해방 무렵 청진 교원대학에 들어가 시와 동화를 중심으로 동인 활동을 시작하지만 곧 월남을 감행한다. 월남해서는 ≪소학생≫ 등 잡지에 작품(주로 동화)을 발표하면서 본격적인 작품 활동을 했다. 생업의 일을 하면서도 시와 동화 쓰는 일을 멈추지 않아 23세(1954년) 때 첫 시집 ≪체중≫을 상재했다. 이어 1957년 첫 소년소설 ≪따뜻한 밤≫을 상재하고 이때부터 동화작가로서 김요섭의 위상이 뚜렷해져 한국동화작가협회 간사장직을 수행하게 된다. 시작이 많았던 20대와는 달리 김요섭의 30대 문학적 열의는 주로 장편동화집을 내는 데 기울었다. 1967년 40세가 되는 해, 김요섭은 한국시인협회 한국 신시 60년 기념사업회 사무국장, ≪월간문학≫ 편집위원 등 복수의 직책을 맡아 왕성한 문단 활동을 하면서 작가로서의 지평을 넓혀 간다. 1971년 44세 때 국제펜클럽 한국본부 이사에 선출되고 1972년에는 일본 펜클럽 주최 일본문화국제회의에 한국 대표로 참가하기도 했다. 김요섭의 문단 활동은 1977년 문협 이사장 직무 대행, 1979년(52세) 제4차 세계시인대회 사무총장을 끝으로 공적 직함이 마감된다. 그리고 1993년 대한민국예술원 회원이 됨으로써 그의 문학 인생은 절정의 보상을 받고 대단원의 막을 내린다. 1997년 11월 3일 타계했다.