575년경 시리아에서 태어난 것으로 추정된다. 열여섯 살에 시나이 수도원의 수도승 마르티리우스의 제자가 되었다. 스승이 죽은 후, 스무 살 무렵부터 시나이산 기슭 톨로스의 한 동굴에서 40년 동안 은수생활을 했다. 그를 만난 사람은 누구나 그의 인격에 감화되었고, 많은 이가 그에게 와서 영적 조언을 구했다. 그 후 요한은 뜻하지 않게 시나이 수도원의 아빠스로 선출되었다. 이 시기에 수도승 영성의 고전이라 할 수 있는 『천국의 사다리』를 저술했을 것이다. 그는 노년에 아빠스직을 양도하고 다시 고독 속에 은거하다 649년경에 선종했다.