1874년 독일 경건주의의 본거지인 뷔르템베르크의 목회자 가정에서 출생했다. 기독교신앙을 이성적으로 종합하려고 했던 독일 슈바벤 지방의 직관적 영성전통과 경건주의 신앙을, 아버지 크리스티안 하임의 영향 아래 자연스레 체득했다. 1892년 독일 남부의 튀빙엔 대학교에 입학해 1896년 졸업했고, 대학 재학 중에는 경건주의 성경공부 모임과 독일기독대학생연맹에 참여했다. 1893년 슈바벤의 설교자 수양회에서 엘리아스 쉬렝크의 설교를 듣고 이성과 지적 인식 체계 전체의 중생을 경험했고, 대학 졸업 후 5년간 교구목회를 한 뒤 독일기독대학생연맹 실무간사로 활동했다. 1907년에 논문 “미래의 세계상: 철학과 자연과학 그리고 신학의 대립”을 출간해 교수 자격을 취득했다. 그 후 경건주의 신학의 총본산인 할레 대학교에서 7년간 월급 없는 강사 생활을 했으며, 1차 세계대전 중이던 1914년 뮌스터 대학교 정교수로 취임했다. 1차 세계대전이라는 시련기를 보낸 뒤 스승 테오도르 폰 해링의 뒤를 이어 1920년 튀빙엔 대학교 교수로 취임, 이후 1939년 은퇴할 때까지 신학부 교수로 재직했다. 1958년에 작고했다.

칼 하임은 『개신교의 본질』에서 개신교와 로마 가톨릭의 차이점을 간결하고도 심오하게 기술함으로써 개신교신앙의 핵심을 선명하게 보여준다. 아울러 로마 가톨릭교회의 교훈과 근대 과학 및 문학적 통찰을 바탕으로 개신교인으로 산다는 것이 무엇인지를 설득력 있게 전한다. 주요 저서로는 『신앙과 삶』(Glaube und Leben, 1928) 『개신교신앙과 현대사상』(Der evangelische Glaube und das Denken der Gegenwart, 전6권, 1934-1952) 등이 있다.