1776년 5월 4일 올덴부르크에서 법률가이며 지방정부의 법률고문인 아버지 토마스 게르하르트 헤르바르트, 어머니 루치아 마르가레테 헤르바르트(출생명 쉬테) 사이에 태어났다. 1788년부터 올덴부르크의 라틴어학교(김나지움)를 다녔는데, 그는 특히 고전어와 수학, 자연과학에 열심이었다. 또한 당시 명성이 높던 칸트의 철학을 공부하기 시작했다. 1794년 예나에서 부모의 희망에 따라 법학 공부를 시작했지만 철학에 관심을 기울이게 되었다. 당시 예나대학에 있던 피히테의 영향을 크게 받았지만 얼마 안 가서 거리를 두게 되었다. 1797년 봄 스위스 베른의 주지사 슈타이거의 두 아들을 가르치기 위해 가정교사로 입주했으며, 이 시기에 스위스에서 민중교육의 실천으로 명성을 얻고 있던 페스탈로치를 만나고 그의 교육관과 교육 실천에 감명을 받았다. 1802년 괴팅겐으로 가서 같은 해에 박사학위와 교수 자격을 취득하고, 1805년부터 철학과 교육학 조교수로 활동했다. 1806년 ≪일반교육학≫과 ≪형이상학의 주안점들≫을 출판해 철학적.교육학적 전체 체계를 확립했다.
1808년 칸트의 후임으로 쾨니히스베르크 대학의 정교수로 취임하여 철학의 여러 분야에 대해 가르쳤고, 1810년에는 새로 개설된 교육학과를 이끌고 일종의 부속학교를 설립·운영했다. 1811년 영국에서 이주해 온 상인가문의 딸 메리 제인 드레이크(Mery Jane Drake)와 결혼했다. 이후 왕성한 저술 활동을 펼쳤는데, ≪철학입문 교본≫, ≪심리학 교본≫, ≪학문으로서의 심리학≫ 등이 이 시기의 대표작들이다.
1831년 사망한 헤겔의 후임으로 베를린대학으로 옮기고자 했으나 프로이센 정부가 다른 학자를 헤겔 후임으로 임명하자 실망한 헤르바르트는 쾨니히스베르크대학을 떠나서 괴팅겐대학으로 옮겼다. 헤르바르트가 1837년 철학부의 학장을 지낼 당시, 새로 등극한 하노버 왕이 요구한-반개혁적인 내용이 포함되어 있는-충성 서약을 거부한 7인의 교수들에 대해 거리를 둠으로써 교수단과 학생들의 냉대를 당하게 되었다. 이로 인해 헤르바르트는 쓸쓸한 말년을 보내다가 1841년 8월 14일 65세의 나이에 심장마비로 사망하여 괴팅겐의 시립묘지에 안장되었다.

고려대학교 독어독문학과를 졸업하고 1984년부터 서울 소재 한성고등학교에서 10년간 독일어과 교사로 재직했다. 1994년부터 독일 마인츠대학교에서 교육학, 철학, 독문학을 공부하고 철학박사(교육철학) 학위를 받았다[박사학위 논문: ＜Der Begriff der Bildung bei Immanuel Kant, Max Scheler und Theodor Ballauff(칸트, 셸러, 발라우프의 도야개념)＞]. 2004년부터 현재까지 고려대학교 교육문제연구소 연구교수로 재직하고 있다. 관심 분야는 독일 교육사상과 교수이론, 그리고 인성교육 패러다임 연구 등이다. 저서로는 ≪칸트의 교육이론≫(학지사, 2003)이 있고, 역서로 ≪헤르바르트의 일반교육학≫(학지사, 2006)이 있으며, 논문으로는 ＜체계적 교육학의 필요성과 가능성＞(2006)등 다수가 있다.