가난한 세공업자의 십 남매 중 장남으로 태어난 그는, 그의 재능을 발견한 한 목사의 도움으로 학교에 다니기 시작했다. 시립학교와 귀족학교에서 수준 높은 교육을 받으며, 유년 시절에 이미 정통교리주의와 계몽주의 간의 갈등을 경험하고, 18세에 예나 대학교에 진학하여 신학을 공부하기 시작한다. 그러나 어려운 경제 사정으로 졸업시험도 치지 못한 채 가정교사로 일한다. 1790년 칸트의 철학을 접하면서 정신적인 혁명을 경험하고, 자유의 철학인 칸트의 사상에 매료되어 <모든 계시에 대한 비판 시도>라는 최초의 철학적인 글을 써서 칸트를 직접 만난다. 칸트는 이 글을 읽고 익명으로 출간할 수 있도록 도와준다. 이후 이 저작의 저자임이 밝혀지면서 피히테는 무명의 가정교사에서 일약 유명한 철학자로 세간의 주목을 받게 된다.

이후 괴테에게서 칸트주의자인 라인홀트의 승계자로 지목받아 예나 대학교의 교수가 된다. 그러나 예나 대학교에서의 생활은 그다지 평탄하지 않았다. 귀족 출신 대학생들의 비밀조직을 해체하려 한 그의 시도가 혼란을 불러일으켰고, 실러와의 공동 작업 역시 어떤 성과도 없이 격렬한 논쟁으로 끝나고 말았다. 더욱이 ‘학자의 사명에 관한 몇 차례의 강의’가 일요 예배시간에 시행되자 교회로부터 반박당하게 되고, 이 일을 빌미로 무신론자로 몰려 결국 예나 대학교를 떠나게 된다. 베를린으로 건너간 그는 지식이나 학문 자체를 대상으로 하는 ‘학문의 학’인 지식학을 현실로 전환시켜보고자 하지만 실패하고 만다. 이후 그의 명성은 점차 희미해졌다. 그러다가 1805년 「독일 국민에게 고함」 이라는 연설을 통해 사람들의 기억에서 되살아난다. 1810~1812년에 베를린 대학교의 초대 총장으로 활동하다 슐라이어마허와의 불화로 총장직을 그만둔다. 1814년, 장티푸스에 감염되어 숨을 거뒀다.

주요 저작으로는 『전체 학문론의 기초』, 『인간의 사명』, 『독일 국민에게 고함』, 『학문론 또는 이른바 철학의 개념에 관하여』, 『자연법의 기초』 등이 있다