1940년 독일 북동부에 위치한 메클렌부르크포어포메른주 로스토크에서 태어났다. 해운회사의 선원으로 일하던 아버지가 나치 간첩 혐의를 받아 시베리아 수용소로 끌려간 일을 계기로 민주화에 눈을 떴다. 기자가 되고 싶었으나 공산당에 가입하지 않았던 탓에 목표를 수정해 신학을 공부해서 목사가 되었다. 동독 체제에 반감을 가졌으나 동독을 떠나지 않고 동독에 머물면서 반체제·반정부 인사로 활동했다. 처음부터 동독의 체제와 거리를 둔 가우크는 국가안전부(슈타지)의 주요 감시대상이었음에도 자신의 뜻을 굽히지 않아 “교화 불가능한 반공산주의자”라는 기록이 국가안전부 문건에 남아 있기도 하다.

1989년 동서독 장벽이 무너지고 독일이 통일되는 과정에서는 동독에서 처음 실시된 자유선거를 통해 인민의회 의원에 당선되었다. 이어서 동독 국가안전부의 문서들을 처리하는 문서관리청의 책임자로 임명되어 10년 동안 국가안전부의 비밀문서와 반인권 사례를 조사하면서 동독의 역사 청산 작업에 크게 공헌했다. 2012년에는 제11대 독일 대통령으로 선출되어 2017년까지 임기를 수행했다.