그는 1762년 7월 15일, 미국 매사추세츠 주 보스턴 근교인 뉴턴에서 태어났다. 할아버지는 뛰어난 의사였고, 토머스와 동명 (同名)이었다. 아버지는 유명한 건축가 찰스 불 핀치(1762ㅡ1844), 어머니의 이름은 해나 앱소프, 토머스는 이들 사이에서 태어난 열한 명의 자식 중 하나다. 보스턴과 라틴 스쿨, 필립스 엑스터 아카데미와 같은 이른바 명문교를 거쳐서, 1814년에 W. L. 프레스 컷(후일 역사가가 됨)과 함께 하버드 대학을 졸업했다. 그 해 모교인 라틴 스쿨에서 교편을 잡다가 이듬해에는 형의 가게 일을 도왔다. 1818년, 국회의사당의 설계를 맡은 아버지를 따라 모든 식구가 워싱턴으로 이주하자, 실업가가 될 꿈을 핀다.