1930년에 일본 시즈오카현 하마마쓰에서 출생하여 주로 도쿄에서 어린 시절을 보냈다. 도쿄대학교에서 수학으로 학사 및 박사 학위를 취득했으며, 다니야마 유타카와 함께 ‘페르마의 마지막 정리’의 일반화인 ‘다니야마-시무라 추론’(1957)을 제창하였다. 이후 프린스턴 대학교 수학과에 재직하면서 대수기하학과 정수론에 많은 업적을 남겼다.