막부 말기였던 1840년, 부농의 아들로 태어나 일찍이『논어』『대학』등의 고전을 익혔다. 마지막 쇼군 도쿠가와 요시노부의 신하였으나 막부가 무너지면서 메이지 신정부의 관리가 되어 근대 일본을 세우는 데 앞장섰다. 요시노부의 신하였던 1867년, 27살의 나이에 파리 만국 박람회를 시찰하며 유럽 자본주의를 체험했다. 자본주의와 기업 경영의 중요성을 깨달은 그는 귀국 후 메이지 신정부에서 대장성 조세사정, 개정국 국장을 역임하며 일본의 조세, 화폐, 은행, 회계 등을 개혁했다. 1873년 ‘상업이 부흥해야 나라가 선다’는 신념으로 관직을 내려놓고 철도회사, 가스회사, 전등회사, 방직회사 등 500여 개의 기업을 세웠다. 그중 다수는 지금도 일본 경제의 견인차 역할을 하고 있다.
그는 도쿄양육원, 일본 적십자사 등 600여 개의 자선기관을 세우며 노블레스 오블리주를 몸소 실천한 인물이었다. 미국, 중국, 인도 등에서 민간 외교활동을 벌이기도 했으며 ‘도덕 경영’을 자신의 경영철학으로 삼고 실천했다. 이는 그의 저서인『논어와 주판』에도 잘 녹아있다. 이런 공적으로 1926년, 1927년에는 연속으로 노벨평화상 후보에 오르기도 했다. 그가 지금도 세계 각국 CEO들의 모델로 꼽히고 있는 이유는 그가 성공한 경영인이기도 했지만, 경영 철학을 만들고 실천한 인물이기 때문이다.