현재 구글 모회사 알파벳의 이사회 의장이자 나이트-헤네시재단의 대표다. 1977년 스탠퍼드대학교 조교수로 부임한 뒤 같은 대학교 컴퓨터시스템연구소 소장, 학과장, 공대 학장, 부총장 등을 거쳤다. 2000년에는 10대 총장으로 임명되어 2016년까지 역임했으며, 총장으로 재임하는 동안 탁월한 리더십으로 스탠퍼드를 세계 최고의 대학으로 성장시켰고, 일반적인 대학 총장의 범주를 넘어 학계와 업계 그리고 사회 전반에 걸쳐 영향력을 발휘했다. 전기공학과 컴퓨터과학 분야의 세계적 석학으로서 교수로 재직하는 동안 벤처 기업 ‘밉스 컴퓨터 시스템스’를 설립해 현재 컴퓨터 칩의 99퍼센트에 쓰이는 RISC(축소 명령 집합 컴퓨터) 아키텍처를 개발하고 상용화했으며, 그 공로로 컴퓨터 업계의 노벨상으로 불리는 튜링상을 공동 수상했다. 구글 창립자들인 세르게이 브린과 래리 페이지를 비롯한 여러 제자를 길러 내는 등 인재 양성에도 힘을 쏟았다. 또 구글과 시스코 시스템스 등의 이사진으로 오랫동안 활동하며 디지털 혁명에 공헌했다.

2016년 총장 퇴임 이후에는 나이키 회장 필 나이트와 함께 나이트-헤네시 장학 사업을 설립하고 7억 5000만 달러 규모의 장학 기금을 조성해 스탠퍼드 대학원생들의 학업을 지원하고 있다. 나이트-헤네시 장학금 첫 수여를 기념해 출간한 이 책 《어른은 어떻게 성장하는가》에서 존 헤네시는 자신의 오랜 경험을 통해 얻은 ‘성장의 조건’을 10가지로 집약해 새로운 시대를 열어 갈 이들에게 전한다.