일본 도쿄대학교 이학부를 졸업하고 총리부 통계국에서 근무하다 미국으로 건너가 시카고대학교 사회학과에서 석사, 박사학위를 받았다. 컬럼비아대학교 공공위생대학원 조교수, UCLA 사회학부 조교수 등을 거쳐 1991년부터 시카고대학교 사회학과 석좌교수로 재임하며 2003년부터 RIETI(경제산업연구소) 객원연구원을 겸임하고 있다. 저서로는 『논쟁 일본의 워크 라이프 밸런스』(공저, 일본경제신문출판사, 2008), 『다이버시티』(동양경제신문사, 2008), 『워크 라이프 밸런스 실증과 정책 제언』(일본경제신문사, 2009; 한국어판 『일과 가정의 양립과 저출산』, 한국보건사회연구원, 2010) 등이 있다.
2003년 국제통계협회(ISI) 선정 ‘1981∼99년에 학술논문이 가장 많이 인용된 250명의 학자’ 중 한 명이기도 한 야마구치 가즈오는 『직장에서의 남녀 불평등』으로 2017년 일본에서 가장 권위 있는 상 중의 하나로 꼽히는 ‘일본경제도서문화상’을 수상한 데 이어, 성 평등에 기여한 책을 매년 한 권씩 선정하여 수여하는 ‘소화여자대학성문화연구상’도 수상하였다.