1944년 10월 9일 경남 하동에서 태어나 진주사범학교와 성균관대 법대를 졸업했다. 부산지검 울산지청장, 서울지검·부산지검 차장검사, 서울지검 남부지청장을 거쳐 대검찰청 감찰부장을 지냈으며, 광주지검과 부산지검에서 검사장을 역임했다. 따뜻함과 깐깐함을 두루 갖춘 원칙주의자로 알려져 있고, 공사를 엄격히 구분하는 강직한 성품이라는 평을 듣는다. 검사 재직 시절 이철희· 장영자 부부 어음 사기 사건, ‘대도’ 조세형 탈주 사건, 수서 사건, 워커힐 카지노 외화 밀반출 사건 등 굵직한 사건들을 처리해 ‘특별 수사통’이라 불리기도 했다. 1991년 대검 중앙수사부 3과장 시절에는 국내 처음으로 컴퓨터 해커를 적발했으며, 울산지청장으로 재직하면서 환경보호협의회를 만들어 오염된 태화강을 깨끗한 강으로 살려내는 일에 초석을 닦았다. 대검 감찰부장 재직 시에는 ‘검찰 낮술 금지’를 실시해 검찰 개혁에 매진하기도 한 그는 2003년 법무연수원장에 임명되어 후배 법조인 양성에 힘을 쏟던 중 2004년 5월 검찰 고위간부 인사를 앞두고 후배들을 위해 용퇴했다.

이후 중앙선거관리위원회 상임위원을 지냈고, 대한변호사협회에 의해 삼성 비자금사건 특별검사 후보로 추천되기도 했다. 또한 대한법률구조공단 이사장을 맡아 법률 취약계층을 적극 배려해 호평을 얻었다. 2012년 4·11총선을 앞두고 새누리당의 공천위원장을 맡으면서 정치권과 인연을 맺었다. 소신을 가지고 사심 없는 공천을 주도해 과반의석이 불가능하다는 전망을 뒤엎고 새누리당이 152석을 달성하는 데 기여했다는 평을 받았다. 공천 후에는 곧바로 정치권을 떠나 정치적 언행을 자제했다. 2013년 박근혜 정부 출범과 함께 제42대 국무총리로 2년 동안 재직하다가 스스로 사퇴를 강청하여 물러났다. 독실한 기독교 신자인 그는 부인 최옥자 씨와의 사이에 외아들 정우준 군을 두고 있다.