부산에서 태어나 서울대학교 국어국문학과를 졸업했다. 1986년 MBC에 입사한 이래 '쌀집 아저씨'라는 별명으로 국민적 인기를 누리고, 대한민국 방송계에 일대 혁명을 일으키며 새로운 도전의 기록들을 남겼다. 현 리얼 버라이어티 프로그램의 웃음을 결정짓는 주요 연출 방식은 김 PD가 기존의 관행들을 깨고 새롭게 시도한 것들이었다. PD는 물론 스태프들이 화면에 등장하거나 촬영 현장의 소리가 함께 녹음되는 방식, 위트 있는 자막, 인물 중심의 카메라 워크 구성 등 이제는 오락 프로그램의 공식화된 연출방식이 그가 처음 시도할 때는 많은 반발과 반대를 낳은 하나의 획기적인 실험이었다.

또한, 「일요일 일요일 밤에」의 한 코너인 '이경규의 몰래 카메라'와 '양심 냉장고'를 탄생시킨 '이경규가 간다'를 비롯해 「칭찬합시다」 「21세기 위원회」 「전파견문록」 「!느낌표」를 연출하며 오락 프로그램에서 재미와 공익이 함께 할 수 있다는 것을 입증해냈다. 특히 '하자하자' '책책책 책을 읽읍시다' '눈을 떠요' '아시아 아시아' '남북어린이 알아맞히기 경연' 등 「!느낌표」에서 진행된 코너들은 모두 재미를 넘어 사회적인 반향을 이끌어 냈다.

이러한 연출력을 인정받아 대통령상, 서울시장상, 한국방송대상, PD대상, 백상예술대상, ABU특별상, 골든로즈본상 등을 수상했으며, 2005년 방송 역사상 초고속 승진, 최연소 국장이라는 기록을 세웠다. 이후 2007년 MBC PD협회장에 이어, 2008년 제22대 한국PD연합회 회장직을 맡았으며, 2010년 현장으로 복귀하여 「나는 가수다」를 탄생시켰다. 현재는 책임PD에서 물러나 새로운 프로그램을 준비 중이다.