1947년 황해도 연백에서 태어나 1951년 1.4후퇴 때 아버지를 따라 월남하여 경기도 수원에서 자랐다. 수원중학교, 서울 경복고등학교, 서울대학교 법학과를 거쳐 미국 위스콘신대학교 대학원을 졸업했다. 1947년 행정고시(13회)에 합격하여 대전지방국세청 소비세 과장으로 공직생활을 시작한 이후 주로 세제 관련 정책을 비롯한 경제정책 수립 분야에서 전문성을 발휘했으며, 수요자 관점에서 바라본 교육정책을 연구하여 제시하기도 했다. 재무부 세제실장, 재경부 차관을 거쳐 2002년 국민의정부 청와대에서 정책기획수석으로 들어가 ‘2002년 한·일 월드컵’ 청와대 대응팀장을 맡아 월드컵을 성공적으로 이끌었다. 곧이어 국무조정실장으로 승진하여 제16대 대통령 선거를 총괄했다. 노무현 대통령 당선 직후 대통령직인수위원회 부위원장을 겸직하여 참여정부 출범의 밑돌을 놓았으며, 2003년 참여정부 초대 경제부총리를 맡아 경제개혁을 추진하였다. 2004년 대통령 탄핵 국면에서 정치에 뛰어들어 17대 총선(수원 영통)을 통해 의정활동을 하던 중에 다시 정부의 부름을 받고 2005년 교육부총리를 맡아 교육개혁의 불씨를 지폈다. 2008년 18대 총선에서 재선된 이후 민주당 최고위원에 선임되었으며, 2011년 5월 민주당 원내대표에 선임되었다.