1903년 6월 29일(음력) 충청북도 청원군 남이면 팔봉리에서 안동 김씨 둘째 아들로 출생한다. 부친은 함경도 성진군수였던 김흥규이며, 2년 연상의 형 김복진과 누님 두 분이 있었다. 큰집은 당시 팔봉리 일대를 지배하는 대지주였다. 1916년 3월에 영동공립보통학교를 졸업하고, 배재고등보통학교에 입학한다. 이때 박영희와 친교를 맺고, 1년 위에 나도향, 같은 학년에 김여수와 박용철이 재학 중이었다. 1921년 일본 릿쿄대학(立敎大學) 영문학부에 입학했으나 중퇴했다. 1922년 박승희·이서구·김복진·박승목·이제창·김을한 등과 함께 최초의 근대 극운동 단체인 ‘토월회’를 조직했다.
1923년 시 ＜애련모사＞를 발표하면서 ≪백조≫ 3호부터 동인으로 참가했고, 수필 ＜떨어지는 조각조각＞(1923)에서 신경향파 문학의 필요성을 강조한 바 있다. 이때 박영희·안석영·김형원·이익상·김복진 등과 함께 카프의 모태가 되는 ‘파스큘라’를 조직한다. 이후 소설 ＜붉은 쥐＞(1924), ＜젊은 이상주의자의 사(死)＞(1925) 등을 발표함으로써 카프에서 이론적 측면에서나 실질적 측면에서 지도자 역할을 수행했다. 평론으로는 ＜클라르테 운동의 세계화＞(1923), ＜지배계급 교화, 피지배계급 교화＞(1924), ＜문예사상과 사회사상＞(1927), ＜예술의 대중화에 대하여＞(1930) 등을 지속적으로 발표했다. 이때부터 ≪매일신보≫·≪시대일보≫·≪중외일보≫·≪조선일보≫ 등의 기자를 역임하며 해방 이후에까지 언론계에 종사한다.
1926년 박영희와 ‘내용과 형식 논쟁’을 시작하고, 1927년에는 이 논쟁의 종결과 함께 카프의 주도권이 박영희에게 넘어가게 된다. 1929년에는 임화와 ‘대중화 논쟁’을 벌이고, ‘변증법적 사실주의’에 대한 문제를 제기한다. 1931년에는 카프 제1차 검거 사건으로 체포되었다가 조선프롤레타리아문학운동의 시말에 대한 자술서를 쓰고 10일 만에 석방되었다. 1934년에는 형 김복진과 함께 ‘애지사(愛智社)’를 창립하고, 박영희의 전향 선언문을 반박한 ＜문예 시평: 박 군은 무엇을 말했나＞를 발표한다. 1935년 경기도경찰국에 카프 해산계를 제출하고, 카프 제2차 검거 사건으로 70여 일간 구금된다. 1940년 이후 ＜문예 시평＞, ＜국민문학의 출발＞, ＜신세계의 첫 장＞ 등 대표적인 친일 문필 활동을 ≪매일신보≫를 중심으로 펼친다. 1944년에는 대표적 친일 문인 단체인 ‘문인보국회’ 상무이사에 취임하여 이광수와 함께 상해 대동아문학자대회에 참가한다. 귀국 도중 체포되어 평양에서 취조를 받고 석방된다.
1945년 해방 이후 ‘애지사’를 다시 창립하여 인쇄 출판에 전념한다. 1950년 6·25전쟁 직후 서울에서 애지사 인쇄 조판공들에 의해 고발되어 인민재판에 회부되어 즉결 처분을 받았으나 구사일생으로 살아난다. 1951년 대구로 피난을 갔다가 종군작가로 입대하여 ‘육군종군작가단’ 부단장으로 활약하면서 ‘금성화랑무공훈장을 수상하기도 하였으며, 1953년까지 주로 전선문학에 해당되는 글을 창작한다. 1958년에는 ‘민권옹호투쟁위원회’ 부위원장에 취임하며 자유당 독재를 비판하고, 1960년에는 ≪경향신문≫ 주필로 취임한다. 1961년 5·16 군사쿠데타 이후 ‘재건국민운동’ 중앙회장에 취임한 바 있다. 1985년 5월 8일 숙환으로 별세하였고, 경기도 포천군 내촌면 마명리에 유택이 마련되어 있다.
1923년 9월의 관동대지진 이후 신경향파 운동의 선구자로서 프로문학 운동에 전념한 공로가 크다. ≪개벽≫에 ＜클라르테 운동의 세계화＞라는 비평문을 3회 분재하면서 프로문학의 이론을 처음으로 피력한 프로문학의 제창자였으며, 박영희·임화·염상섭 등과 벌인 논쟁을 통해 현대 문예비평의 기초를 닦은 바 있다.
김기진의 초기 문학론은 정치를 우위에 두고 문학을 수단화함으로써 문학의 형식을 배제하는 데에 초점을 맞춘다. 하지만 실제적인 각종 작품에 대한 월평에서는 언어나 시의 리듬 등 외적 형식의 창조를 위한 표현 수단에도 관심을 기울인다. 형식에 대한 관심은 박영희와의 ‘내용과 형식 논쟁’의 발단이 된 바 있다. 1920년대 후반부터 프로문예 양식론을 제기하면서 ＜단편서사시의 길로＞(1929)나 ＜대중소설론＞(1929) 등을 통해 프로문예의 형식적 가능성을 개진할 것을 주창하였다.
해방 이후 한국 펜클럽과 한국문인협회의 고문 역할을 수행했으며, 1세대 근대문학인으로서 문단과 관련된 다양한 회고의 글을 남겼다. 그의 글은 1988년 문학과지성사에서 ≪김팔봉 문학전집≫ 여섯 권으로 완간된다. 대한민국 정부는 그의 사회 문화적 업적을 인정하여 을지무공훈장과 문화훈장 등을 수여했다. 그의 비평가로서의 선구적 업적과 그 유지를 계승하기 위해 1990년 한국일보사에서 ‘팔봉비평문학상’이 제정되었으며, 제1회는 평론가 김현이 수상한 바 있다. 2002년에는 역사문제연구소가 발표한 42인의 친일 문학인에 포함되었다.

경희대 국어국문학과을 졸업하고, 1998년 ＜황석영의 ≪장길산≫ 연구＞와, 2004년 ＜황석영 소설의 근대성과 탈근대성 연구＞로 각각 석사 학위와 박사 학위를 받았다. 현재 글쓰기 등을 강의하며 경희대학교 후마니타스 칼리지에 객원교수로 재직 중이다.
2001년에는 ≪조선일보≫ 신춘문예 문학평론에 당선되었고 이후 여기저기에 잡문을 쓰고 있다. 2005년에는 소설 평론들을 모아 ≪오래된 서사≫를, 2008년에는 시 평론들을 모아 ≪여백의 시학≫을, 2012년에는 소설 평론집 ≪환상통을 앓다≫를 출간하는 등 세 권의 평론집을 상재했다. 2012년 한국문학평론가협회에서 수여하는 ‘젊은평론가상’을 수상했다.