1925년 대구 출생으로 대륜중학교를 거쳐 국립 대구사범대학(경북대학교 사범대학 전신) 문학부 영문학과를 졸업한 뒤 오스트리아 빈 대학에서 음악사와 비교음악학을 전공하고 「한국민요의 비교음악학적 연구」라는 논문으로 철학박사 학위를 받았다. 귀국하여 계명대학교 음악대학, 경북대학교 예술대학에서 교수로 재직하였으며 한국음악협회 경북지부장, 전국 음악과 교수협의회 회장, 한국음악학회 부회장 등을 역임하였다.
어려서부터 문학과 음악에 심취하였으며 이것은 곧 가곡쓰기로 이어졌다. 1951년 27세 때에 가진 첫 가곡발표회를 시작으로 하여 5회의 가곡발표회를 열었고 《김진균 가곡집》, 《초혼》, 《김진균 가곡 85곡집: 산 너머 저 하늘이》 등의 가곡집 을 출간하였다. 가장 널리 알려진 가곡으로는 〈그리움〉, 〈또 한송이의 나의 모란〉 등을 들 수 있다.
또한 『서양음악사』, 『음악과 전통』, 『음악이해의 방법』 등을 저술하고 「한국민요의 멜로디 구조」, 「기독교 찬송가가 한국 문화에 미친 영향」 등을 비롯한 수십 편의 논문을 발표하였으며, 한스 모저의 『음악미학』, 후고 라이히텐트리트의 『음악의 역사와 사상』, 도날드 그라우트의 『서양음악사』 등의 번역서를 발간하였다.