교황 그레고리우스 7세와 독일 황제의 대립은 아주 극적으로 전개되었다. 1075년 사순절 주교 대의원 회의에서 교황은 속인의 서임을 더욱 엄격히 금지했다. 이에, 1076년 1월, 황제 하인리히 4세는 보름스와 플레장스에서 황제가 주관하는 종교회의를 열어서 '교황은커녕 못된 수도승인 힐데브란트'를 폐위했다. 2월 22일에 그레고리우스는 그 반격으로 황제를 파문했고, 그의 신하들을 충성선서 의무에서 해제해 주었다.

카노사에서 교황과 황제의 단독대담이 열렸다. 교황이 황제를 재판하러 가던 중 카노사에 머무를 때, 하인리히가 교황의 자비를 구하러 온 것이다. 1077년 1월 25일, 참회의 옷을 입고서 홀로 카노사 성문에 나타난 맨발의 황제는, 교황에게 용서를 외치면서 파문을 거두기를 간청했다.

이때는 교황이 전적으로 승리한 것처럼 보였다. 그러나 그는 그 승리의 허약함을 이미 간파했다. 물론 교황은 당시에 얼마든지 그를 매장시킬 수 있었다. 게다가 그는 하인리히가 일단 파문을 면하면, 제국의 군대를 소집하여 자기를 치리라는 것도 알고 있었다. 그럼에도 교황은 영적 지도자답게 1월 28일 황제를 용서했고 파문을 취소했다. 그리고 이 정복자는 정복당했다. 그는 이것이 정치적으로 잘못된 선택임을 알면서도, 교황으로서 달리 도리가 없었다.

그레고리우스 힐데브란트는 1085년 5월 25일, 살레르노에서 죽었다. 전통에 따라, 죽어가는 교황의 입에 <시편> 44장 8절의 말씀을 넣었다. "나는 정의를 사랑했고, 불의를 미워했다." 그는 씁쓸히 덧붙였다. "그래서 나는 추방당한 채 죽어간다."