우끄라이나의 유대인 지식인 가정에서 태어났고 모스끄바 대학교에서 화학공학을 전공했다. 대학 재학 시절부터 소설을 쓰기 시작해 1934년 첫 단편을 발표하며 고리끼, 불가꼬프 등 이름난 작가들의 주목과 격려를 받았고 1937년 첫 소설집 『단편집』을 출간했다. 스딸린의 숙청에 희생된 정치인, 작가 들의 구명에 참여하여 스딸린상에 지명되었으나 스딸린에 의해 거부되는 등 평생 검열과 압제에 시달렸다. 2차대전 중 유대인 학살로 어머니가, 폭탄 폭발로 큰아들이 희생되는 비극을 겪었다. 그로스만은 1천일 이상 종군기자로 활동하며 소련 최초의 홀로코스트 보고서 『트레블린카의 지옥』(1945)을 집필했고 이는 전후 전범재판에 증거로 제출되었다. 『스쩨빤 꼴추긴』(1940) 『인민은 죽지 않는다』(1942) 『정의로운 일을 위하여』(1952) 『모든 것은 흐른다』(1963) 등의 소설은 스딸린 치하 반유대주의 정책과 함께 2차대전 및 홀로코스트의 비극을 다각도로 조명하며 세계 독자의 관심을 받았으나 소련 정부와의 갈등으로 지난한 출간 과정을 겪었다. 1942~43년 독소전쟁 시기 한 물리학자 가족을 중심으로 전쟁과 전체주의라는 이중고에 처한 평범한 사람들의 삶을 파헤친 대작 『삶과 운명』역시 1959년 집필을 마쳤으나 작품의 반스딸린주의 경향으로 인해 1980년 스위스에서 처음 출간되고 1989년에야 러시아 국내에서 출간되는 우여곡절을 거쳤다. 작가의 경험에 인류 최대의 참상 속 인간에 대한 깊은 애정을 더해 현대적 문체로 형상화한 『삶과 운명』은 “2차대전판 똘스또이의 『전쟁과 평화』”라는 평을 받으며 영국과 러시아에서 라디오와 TV 드라마로도 만들어졌다.