Родился 29 ноября (12 декабря) 1905 в Бердичеве Житомирской обл. (Украина) в семье инженера-химика. В 1929 окончил физико-математический факультет Московского университета, работал в Донбассе инженером-химиком.

В 1934 опубликовал «производственную» повесть о шахтерской жизни "Глюкауф" и рассказ "В городе Бердичеве из времен Гражданской войны" о женщине-комиссаре, которую во время отступления красных приютила семья еврейских ремесленников, обративший на себя внимание М.Горького (положенный в основу одного из замечательных в отечественной кинокультуре второй половины 20 в. и трудно пробившегося к экрану фильма "Комиссар", 1967). Сборники рассказов Гроссмана "Счастье" (1935), "Четыре дня" (1936), "Рассказы" (1937), "Жизнь" (1943), "Добро вам!" (1967) дополнились в 1937 повестью "Кухарка", в 1937–1940 – романом "Степан Кольчугин" о рабочем пареньке, вступившем на путь революции, а в 1941 – пьесой "Если верить пифагорейцам...", осужденной после ее публикации в 1946 партийной печатью за «идейную ущербность».

В годы Великой Отечественной войны Гросман, специальный корреспондент газеты «Красная звезда», пишет принесшие ему широкую известность повесть "Народ бессмертен", очерки "Направление главного удара" (оба 1942), "Треблинский ад" (1944), художественно-документальную книгу "Сталинград" (1943) и др. произведжения, вполне выявившие основное качество прозы Гроссмана – эпическую масштабность, многоголосие, склонность к историко-философским обобщениям, к постоянному соотнесению, в традициях эпопеи "Война и мир" Л.Н.Толстого, частных судеб отдельных людей и судьбы народа, размышлениям о глубинной сути и сложной взаимосвязи войны и мира. В 1946 вместе с И.Эренбургом подготовил документальную "Черную книгу" об истреблении гитлеровцами евреев на территории СССР во время войны (в связи с кампанией борьбы против космополитизма, носившей откровенно антисемитский характер, ее издание было приостановлено и состоялось лишь в 1993).

В 1952 Гроссман опубликовал роман "За правое дело" (1953; после разгромной статьи М.Бубеннова в газете «Правда» роман вышел в 1954 в сокращенном варианте; полное изд. 1956), который, наряду с другими произведениями т.н. «окопной» правды о войне, выдвинул в первый ряд ее героев реальных бойцов в реальных, порой драматических обстоятельствах (окружение и прорыв из него). Рукопись продолжения романа под назв. "Жизнь и судьба" в 1960 была отвергнута печатью и изъята органами КГБ; сохраненный экземпляр в 1980 был опубликован в Швейцарии, в 1988 – в СССР (наиболее достоверная редакция издана в 1990). Здесь аналитическая мысль писателя, оценивая подвиг «простого» человека на войне как естественное поведение в неестественных обстоятельствах, видит в противостоянии немецкой и советской армий не борьбу различных идеологий, но столкновение двух однотипных государств.

Повесть "Все течет..." (1953–1963, опубл. в ФРГ в 1970, в 1989 – на родине) – история советского «лагерника» с 30-летним стажем, размышляющего над вечной исторической проблемой опошления и извращения «духа» при его попытке стать «действием», превращения мечтаний о свободе при их реальном осуществлении – в еще больший гнет несвободы, поднимая при этом вопрос о специфическом характере русского сознания и русской истории.

Посмертно опубликован сборник рассказов Гроссмана "Добро вам!" (1967), куда вошли путевые заметки об Армении и военные сюжеты, осмысляемые писателем, как всегда, с позиций неприятия насилия и признания права на жизнь всего существующего.

Умер Гроссман в Москве 14 сентября 1967.