Изначально мельница принадлежала семье купцов из Самарской губернии Гергардтам. Фундамент был заложен в 1899 году, а 20 июля 1900 года предприятие уже было запущено. У здания были кирпичные стены и деревянные перегородки внутри, которые были уничтожены пожаром в 1907 году. Поэтому было принято решение изменить устройство здания. Во время ремонта внутри стен сделали металлические полосы толщиной 50 мм, на которые уже наложили кирпич.
После революции мельницу приватизировали и присвоили четвертый порядковый номер. Позже мельницу назвали в честь убитого в 1922 году Константина Грудина, который начинал работать здесь токарем, а после стал избранным секретарем партийной ячейки. Однако в народе сегодня здание знают именно как мельницу Гергардта.
До 14 сентября 1942 года здание функционировало именно как мельница. Но с попаданием первых фугасных снарядов, оно изменило свое назначение. Уже к 20 сентября здесь расположился командный пункт третьего батальона 42-го стрелкового полка 13-й гвардейской стрелковой дивизии. Благодаря выгодной позиции можно было контролировать возможные переправы на восточный берег и устроить плацдарм на западном берегу Волги. Именно поэтому за мельницу шли ожесточенные бои.
58 дней советским солдатам удавалось удерживать оборону здания. Тот самый металлический каркас, созданный в начале века, позволил выдержать множество попаданий бомб и снарядов. Удивительно, что после окончания Сталинградской битвы мельница стала одним из наиболее уцелевших строений в городе. Поэтому в 1943 году некоторые помещения восстановили, чтобы здесь могли разместиться люди, потерявшие жилье.
Уже позже из мельницы решили сделать памятник, поэтому все следы ремонта устранили. Помимо него, разрушенными свидетелями войны остались здание командного пункта 138-й дивизии на острове Людникова и здание заводской лаборатории завода «Красный Октябрь».
В 70-е годы под руководством главного архитектора Сталинграда Вадима Масляева рядом с мельницей началось строительство архитектурного комплекса музея-панорамы «Сталинградская битва». Панораму открыли 8 июля 1982 года, а спустя три года начал работать музей. По некоторым данным, в самом начале экскурсии водили и по самой мельнице, однако теперь посмотреть на здание можно только снаружи.
Мельница Гергардта и сегодня привлекает внимание туристов и художников. Недавно местный дизайнер Марк Говор создал арт с целой паровой мельницей. Также здание регулярно используется при проведении театрализованных инсталляций 9 Мая и 2 февраля.
До 2021 года здание удалось сохранить почти без изменений после войны, однако 16 марта сильный порыв ветра частично обрушил стену. Сейчас проводится экспертиза, в ходе которой должно быть принято решение, как окончательно «законсервировать» мельницу Гергардта, чтобы память о Сталинградской битве была перед глазами еще многих и многих поколений.