Дом Милютина построен во второй половине XIX столетия на высоком холме, выходившем к берегу ягорбы, у въезда в город.
Он находился на участке земли, принадлежавшем городскому голове Ивану Андреевичу Милютину, а позднее его старшей дочери Марии Ивановне лентовской. Усадебный дом считался дачным; в переписке Милютиных его так и именовали, в противоположность городскому особняку, находившемуся на воскресенском (теперь советском) проспекте.
Тем не менее, благодаря выгодному местоположению, он часто использовался в представительских целях. Здесь в 1863 году принимали цесаревича Николая Александровича (сына Александра II, который умер в юном возрасте), а в 1884-м - великого князя Владимира Александровича, брата императора Александра III. Здесь же 4 июля 1907 года сам Милютин скончался.
Стилистически дом представляет собой пример эклектики. Крыша была двухуровневой, с просечным железом на фронтонах. В декоре интерьеров применялась лепнина, богатое барочное оформление имели изразцовые печи. После национализации в августе 1918-го бывший дачный дом Милютиных стал коммунальным. В результате неоднократных перестроек и перепланировок были утрачены галереи, балконы, мезонин, изящный декор кровли из просечного железа.
14 апреля 1987 года дом был передан череповецкому краеведческому музею, после чего остававшихся в нем жильцов расселили. Через полгода, 19 ноября, решением исполкома вологодского областного совета народных депутатов номер 586 ему впервые присвоен статус объекта культурного наследия регионального значения.
Все следующее десятилетие дом простаивал, из-за чего пришел в крайнюю ветхость. Весной 2005-го, когда начались ремонтно - реставрационные работы, остатки старого здания снесли. Специалистам ООО "Горстройзаказчик" пришлось фактически воссоздавать милютинскую дачу по сохранившимся планам, чертежам и фотографиям конца XIX - начала XX века. К ноябрю 2006 года работы завершились.
В здании открылся музей "Дом И. А. Милютина", входящий в состав череповецкого музейного объединения. Здесь бережно хранят память о первом хозяине дома, столь много сделавшем для развития города. Ежегодно в апреле в Череповце проходят милютинские дни, открываются выставки, повествующие о разных гранях общественной деятельности городского головы. В доме Милютина проходят заседания научной конференции.
