Здание особняка построено в первой четверти Xviii века, с тех пор не раз перестраивалось и меняло владельцев. Тайный советник М. М. Устинов приобрёл его в середине XIX века. В 1875-1876 годах после перестройки по проекту в. а. шретера дом получил современный вид: фасад был отделан в стиле необарокко.
С 1857 до своей смерти в 1891 году в доме Устинова жил писатель и. а. гончаров. Здесь он над романом "Обрыв работал". Гончарова посещали многие известные литераторы: Д. Григорович, а. Писемский, я. Полонский, а. к. толстой и др.
Через два года после смерти Гончарова на фасаде дома была установлена мемориальная доска по проекту Н. Л. Бенуа.