Двухэтажный каменный дом в конце Xviii века построен. Первоначально он включал в себя комнаты для прислуги и винный погреб на первом этаже, жилые покои хозяев - на втором. Вскоре дом вырос на один этаж и перешел во владение тайного советника Михаила Устинова.
Здание возводилось по проекту талантливого архитектора Виктора шретера: фасад богато украсили в стиле барокко.
Первое, что бросается в глаза - интерьер: стены, потолок, пол и лестница - почти все отделано деревом.
С 1857 года до своей смерти в доме Устиновых жил известный писатель Иван гончаров. Именно здесь, в квартире в первом этаже с окнами на внутренний двор, он написал роман "Обрыв".