Касимовские предания гласят, что этот деревянный дом в стиле ампир.

Был куплен в 1818 году Дмитрием Сергеевиче Барковым - бывшим крепостным Андрея Андреевича баташева по прозвищу черный, сына владельца и основателя чугунолитейного производства в гусе железном Андрея Родионовича. В нижегородском крае чугунолитейным производством в Выксе владел брат Андрея Родионовича - Иван Родионович баташев (кстати, завод успешно работает и в наши дни.

Дмитрий Сергеевич Барков был конторщиком и поверенным в делах, а в силу увлечения медицинским делом, еще и пользовал хозяина как лекарь (и якобы излечил его от "дурной болезни.
В благодарность за излечение баташев - сын дал 1816 году Барковым вольную, но с условием, что свободны они будут только после его смерти. Ждать долго не пришлось - уже через год Барков получил вольную.
Барковы оказались очень предприимчивы, сразу же перебрались в уездный город Касимов, где начали торговлю железом баташевских заводов, а впоследствии сами открыли железо - лудильный и купоросный заводы. Далее они стали пайщиками сибирской золотопромышленной компании купца Соловьева и в 1860-е годы торговый дом Барковых владел тремя золотыми приисками в енисейской губернии.
Известно, что внутренний интерьер дома отличался особенной роскошью. Зал и гостиная в доме были отделаны под мрамор, меблировка была из ценных пород дерева с дорогими тканями в обивке. При доме была усадьба с каменными надворными постройками и фруктовым садом с прудами - сажалками, где рыбы приучены были собираться на звон колокольчика. А липовые аллеи усадьбы имели длину более 150 метров.
В доме были комнаты, обустроенные специально для отдыха цесаревича - будущего императора Александра II, который посещал Касимов, путешествуя по России в 1837 году.
К сожалению, в 2020 году эта уникальная усадьба была утрачена для Касимова и для всех туристов.