Основатели фабрики братья Носовы самостоятельно заниматься ткацким и красильным делом стали в 1829 г., основав на берегу Хапиловского пруда фабрику, выпускавшую драдедамовые платки — т. е. довольно дешёвые платки из тонкого сукна, очень популярные в то время. Именно такой носила бедняжка Сонечка Мармеладова. Братья сами ткали, красили и сушили платки, а жёны украшали их бахромой. Позднее фабрика стала выпускать более качественные толстые и крепкие сукна — армейское, кавказское (из такого шили черкески)…
Главой дела в продолжение многих лет был Василий Дмитриевич Носов. Это он выстроил здесь первый дом. Сын Носова, Василий Васильевич женился на красавице Евфимии Рябушинской, девушке хотя и воспитанной в старой вере, но образованной и несколько взбалмошной. Тогда и решил старый Василий Дмитриевич отселиться, оставив старый дом молодым. Наверное, втайне желая утереть нос не в меру изысканной невестке, он пригласил известного архитектора Кекушева, мастера стиля модерн (именно он раньше строил носовскую фабрику, старообрядческую больницу и дома купцам Грачёвым, тоже старообрядцам), и сделал заказ, выбрав проект из заграничного журнала. Особняк вышел на славу: со всеми достижениями комфорта, водяным отоплением, горячей и холодной водой. Вместе с тем дом строился не каменный, а деревянный — так пожелал хозяин, считая дерево более здоровым материалом. Дом был разделён на две половины: нижнюю, мужскую, где жил сам Носов и его прислуга, и женскую, где располагалась его сестра и женская прислуга.
Сейчас дом занимает филиал Российской юношеской государственной библиотеки, и туда можно зайти, интерьеры частично сохранились. Порой там проводятся концерты классической музыки.
Не желая отставать от свёкра, Евфимия Павловна устроила у себя художественный салон, куда приглашались модные литераторы и художники. Красавица госпожа Носова любила живопись, по примеру отца собирала картины, а её портреты охотно писали художники. Она пригласила молодого архитектора Жолтовского перестроить большой зал, собиралась заказать Серову его роспись, но художник умер, не успев закончить дело. После революции Носовым пришлось эмигрировать, бросив всё. Евфимия Павловна уехала в Рим и дожила там до преклонных лет. Её дом стал сначала краеведческим музеем, потом яслями… Сейчас его занимает банк.
Купцы Носовы принадлежали к Преображенской старообрядческой общине и много жертвовали на её храмы. На деньги купцов Носова и Хлудова построена, в частности, колокольня монастыря, сохранившаяся до сих пор. Архитектору Кекушеву принадлежит проект здания общинной больницы (сейчас там помещается туберкулезный диспансер).