В 1866 году Ив. М. Рябушинский вторично женился, и его вдова Елена Васильевна до сих пор является одним из самых близких и почитаемых людей в семье Павла Михайловича Рябушинского.
В 1834 году женился второй сын Павел Михайлович на московской мещанке Анне Семеновне Фоминой, внучке Ивана Матвеевича Ястребова, всеми уважаемого священника Рогожского кладбища. Этот брак, по-видимому, устроенный родителями и приятный для них, не был счастлив для молодых.
Вслед за браком Павла Михайловича, в 1844 году, вышла замуж младшая дочь Анна Михайловна за Петра Яковлевича Шувалова.
В том же 1844 году была куплена у Василия Михайловича Сорокованова лавка № 24 в холщовом ряду, в которой издавна торговал М. Я. Рябушинский. За «каменную лавку на белой земли с находящеюся над нею палаткою» уплачена Сорокованову тысяча рублей. Лавка эта имела «длиннику по правую и левую сторонам по 3 сажени, поперечнику в переднем и заднем концах по 1 сажени». В 1849 году у наследников Нечаевых удалось купить и соседние лавки, которые Михаил Яковлевич много лет арендовал. Михаил Яковлевич купил лавки за № 20, 21, 22, 23 за четыре тысячи двадцать пять рублей. Эта покупка обошлась Рябушинскому значительно дороже первой, так как лавки эти занимали площадь 8? аршин на 9 аршин 3 вершка.
В губернском Архиве старых дел имеется об этих лавках судебный процесс Сорокованова с соседом Меньшовым. Из этого дела видно, что все эти лавки принадлежали в начале столетия чиновнику Маркелу Демидову Мещанинову, в доме которого потом много лет жила семья М. Я. Рябушинского. Этот Мещанинов сдавал свои лавки в аренду по 18 рублей, а в одной держал сидельца, т. е. приказчика на отчете. Очень может быть, что и Рябушинский до 1812 года, когда был еще Михаилом Яковлевым, начинал свои первые шаги по торговле холщовым товаром в лавке Мещанинова или в купленной у него в 1802 году М. П. Сороковановым. Делая это предположение, можно объяснить, почему в воспоминаниях Павла Михайловича Рябушинского сохранилось, что его отец торговал в своих лавках раньше нашествия французов.
Все эти пять лавок, как видно из вышеуказанного процесса, были в общих каменных стенах, со сводами, и постройка была настолько прочна, что вполне уцелела от пожара 1812 года.
Этими пятью лавками Рябушинские владели до 1871 года, когда Василий Михайлович их продал купцу В. И. Меньшову.
Шерстяной и полушелковый товар готовила Московская фабрика в Голутвинском переулке с 1846 года, а также, по всем вероятиям, он доставлялся калужскими кустарями, так как раздача материала на ручные станки по деревням практиковалась в больших размерах.