Не по сердцу было Марье Федоровне такое отношение к Дмитрию. Предки Пожарских владели древним Стародубским княжеством и занимали видные места при великих князях и государях. В великое княжение Дмитрия Донского в Стародубе сидел именитый князь Андрей Федорович, богатый на сыновей. Четверых принесла ему супруга Дорофея. Перед кончиной Андрей Пожарский передал старшему сыну Василию большую часть земель, но и полвека не прошло, как наследники так «постарались», что раздробили на куски древнее родовое княжество, раскинувшееся на Клязьме и Лухе.
Отец покойного мужа Марии Федоровны, Федор Иванович Немой, происходил из младшей ветви удельного рода. На его долю досталось совсем немного вотчин, и владел он ими вкупе с тремя братьями.
При Иване Грозном Федор служил при дворе государя и даже угодил в избранную тысячу «лучших слуг». Но недолго ходил близ царя Федор Иванович. Опричники Ивана Грозного повсюду «выметали крамолу и измену». В опалу угодили сотни княжеских семей, среди них оказались Ярославские, Ростовские и Стародубские княжата.
Пять князей Пожарских были сосланы на поселение в Казанский край, недавно покоренный Иваном Грозным. Татары, вечные враги Руси, с неприязнью относились к опальным гяурам, но самое страшное было то, что Федор Пожарский разом всего лишился, получив на прокорм жены и детей всего лишь четыре крестьянских двора в Басурманской слободке под Свияжском.
После отмены опричнины Пожарских возвратили в Москву. Федор Иванович вновь получил службу и участвовал в последних бранях Ливонской войны. В хоромы прибыл в скромном чине дворянского головы. До воеводского же званья, о коем так грезил Пожарский, он так и не дослужился.
В последний год своей жизни Федор Иванович изрядно занемог, и тогда он постригся в Троице-Сергиев монастырь, где и скончался. За два года до кончины Федор Иванович женил своего старшего сына на Марии Берсеневой-Беклемишевой. В лице народившегося княжича Дмитрия соединились два опальных рода. Пожарские претерпели лихо от Ивана Грозного, а Берсеневы — от его отца, великого князя Василия Третьего. Детей у овдовевшей Марии Федоровны было трое: Дарья, Дмитрий и Василий, который на шесть лет был моложе своего брата.
Прадед Дмитрия и Василия Пожарских (по родословному древу матери), Иван Берсень, слыл на Москве одним из самых больших книгочеев. Он постиг не только русские, но и многие зарубежные литературные творения, поражая дворцовую знать своими широкими познаниями.
Иван Берсень сблизился с Максимом Греком. Оба оказались недоброхотами великого князя, ибо чуть ли не открыто обличали его самодержавные замашки и призывали к прекращению бесконечных войн. Встречаясь с московским государем, Берсень, обладая острым язвительным умом, не страшился ему перечить, за что и поплатился. Ему отсекли голову на льду Москвы-реки, а Максима Грека заточили в монастырское узилище.