В том же году на одном из заседаний Государственной думы в ответ на очередной призыв «разрушить до основания старый мир» Столыпин дал такую образную картину своих взглядов: «Мне рисуется волшебный круг, из которого выход, по-моему, такой: применять существующие законы до создания новых, ограждая всеми способами и по мере сил права и интересы отдельных лиц. Нельзя сказать часовому: „У тебя старое кремнёвое ружье; употребляя его, ты можешь ранить себя и посторонних; брось ружье“. На это честный часовой ответит: „Покуда я на посту, покуда мне не дали нового ружья, я буду стараться умело действовать старым“».
Противники Столыпина часто припоминали ему эти слова, обвиняя в нежелании заменить «старое ружье новым». Но для Столыпина важнее было не то, каким оружием он обороняется, а то, что он обороняет. А это была тысячелетняя русская государственность, на страже которой сменилось не одно поколение его предков.
Своих предков Пётр Аркадиевич знал с XVI века и видел их дела, запечатлённые в судьбе Отечества. Род Столыпиных занесён в родовые дворянские книги по Пензенской и Саратовской губерниям. Первым в летописи упоминается Григорий Столыпин (конец XVI века). Его потомки в ХVIII веке уже принадлежали к высшим слоям дворянства. Алексей Емельянович (1748–1810) в браке с М. А. Мещериновой имел пятерых сыновей и пятерых дочерей, среди них — Александр — адъютант А. В. Суворова, Николай — офицер, растерзанный толпой во время Севастопольского бунта 1830 года, Аркадий — сенатор, друг М. М. Сперанского (1772–1839) — выдающегося государственного деятеля и реформатора.
Сын Аркадия Алексей служил лейб-гусаром, дружил с М. Ю. Лермонтовым и был описан им под прозвищем «Монго». Поэт состоял со Столыпиными в родстве, его бабушка Елизавета — одна из пяти дочерей Алексея Емельяновича Столыпина. Другой сын Аркадия, Дмитрий, генерал, писатель, экономист, был одним из немногочисленных в России последователей О. Конта, занимался вопросами крестьянского хозяйства и видел корень всех его зол в крестьянской общине, сторонником разрушения которой он являлся. От дяди и унаследовал эту идею Пётр Аркадиевич.
Отец Петра Аркадиевича — Аркадий Дмитриевич Столыпин (1822–1899) выбрал военную карьеру, дослужился до чина генерал-адъютанта, принимал участие в венгерской, крымской и русско-турецкой кампаниях, за что был отмечен орденами и высочайшим рескриптом. В мирное время выполнял обязанности обер-камергера, заведующего придворной частью в Москве, писал популярные книжки для народа по истории России. Не был чужд Аркадий Дмитриевич и изящных искусств: на одной из художественных выставок 1860-х годов он представил два скульптурных произведения — «Голова Спасителя» и «Медаль статуи Спасителя», выполненные по изображениям Иосифа Флавия, что говорит об искренней религиозности, вовсе не типичной для эпохи нигилизма. Влиянием отца во многом объясняются будущие реформы П. А. Столыпина в области свободы вероисповедания, сочетающиеся со строгим следованием православным традициям.