О сколь часы сии прелестны,
Составим купно громкий хор —
Вкушай веселие небесно,
Счастливой вольности собор!
Трудно искать серьезного направления в этой ложе, аристократической и пестрой по своему составу, одинаково чуждой и глубокого морального настроения, и сосредоточенной политической мысли».
Модная и шумная ложа вскоре перестала удовлетворять взыскательного офицера Чаадаева, как, впрочем, увидим дальше, и некоторых других. К тому же в 1817 году шло дело о переходе «Соединенных друзей» из Великой Провинциальной ложи в Союз Астреи, поводом для чего явилась скандальная продажа «братом» Дальмасом мастерской степени некоему Смирнову. Подобные обстоятельства вели к тому, что Чаадаев все реже посещал собрания «вольных каменщиков». По его теперешнему мнению, в масонстве «ничего не заключается могущего удовлетворить честного и рассудительного человека». А в 1821 году он совсем расстался с «братьями», заявив в соответствующем документе, что с ложей «Соединенных друзей» никакого впредь сношения иметь не намерен». Однако отголоски масонской атмосферы еще долго будут проявляться и в высокомерном индивидуализме Чаадаева, и в интеллектуальной холодности его мышления.
В свободное от службы время он все чаще теперь отдается любимым занятиям — чтению и размышлению. Впечатлениями от прочитанного делится со старыми университетскими товарищами, особенно с Д. А. Облеуховым, который, по отзыву И. Д. Щербатова, был «самым скромным, кротким, умным и ученейшим человеком». Даже во время войны Петр Чаадаев просил его о присылке книг, а вернувшись в Петербург, вступил с ним в переписку. Облеухов жалуется другу юности на внутреннюю неустроенность и неудовлетворенность внешней жизнью, рассказывает о своем намерении оставить Московский университет, в канцелярии попечителя которого он служит старшим письмоводителем. А друг юности огорчен таким намерением и назидательно советует ему преодолеть слабый характер и взять в собственные руки свою судьбу: «судьба в нас самих», неудачи же наши происходят от непонимания этой простой вещи. По мнению Чаадаева, обширные естественнонаучные и гуманитарные познания Облеухова, его способности необходимо использовать для общего блага и служения отечеству.
Однако и сам Петр Чаадаев испытывает неустроенность своей судьбы. В письме к Облеухову он называет себя «шатающимся по свету» и, противореча собственному совету, зовет московского приятеля в путешествие по Европе, которое он собирается, несмотря на затруднения, непременно осуществить. Но затруднения оказались неустранимыми, и желанную поездку пришлось отложить на целых восемь лет.