Но вскоре Свечина сменил новый губернатор Донец-Захаржевский, с которым у Василия Васильевича обнаружилось резкое несогласие во мнениях. Прежде всего Донец-Захаржевскому показался оскорбительным наставительный тон бывшего педагога с 35-летним практическим стажем — и отношение губернской администрации к Чижову резко изменилось. В результате интриг его уволили с должности как человека «неблагонадежного, затрудняющего чиновников лишними и совершенно никому не нужными бумагами». Более того, его лишили учительской пенсии, получаемой по выслуге лет.
С горя Василий Васильевич упал духом, стал большую часть времени проводить в стенах городского монастыря, где находил утешение в молитве и в дружеском участии епископа Гавриила Екатеринославского, его старинного товарища еще по Калужской семинарии. Все чаще он стал подумывать о том, чтобы навсегда остаться в стенах обители. Однако Ульяна Дмитриевна настояла, чтобы муж вернулся в Кострому. К этому времени личных средств у него не осталось вовсе, и семье пришлось жить на иждивение Катерины Ивановны, тещи Василия Васильевича, которой Император Николай I пожаловал за заслуги ее сына, генерала, пенсию в три тысячи рублей.
Василий Васильевич был сломлен, но все еще не оставлял надежды на то, что Господь и Государь помогут очистить его доброе имя от наветов и он с женой и детьми трудами своими сможет прожить остаток дней. Без устали он бомбардировал сына письмами в надежде на то, что тот передаст их министру внутренних дел или другим влиятельным лицам. Искать правды было нелегко. Многостраничные послания Василия Васильевича были написаны в таком тоне, что определенно не могли вызвать симпатию у людей, стоявших у кормила власти. И Федор, боясь ухудшить положение отца, не передавал их, в чем честно признавался в конфиденциальных письмах к матери.
В последний год пребывания Чижова-младшего в гимназии под влиянием чтения бесцензурных произведений Радищева, Грибоедова, Рылеева им начинают овладевать оппозиционные настроения. Он увлекается Вольтером и с юношеской горячностью спорит с однокашниками и учителями по поводу религиозных догматов Православия.
Математические способности у юноши проявились довольно рано, поэтому поступление в Петербургский университет на физико-математический факультет было предопределено.
В годы, последовавшие за восстанием декабристов, большая роль в становлении свободолюбивых идеалов у молодежи принадлежала университетам. В них, по словам Герцена, словно «в общий резервуар, вливались юные силы России, со всех сторон, из всех слоев; в их залах они очищались от предрассудков, захваченных у домашнего очага, приходили к одному уровню, братались между собой и снова разливались во все стороны, во все слои её»