Произведенный уже в подпоручики, имевший орден Анны с надписью “За храбрость”, Николай Сергеевич осенью 1857 года вышел в отставку, но въезд в столицы ему был запрещен. П. П. Семенов-Тян-Шанский, близкий петрашевцам, писал на склоне лет, что Кашкин смолоду был проникнут “очень гуманными воззрениями. Одним из главных идеалов жизни он ставил себе освобождение крестьян”. Кашкин поселился в Нижних Прысках, где сразу же был избран в комитет “об улучшении быта крестьян”. Через два года он самовольно съездил в Москву, найдя в первопрестольной хорошую невесту – Лизаньку Нарышкину, на которой и женился.
Семейные радости перемежались общественными заботами. Петрашевец не изменил заветам юности, он был из той породы людей, которых ныне принято называть либералами. Однажды приговоренный к расстрелу, Николай Сергеевич не возводил баррикад на улицах Калуги, не призывал мужиков следовать за учением Фурье в райское блаженство грядущего века, он просто был озабочен нуждами бедных людей. Крестьяне Козельского уезда всегда находили в нем своего защитника. Кашкин свирепо восставал против розог, настойчиво требуя, чтобы его мнение было внесено в протоколы земских собраний. Он был избран почетным мировым судьей по Жиздринскому уезду – одновременно с Иваном Сергеевичем Тургеневым, и встречался с крестьянами – героями тургеневских рассказов.
Жена умерла после родов в 1869 году, оставив сына Николая – будущего историка-архивиста, который тоже окончил Лицей, но уже не с серебряной, как отец, а с золотой медалью. Не в силах сносить одиночество, Николай Сергеевич женился в Калуге на провинциальной актрисе Павле Щекиной, от которой осталась дочь Ольга.
Николай Сергеевич все чаще обращался к прошлому, к своим дедам и бабкам, был хорошим рассказчиком. “Достаточно уронить одно слово, – писал Панкратов, – назвать одну какую-то фамилию, и в его голове поднимается целый рой живых образов и картин... Встают из гробов покойники, одеваются в плоть и кровь своих достоинств, живут, двигаются, повелевают, любят, секут крепостных, ухаживают за красивыми женщинами”. Именно уникальное знание генеалогии и отношений людей в прошлом привлекло в Кашкине известного пушкиниста Б. Л. Модзалевского! Он нарочно приезжал из Петербурга в Калугу, чтобы послушать рассказы стареющего петрашевца. “Пребывание на Кавказе, – писал Модзалевский о Кашкине, – закалило как тело, так и дух его, снабдило изумительным самообладанием. В течение службы с лишком 30 лет разъезжая по уездным городам Калужской губернии... он приобрел не только любовь обывателей, но и известность во всем судебном мире”.