Если Авдотья Петровна и хватила значительно через край, то все же это нисколько не мешало судейским впечатлениям Ивана Сергеевича быть очень и очень тяжелыми. «Да возродится, наконец, правда и милость в судах», – сказал в начале 90-х годов император Александр III, и как далеко от этого «наконец» было полвека тому назад. Ивану Сергеевичу надо было или прать против рожна целой клики уголовных мародеров, или уйти совсем из палаты. Он выбрал последнее и все в тех же поисках живой работы поступил чиновником особых поручений в министерство внутренних дел. С обычной своей энергией исполнял он самые тяжелые поручения и, один из немногих чиновников того времени, умел даже быть гуманным в своих отношениях к раскольникам. Между прочим, ему пришлось столкнуться с таинственной сектой «бегунов», о которой он написал обширное исследование.
В 1852 году Иван Сергеевич Аксаков вышел в отставку. Эпизод, сопровождавший его удаление со службы, был бы, пожалуй, и смешон, если бы не был так грустен. По словам С.А. Венгерова, он заключался в следующем: «За Аксаковым открылись разные изъяны. Так, ярославский губернатор сообщил в Петербург, что молодой чиновник читает знакомым какую-то подозрительную рукопись. Потребовали объяснения у Ивана Сергеевича. Он переслал рукопись, которая оказалась известной его поэмой „Бродяга“. Поэму прочли и не нашли в ней ничего предосудительного. Но, тем не менее, молодому поэту были поставлены на вид два обстоятельства. Во-первых, ему письменно предложили вопрос: «почему он, Аксаков, беспаспортного человека выбрал себе в герои?», а затем, возвращая поэму, сделали при этом конфиденциальное сообщение, что «занятие стихотворством не приличествует человеку, облеченному доверием правительства».
Аксаков в ответ на это подал прошение об отставке, которую и получил с чином надворного советника. Он решился посвятить себя журналистике и, вернувшись в Москву, занялся редактированием «Московского сборника». I том этого издания благополучно прошел цензурные мытарства и появился в свет без всяческих ампутаций. Но как бы вдогонку ему – этому благополучно проскользнувшему сборнику, министр народного просвещения, князь Ширинский-Шахматов, обратил внимание на «предосудительность направления», находя, что «хотя народность и составляет одну из главных основ нашего государственного быта, но развитие понятия о ней не должно быть одностороннее и безусловное: иначе безотчетное стремление к народности может перейти в крайность и вместо пользы принести существенный вред». Ввиду этого было приказано ко II тому сборника отнестись возможно «внимательно». Разумеется, он не появился совсем, а его молодой редактор оказался в разряде крайне подозрительных. Ему не только было предписано, как и остальным членам славянофильского кружка, представлять свои произведения для цензуры непосредственно в Главное управление по делам печати, но, кроме того, его лишили права быть когда бы то ни было издателем или редактором журнала.