Сообщу еще несколько голых фактов. Один мой дядя (брат отца) от истязаний бежал за Дунай к некрасовцам; об этом я только слышал, но тысячи раз. Другой дядя (по отцу) от тех же радостей состоял в бегах несколько лет, был усыновлен крестьянином, ходил от него коробейником, был случайно открыт, и в кандалах возвращен помещику. Этот дядя Павел был поваром до самого освобождения и прожил с нами несколько лет. Рассказывал все самолично. Отец не раз дрожал, выслушивая: "в Сибирь мерзавца!". Вся семья как-то странно притихла и металась. Справедливость требует признать, что Нелидов был мягок с людьми, под давлением жены своей, нашей собственницы. Восьми лет я переехал от деда в Султановку к родным. Здесь в один из приездов увидал меня Нелидов. Узнав, что я обучен грамоте, он дал мне книжку: она была гражданская. Но когда мне дали разные церковные, помещик погладил меня по голове и велел притти к нему в кабинет; здесь он самолично объяснил мне гражданскую азбуку и открыл для меня целый новый мир, прочтя "Золотую рыбку" Пушкина. Нелидов жил в то время в Керчи, туда же взял меня и определил в приходское училище, откуда я перешел в уездное. 1861 г. застал метя при переходе из первого класса во второй уездного училища…"
Эти краткие сведения Андрей Иванович дал в ответ на призыв Исполнительного комитета. Исполнительный комитет в 1880 г. предложил видным работникам рассказать о своей жизни до начала революционной деятельности. Других материалов, кроме этого незаконченного отрывка, о детстве Желябова нет.
Андрей Иванович рос накануне отмены крепостного права, когда несостоятельность его обнаружилась с полной очевидностью. Желябов был крепостным дворовым. Дворовые обычно видели и знали многое, что крестьянам, жившим на селе, не так "мозолило глаза". Наряду с наружным угодничеством дворовые, естественно, отличались и более высоким умственным уровнем. Недаром отец Желябова выслужился до управляющего. Между тем, зависимость дворовых от барских прихотей и затей была наибольшая. Понятно, окружавшие Желябова взрослые не скупились на рассказы о помещичьих самодурствах, о бесхозяйственности их и дикости. Крепостной быт рушился сверху донизу, критика его была беспощадна. Многое слышал маленький Андрюша, многое он видел и сам. Доходили вести о крестьянских бунтах, о жестоких расправах над мужиками, которые, в свою очередь, нисколько не щадили бар. Слышал он и о позорных военных делах. Война велась где-то совсем поблизости и гул ее из Севастополя доносился до Феодосийского уезда. Проходили воинские части, забредали служилые, очевидцы-обыватели, — и от них можно было узнать как "наших" бьют англичане, французы и даже турки, как топили мы флот свой, какие кругом хищения и казнокрадства и как бравые командиры умеют показывать власть свою над мужиком-солдатом, но не умеют воевать.