Андрей Ильич родился в г. Симбирске 4 июля 1763 года и назван именем в честь Свят. Андрея, архиепископа Критского. Родители его Илья Иванович и Анна Иосифовна Огородниковы были бедные симбирские мещане, проживавшие в подгорной части г. Симбирска, где Андрей Ильич и родился. По отзывам людей, знавших его родителей, они отличались благочестивою жизнью, и особенно мать его, которую прямо называют женщиною «набожною». До смерти родителей Андрей Ильич жил в их доме, под горою, на берегу реки Волги, а затем поступил на попечениe старшего своего брата Фаддея. С 1813 г., когда скончался и брат, Андрей Ильич имел приют у овдовевшей сестры своей Натальи, которая, как передают, единственно для него вышла из симбирской женской обители, куда поступила было, и служила ему чем могла всю свою жизнь при помощи благодетелей. К числу последних благодарная память относит, между прочим, одну из симбирских помещиц Е. А. Мильгунову, которая выстроила для него с сестрою хижину на дворе у племянницы его по брату Агафьи (на принадлежащем ныне в Панской улице гг. Сахаровым месте) и до самой кончины Андрея Ильича жертвовала ежегодно на его содержание по 60 руб. ассигнациями. До трехлетнего возраста Андрей Ильич был сиднем, пил и ел из чужих рук; потом стал ходить, но ничего не говорил, кроме «мама Анна», или просто «Анна», как звали его мать, и так во всю свою жизнь. До семи лет он носил обычную одежду; с наступлением же этого возраста совершенно перестал надевать и верхнее платье, и обувь, и неизменно зимою, в самые лютые морозы, и летом, не взирая ни на какие перемены погоды, стал бегать по улицам города босиком, в одной длинной рубахе, и с той поры сделался предметом благоговейного почитания и удивления для одних, сомнения и предубеждения для других и для некоторых, к счастью немногих, предметом насмешек и глумления.
Находились люди, которые склонны были считать Андрея Ильича безумным и деятельность его бессознательною. Между тем при внимательном взгляде на его жизнь нельзя не видеть, что все его внешние действия и поступки, особенно те, которые служили выражением его духовной жизни, запечатлены глубокой сознательностью и обнаруживают в нем совершенно естественное состояние ума. На обращаемые к нему вопросы он давал ответы звуками, жестами, движением рук или головы, утвердительные или отрицательные, смотря по смыслу речи, и, несомненно, вполне сознательные. Другие с твердым убеждением принимали его молчание за подвиг, с чем и нужно согласиться, так как не подлежит сомнению, что он не лишен был ни органа слуха, ни других органов для правильного произношения слов.