При всей информативности воспоминаний Ивана Степановича, в них очень мало можно найти сведений о нем самом и его семье. Описаны лишь обстоятельства женитьбы на Александре Ивановне Лаптевой, но о характере ее, внешности, привычках можно судить лишь по отрывочным и косвенным сведениям. Только один раз автор подробно остановился на описании распорядка своего дня, чтобы показать, как много сил и времени занимала у него работа с документами на посту симбирского губернатора. И однажды, когда тяжелые обстоятельства жизни в отставке, почти в нищете, стали уж совсем невыносимы, он позволил себе излить душу на бумаге. Но этот отрывок был выпущен из текста «Записок» при первом издании, не увидит его и нынешний читатель.
О характере и привычках самого автора также довольно сложно составить себе представление, основываясь на тексте его воспоминаний. Но к счастью, этот пробел помогают восполнить воспоминания о Жиркевиче уже упоминавшегося выше Эразма Ивановича Стогова. Позволим себе их процитировать:
«…Видаясь по разным случаям с Жиркевичем, я всегда заставал его за бумагами и составил о нем себе понятие, что это человек дела. Он всегда был как то сдержан, очень вежлив, но малейшая несправедливость, плутовство по делам – выводили его из себя; вспылив, он уже не знал границ гнева…
Жиркевича полюбить очень трудно, но нельзя было не почитать его, нельзя было не уважать честной его деятельности, его бескорыстия; он отдался весь, без остатка, полезному служебному труду…» При всех этих высоких деловых качествах, при том, что, по словам Стогова, его «достанет управлять тремя губерниями», симбирское дворянство (как впоследствии и витебское) губернатора невзлюбило: он не понимал и не умел строить с людьми человеческих отношений, не бывал в обществе, никого не приглашал к себе. «Как он для общества, так и оно для него – не существовали», – пишет Э. И. Стогов.
Об отмеченных Стоговым чертах характера И. С. Жиркевича сохранились и другие свидетельства. Старательно собиравший все доступные сведения о своем роде и особенно о родном деде, Александр Владимирович Жиркевич, писал, что ему «случалось нередко встречаться с людьми, или знавшими покойного Ивана Степановича лично, или слышавшими о нем от его современников: все отзывы обрисовывали покойного, как идеально честного, правдивого, бескорыстного русского деятеля».
К перечисленным достоинствам И. С. Жиркевича можем добавить, что был он еще и чрезвычайно скромным человеком. Об этом ясно свидетельствуют слова его завещания, написанного за несколько дней до кончины. Иван Степанович просил, чтобы похороны его были самыми скромными, чтобы близкие глубокого траура по нему не носили. И завершал свои последние распоряжения словами: «Да простит Господь мне, как я прощаю всех враждующих мне и ненавидящих меня».