Во время моего первого проезда через Семипалатинск в августе 1856 года Исаевой уже там не было, и я познакомился с ней только из рассказов Достоевского. Она переехала на жительство в Кузнецк (Томской губернии), куда перевели ее мужа за непригодность к исполнению служебных обязанностей в Семипалатинске. Между нею и Ф. М. Достоевским завязалась живая переписка, очень поддерживавшая настроение обоих. Но во время моего проезда через Семипалатинск осенью обстоятельства и отношения обоих сильно изменились. Исаева овдовела, и хотя не в состоянии была вернуться в Семипалатинск, но Ф. М. Достоевский задумал о вступлении с ней в брак Главным препятствием к тому была полная материальная необеспеченность их обоих, близкая к нищете…
В январе 1857 года я был обрадован приездом ко мне Ф. М. Достоевского. Списавшись заранее с той, которая окончательно решилась соединить навсегда свою судьбу с его судьбой, он ехал в Кузнецк с тем, чтобы устроить там свою свадьбу до наступления Великого поста. Достоевский пробыл у меня недели две в необходимых приготовлениях к своей свадьбе. По нескольку часов в день мы проводили в интересных разговорах и в чтении, глава за главой, его в то время еще не оконченных „Записок из Мертвого дома“, дополняемых устными рассказами.
Понятно, какое сильное, потрясающее впечатление производило на меня это чтение и как я живо переносился в ужасные условия жизни страдальца, вышедшего более чем когда-либо с чистой душой и просветленным умом из тяжелой борьбы, в которой „тяжкий млат, дробя стекло, кует булат“. Конечно, никакой писатель такого масштаба никогда не был поставлен в более благоприятные условия для наблюдения и психологического анализа над самыми разнообразными по своему характеру Людьми, с которыми ему привелось жить так долго Одной жизнью. Можно сказать, что пребывание в „Мертвом доме“ сделало из талантливого Достоевского великого писателя-психолога.
Но не легко достался ему этот способ развития своих природных дарований. Болезненность осталась у него на всю жизнь. Тяжело было видеть его в припадках падучей болезни, повторявшихся в то время не только периодически, но даже довольно часто. Да и материальное положение его было самое тяжелое, и, вступая в семейную жизнь, он должен был готовиться на всякие лишения и, можно сказать, на тяжелую борьбу за существование».
Как видим, роман Достоевского с Исаевой был бурным, отнюдь не гладким, и даже после того, как 4 августа 1855 года А. И. Исаев скоропостижно скончался, влюбленные, разделенные сотнями километров сибирских степей, далеко не сразу соединились. При этом у Федора Михайловича появился соперник, который вначале, казалось, был удачливее его и значительно состоятельнее в материальном отношении.