Супруги Исаевы приехали из Астрахани в Петропавловск в 1851 году, где Александр Иванович получил место чиновника особых поручений при начальнике Сибирского таможенного округа Но уже на следующий год семья Исаевых обустраивается в Семипалатинске. На момент знакомства с Ф. М. Достоевским Исаев лишился места по конфликту с начальством из-за участившихся запоев При этом он, по словам Достоевского, был «натура сильно развитая, добрейшая. Он был образован, понимал все».
Сама Мария Дмитриевна происходила из довольно обеспеченной семьи потомков французских эмигрантов, ее отец Д. С. Констант был директором Астраханского карантинного дома. Мария родилась в Таганроге в 1824 году, получила хорошее домашнее воспитание, училась в женском пансионе, а затем в Астраханском институте благородных девиц, где особенно отличилась на выпускных экзаменах по классу музыки и французскому языку. В 1846 году она вышла замуж за чиновника особых поручений при Астраханском комитете по перевозке казенного провианта А. И. Исаева, выходца из потомственных дворян Олонецкой губернии. В следующем году у них родился сын Паша.
Ко времени знакомства с Достоевским муж Исаевой уже несколько месяцев был без работы и сильно пил. Состояния Исаевы не имели, а кое-какие сбережения таяли, и нужда стучала в дверь их дома.
Почти все свободное время писатель проводил у Исаевых. В Марии Дмитриевне его привлекала необычайная впечатлительность, резкие порывистые движения, манера говорить. Достоевский писал брату о своей возлюбленной: «Эта дама еще молодая, 28 лет, хорошенькая, очень образованная, очень умная, добра, мила, грациозна, с превосходным, великодушным сердцем… Характер ее, впрочем, был веселый и резвый. Я почти не выходил из их дома. Что за счастливые вечера проводил я в ее обществе! Я редко встречал такую женщину».
Барон Александр Егорович Врангель, друг Достоевского, занимавший в Семипалатинске должность стряпчего по уголовным и гражданским делам, т. е. прокурора, в своих мемуарах наиболее полно описал, как развивался роман Марии Дмитриевны и Федора Михайловича. Он вспоминал: «Особенно часто он (Достоевский. — Б. С.) навещал семью Исаевых. Сидел у них по вечерам и согласился давать уроки их единственному ребенку — Паше, шустрому мальчику восьми-Девяти лет. Мария Дмитриевна Исаева была, если не ошибаюсь, дочь директора гимназии в Астрахани и вышла там замуж за учителя Исаева. Как он попал в Сибирь — не помню. Исаев был больной, чахоточный и сильно пил. Человек он был тихий и смирный. Марии Дмитриевне было лет за тридцать; довольно красивая блондинка среднего роста, очень худощавая, натура страстная и экзальтированная. Уже тогда зловещий румянец играл на ее бледном лице, и несколько лет спустя чахотка унесла ее в могилу. Она была начитанна, довольно образованна, любознательна, добра и необыкновенно жива и впечатлительна. В Федоре Михайловиче она приняла горячее участие, приласкала его, не думаю, чтобы глубоко оценила его, скорее пожалела несчастного, забитого судьбою человека. Возможно, что даже привязалась к нему, но влюблена в него ничуть не была. Она знала, что у него падучая болезнь, что у него нужда в средствах крайняя, да и человек он „без будущности“, говорила она. Федор же Михайлович чувство жалости и сострадания принял за взаимную любовь и влюбился в нее со всем пылом молодости. Достоевский пропадал у Исаевых по целым дням…