Их письма становились все более личными. В манере того времени, склонной к сильным преувеличениям, Бальзак открыл польской аристократке свое сердце, вызвав у нее сочувствие и жалость. Этой романтической особе наскучила монотонная семейная жизнь в большом замке на Украине, окруженном пятьюдесятью тысячами акров равнинных земель. Она восхищалась автором, он интересовал ее и как человек. Около двух лет они обменивались письмами, но потом Ганская с больным мужем, дочерью, гувернанткой и свитой слуг поехала в Невшатель в Швейцарию, куда пригласила и Бальзака. Существует романтическая, но не подкрепленная доказательствами легенда об их первой встрече. Бальзак гулял в парке, когда увидел сидевшую на скамейке даму с книгой в руках. Она уронила платок, и, поднимая его, писатель заметил, что дама читает его роман. Он заговорил с ней. Оказалось, что это именно та женщина, на встречу с которой он приехал. В те годы она была статной и очаровательной, с прекрасными, чуть косящими глазами, великолепными волосами и красиво очерченным ртом. Вначале ее, должно быть, поразил его вид: выходило, что лирические, страстные письма писал толстый мужчина с красным лицом, больше похожий на мясника, чем на поэта; но, если так и было, блеск его глаз с золотистыми крапинками, бьющая через край жизнерадостность заставили забыть первое впечатление, и вскоре он стал ее любовником. Спустя несколько недель он был вынужден вернуться в Париж, однако любовники договорились вновь встретиться в Женеве в начале зимы. На Рождество Бальзак приехал в Женеву и провел там шесть недель, написав за это время «Герцогиню де Ланже», где отомстил мадам де Кастри за унижение и страдание, которые она ему принесла.
Вернувшись в Париж, он познакомился с графиней Гвидобони-Висконти, белокурой, чувственной англичанкой, постоянно изменявшей своему легковерному мужу, и она моментально очаровала влюбчивого писателя. Слухи об их романе проникли на первые страницы газет, и мадам Ганская, жившая тогда в Вене, узнала, что любовник ей неверен. Она написала ему письмо, полное горьких упреков, и объявила, что возвращается на Украину. Это был удар. Бальзак рассчитывал жениться на Ганской после смерти мужа, полагая, что это событие не за горами, и вступить во владение ее состоянием. Заняв две тысячи франков, он поспешил в Вену для примирения. Он путешествовал под именем маркиза де Бальзака с гербами на багаже и личным слугой, что увеличило расходы, так как человеку в его положении было не к лицу торговаться в гостиницах и чаевые следовало давать в соответствии с заявленным рангом. В Париж он вернулся с пустыми карманами. Мадам Ганская осыпала его упреками, и Бальзаку пришлось наврать с три короба, чтобы усыпить ее подозрения. Через три недели она отбыла на Украину, и вновь они встретились только восемь лет спустя.