Как это часто бывает в молодежных компаниях, друзья создали некий собственный мир шутливых отношений со своими обычаями, смешными церемониями, словечками и прозвищами. Они любили собраться вместе, поболтать, потанцевать, выпить вошедшего в моду «кофию», без которого после Петра уже не могло жить русское общество. Непринужденная обстановка вечеров у Асечки не походила на натужное веселье ассамблей. О сердечных, шутливых отношениях говорят сохранившиеся письма Асечки и ее друзей. «Милая сударыня Асечка Ивановна!» – начинает свое письмо Ганнибал, шутливо описывает свою жизнь и заканчивает письмо приветом от «Черного Абрама».
Салон Асечки погубила, как часто бывает, болтовня. Асечка была гоф-дамой Екатерины I, и как-то раз весной 1727 года она принесла в салон самую свежую сплетню: Меншиков уговаривает государыню завещать престол великому князю Петру (сыну казненного царевича Алексея) и хочет выдать за него свою дочь Марию. Асечкины гости были возмущены и, надо думать, не церемонились в выражениях – светлейшего мало кто любил. Как только Меншиков узнал об утечке из дворцовых покоев столь важной для него информации, он тотчас же расправился с Асечкой и ее друзьями. Княгине Волконской было велено немедленно ехать в ее подмосковную деревню, Семена Маврина сослали в Сибирь, Абрама Ганнибала отправили в дальнюю командировку, остальных понизили в должности.
Екатерина I умерла 6 мая 1727 года, а уже 8-го Ганнибал скакал в Казань, дабы, как предписывалось ему, инженеру-фортификатору, «осмотреть тамошнюю крепость», составить проект и строить новую цитадель. Такое задание дается не одному человеку и не на один год. Но не успел Абрам, фактически высланный из столицы без средств к существованию, достать из походного сундука свою готовальню, как получил новый указ Меншикова: «ехать без всякого замедления» в Тобольск и там строить новую крепость.
Ганнибал был в отчаянии. Он понимал, что обуявшая Меншикова градостроительная лихорадка – лишь предлог для ссылки «Черного Абрама». Из Казани он послал на имя светлейшего редкостное по самоуничижению письмо: «Не погуби меня до конца имени своего ради; и кого давить такому превысокому лицу? Такого гада и самая последняя креатура на земле [раздавит], которого червя и трава может сего света лишить: нищ, сир, беззаступен, иностранец, наг, бос, алчен, жажден. Помилуй, заступник и отец!» Не помогло! Не успел Абрам приехать в Тобольск, как сибирский губернатор князь М.В.Долгорукий получил указ Меншикова: Арапа немедленно отправить строить, конечно же, новую крепость на китайскую границу. При этом учредить за ним «крепкий присмотр», чтобы – не дай Бог! – не ушел в Китай. Ганнибал предвидел предстоящие испытания. Уезжая из Казани, он написал Асечке, что в Тобольске его наверняка ждет «третий ордер, куда дале ехать, как изволят. Я всюду готов ехать без всякой печали, кроме того, что меня лишили моих друзей». Он просил Асечку прислать ему денег, ибо опасался, что его «зашлют в какие пустые места, чтобы там уморить». И вот перед ним открылся край русской земли – Селенгинск, дальше отправлять ссыльных было некуда.