Вревский был женат дважды: первый раз на дочери будущего министра внутренних дел России С. С. Ланского Марии (1819—1844), второй – на Настасье Сергеевне Щербатовой – дочери егермейстера, действительного тайного советника С. Г. Щербатова.
Во время Крымской войны Вревский находился в осаждённом Севастополе и попал 4 августа 1855 года в гущу сражения на Чёрной речке: одним ядром под ним убило лошадь, другим контузило, третьим сорвало фуражку, а следующим смертельно ранило в голову. Он был похоронен в Бахчисарайском Успенском монастыре.
10 августа 1836 года Анна Петровна вынуждена была письменно обратиться к Николаю I: «Августейший монарх, Всемилостивейший Государь! Отчаяние, безнадёжное состояние и жесточайшая нужда повергают меня к стопам Вашего Императорского Величества. Кроме Вас, Государь, мне некому помочь! Совершенное разорение отца моего, надворного советника Полторацкого, которое вовлекло и мою всю собственность, равно отказ мужа моего, генерал–лейтенанта Керна, давать мне законное содержание лишают меня всех средств к существованию. Я уже покушалась работою поддерживать горестную жизнь, но силы мне изменили, болезнь истощила остальные средства, и мне остаётся одна надежда – милосердное воззрение Вашего Императорского Величества на мои страдания. Я не расточила своего достояния – это внушает мне смелость взывать к милосердию Вашего Императорского Величества. Вы ли не будете снисходительны к дочернему усердию, через которое я ввержена в нищету».
При содействии начальника царской Военно–походной канцелярии генерал–адъютанта В. Ф. Адлерберга в ответ на своё прошение она получила единовременную материальную поддержку в размере 2 тысяч рублей; Керну был послан запрос, почему он отказывается содержать жену.
Ермолай Фёдорович 13 ноября 1836 года ответил государю длинным письмом, в котором во всём происшедшем обвинял жену; он писал, что женившись почти без приданого и «имея одну любовь и дружбу жены в предмете», не доискивался помощи тестя. «Увидя же вскоре к себе её равнодушие и холодность, – оправдывался генерал, – поздно уже познал своё несчастие. Она, невзирая на все мои и общих родных наших убеждения и просьбы, оставила меня с двумя дочерьми самовольно в первый раз на четыре года, расстроив меня совершенно сделанными для неё, при начале супружества и при неоднократных потом возвращениях ко мне в скудном виде после продолжительных отлучек, долгами… Но я, как надлежало супругу, вызвал её после четырёхлетней разлуки с взрослыми детьми, не вспомнив прошедшие неприятности, принял её с прежнею любовью, хотя она, смею доложить, прибыла ко мне, не имея даже и необходимого платья… Моё снисхождение не послужило к добру: она забылась, изъявив мне желание, чтобы я детей определил на казённое содержание… Наконец, моя жена оставила меня в другой раз, объявив мне, что не желает со мною жить… Десять лет провёл я в разлуке с женою моею, не имев даже никакой переписки. В нынешнем году, прибыв в столицу, я принял дочь мою из Института… В это время… жена моя объявила родным своим, что она желает быть вместе со мною и дочерью, но не с тем, чтобы быть мне женою, а дочери – матерью, а только в обязанности гувернантки. После данного дочери моей воспитания, какою может быть ей моя жена гувернанткою, привыкшая к беззаконной жизни и, осмеливаюсь доложить, виновница нищеты дочернего состояния? За всем тем, убеждаясь просьбами дочери моей, основанными на истинной любви к родителям, я неоднократно и в прошедших месяцах, оставляя для себя даже необходимое в житейском быту, помогал неблагодарной жене, посылая ей по возможности деньги».