В свое время его женили на самой богатой невесте в России - Варваре Шереметевой, но Алексей Кириллович Разумовский не ужился с ней и расстался, хотя она родила ему четверых детей. При нем неотлучно жила мещанка Марья Соболевская, с которой у них было десятеро - пять мальчиков и пять девочек, числившихся в доме «воспитанниками».
Граф был нелюдим, вечно всем недоволен, редко виделся с «воспитанниками», а с гувернанткой их, жившей в нескольких комнатах от него, сносился не иначе, как письменно.
В эпоху «вольнолюбивых мечтаний, политических утопий и административного дилетантизма», когда Александр I вместе с Чарторижским, Строгановым и Кочубеем облекали свои мысли о России во французские фразы и отвергали даже намеки на освобождение крестьян, в столице началось увлечение католицизмом. Вместе с французскими эмигрантами в Россию нахлынули иезуиты. В гостиных шуршали сутаны. Голицыны, Куракины, Растопчины временно обратились в католичество, исповедовались по-латыни в многочисленных грехах. Явился на сцену и «пророк прошедшего» Жозеф де Местр, опутывавший аристократов расчетливой иезуитской лестью.
Часами он беседует с Разумовским, который решил вернуться к государственной деятельности. Став попечителем Московского университета и управляя им через канцеляриста Михаила Качони, быстро превратившегося в профессора и литератора Каченовского, граф Разумовский оказался и на посту министра просвещения, который прежде предназначался Карамзину.
Славянофил Юрий Самарин в своей книге «Иезуиты и их отношение к России» писал о Разумовском и Жозефе де Местре:
«Поверенный иностранной державы, притом еще иноверец... подступает к русскому министру народного просвещения, уставив в него строгий начальнический взгляд, хватает его за ворот, трясет, поднимает с министерских кресел, садится на его место и, поставив перед собой как школьника, читает ему нотацию о том, что для России нужно и что не нужно, как управлять русскими и чему их учить, или, точнее, чему их не учить».
Граф передавал царю записки мракобеса де Местра, слово в слово повторял слова иезуита о вреде естественных наук, истории, археологии для будущих государственных служащих, когда началась организация лицея. И все-таки слава основателя Царскосельского лицея выпала на долю Разумовского.
Он присутствовал на экзамене, где Пушкин декламировал свои «Воспоминания в Царском Селе», растрогавшие Державина.
Разумовский тоже считал себя не чуждым литературе, поскольку посещал шишковские собрания. И потому на торжественном обеде он счел себя вправе сказать отцу юного поэта, Сергею Львовичу Пушкину: