Удивительно, но такой открытый и прямодушный человек незаметно для себя миновал зоркое око императора Павла I, избегнув гонений, с чем справились немногие. А с Александром I, будучи уже генерал-губернатором столицы, попросту приятельствовал. Именно с Милорадовичем и Александром связан замечательный анекдот. — Как-то генерал явился во дворец с докладом, и находился он в тот момент в очень вздорном настроении. Императору уже доложили, что такое настроение графа связано с огромным карточным проигрышем. Царь (а он, известно, очень не любил игру), благодушно оставив Милорадовича в кабинете, отправился в библиотеку, взял первую книгу, вырвал все страницы и положил туда пачку ассигнаций. Воротясь, он протянул генералу книгу: «Возьмите, Михал Андреевич, может быть, это вас как-то утешит». Милорадович, обнаружив ассигнации, пришел в умиление и мигом проиграл их все. На следующий день он снова явился во дворец, но, будучи даже в большем проигрыше, был весел. «Ну, как сегодня ваше настроение?» — поинтересовался Александр Павлович. «Прекрасное! — отвечал Милорадович. — Я в восхищении от прочитанного! С нетерпением жду продолжения!». Александр Павлович вышел из кабинета и проделал ту же операцию, что накануне. И опять передал книгу графу, строго присказав при этом: «Возьмите, граф. Том второй и последний!»
Графу Милорадовичу принадлежит и еще одна совершенно апокрифичная реплика. Как известно, официальные распоряжения Императорского Величества сопровождались большим количеством «вводных» слов, как то: что-то там Всея Руси «соизволил». Нетерпеливый Милорадович, опять же приятельствуя с императором, отчего многое было ему позволительно, иной раз рассеивал весьма откровенную задумчивость императора: «Александр Павлович, ну, извольте уже соизволить!»
Вообще император прощал Милорадовичу многое, покоренный смелой его открытостью и щедростью, влекущей огромные долги, без которых Милорадович считал жизнь скучной. В легенду вошли пышные балы в бытность его Киевским военным губернатором, званые обеды, что он давал от имени генерал-губернатора Санкт-Петербурга, и знаменитые праздники на даче, что он снимал для артисток на Екатерингофской дороге.
Прощал ему Александр Павлович и его роскошные шали и собольи шубы, дивившие всю столицу, покоренный его изящным щегольством. И его любовные похождения, покоренный отменным искусством волокитства. Что ж, на последнее граф имел полное право — он не был женат. Ну, и на многое другое Александр Павлович закрывал глаза, конечно, тоже. Может быть, и потому, что и сам царь, как и Милорадович, был немного либералом или пытался им слыть. Как верно заметил Николай Семенович Лесков, Милорадович «не желал преследовать слова, мысли и намерения, доколе они не проявлялись в явных нарушениях закона».