Власик был по-собачьи предан Сталину, который наградил его не только званием генерал-лейтенанта, но и многими орденами — в том числе полководческим орденом Кутузова I степени, хотя Власик ничем, кроме личной охраны вождя, не командовал и на фронте не был. Власик обожал фотографировать, и в «Правде» печатались его снимки, на которых был запечатлен вождь. Власик был могущественным человеком. Он даже к партийной верхушке обращался на «ты». Перед ним все заискивали.
Светлана Аллилуева вспоминала:
«Власик считал себя чуть ли не ближайшим человеком к отцу и, будучи сам невероятно малограмотным, грубым, глупым, но вельможным, дошел в последние годы до того, что диктовал некоторым деятелям искусства «вкусы товарища Сталина», так как полагал, что он их хорошо знает и понимает…
Наглости его не было предела, и он благосклонно передавал деятелям искусства — «понравилось» ли «самому» — будь то фильм, или опера, или даже силуэты строившихся тогда высотных зданий…»
Власик жил весело, пил и гулял за казенный счет, гонял машину на сталинскую дачу за коньяком и продуктами для пьянки с веселыми женщинами. Привозил женщин на правительственные дачи, иногда устраивал стрельбу прямо за обеденным столом — стрелял по хрустальным бокалам. Обарахлился трофейным имуществом — собрал четырнадцать фотоаппаратов, золотые часы, кольца, драгоценности, ковры, хрусталь в огромных количествах. Из Германии он привез фарфоровый сервиз из ста предметов. И в своей безнаказанности он зарвался.
Видимо, кто-то аккуратно обратил внимание Сталина на разгульный образ жизни его главного охранника и заметил: а можно ли такому ненадежному человеку, который увлекся личными делами, поручать охрану вождя?
Но не это было главной причиной, по которой Власик лишился расположения вождя. Власика, как и своего помощника Поскребышева, он считал связанным с Берией, они постоянно встречались. И Берия действительно постарался наладить дружеские отношения с Николаем Сидоровичем, которому льстило внимание члена политбюро. А Сталин хотел отрезать Лаврентия Павловича от столь важных источников информации. Он понимал, что Берия — не тот человек, который, когда его придут арестовывать, возьмет зубную щетку и позволит увезти себя в «Лефортово». Потому и не хотел, чтобы Лаврентий Павлович успел приготовиться к аресту.
В апреле 1952 года Сталин сказал, что в Главном управлении охраны не все благополучно, и поручил Маленкову возглавить комиссию по проверке работы управления.
Власика обвинили в финансовых упущениях — продукты, выделяемые для политбюро, нагло разворовывались многочисленной челядью. Власик в оправдание жалко лепетал, что он малограмотный и не способен разобраться в финансовых документах. Его освободили от должности. Одновременно разогнали почти все руководство Главного управления охраны Министерства госбезопасности. Обязанности начальника управления охраны взял на себя сам министр Игнатьев.