Председателем КГБ при СМ СССР стал генерал-полковник И. А. Серов, которому симпатизировал хорошо знавший его по совместной работе на Украине Н. С. Хрущев.
А потом шлейф общей работы с Берией не давал покоя ни Круглову, ни его злопыхателям. В глазах у многих партийных функционеров он оставался «подручным Берии». Его стремительно понижали, доведя до уровня районного чиновника. А в 1958 году отправили на пенсию по инвалидности. Однако он ходил по кабинетам хрущевских чиновников, добиваясь справедливости в оценке своей работы в органах госбезопасности и внутренних дел.
Через год его выселили из элитной квартиры, лишили генеральской пенсии, а спустя еще год исключили из партии с обвинением — «за грубые нарушения социалистической законности». А потом отобрали и дачу. Его близкие друзья и родственники рассказывали, что удары судьбы и претензии вчерашних коллег он переносил стоически. Радовало то, что он вместе с некоторыми своими сослуживцами не оказался на нарах или и того горше — в списках подлежащих ликвидации.
По указанию Хрущева многих руководителей НКВД, НКГБ, МВД и МГБ арестовывали и судили с расстрельными приговорами. Ему повезло только потому, что он нигде не засветился в организации жестоких репрессий. А вот унизить власти старались не одного его. Это было в духе того времени — хрущевского «насморка». Он понимал, что высший позор — ради жизни утратить смысл жизни. Этот треклятый смысл покидал его крутой траекторией приземления. Круглов философски считал, что у каждого человека, в том числе и у него, судьба переменчива: плохие дни чередуются с очень плохими, собираясь суточными звеньями в цепь серой обыденности.
В конце жизни Сергей Круглов успокоился, начав жизнь с чистого листа обыкновенным пенсионером. Да, теперь не было ни спецмагазинов, ни спецобслуживания, не было генеральской пенсии и огромного особняка в Жуковке. Он купил скромную дачу-скворечник в Пушкинском районе недалеко от платформы Правда Ярославского направления. Здесь они с женой Таисией Дмитриевной, дочерью Ириной и сыном Валерием коротали летние и теплые весенне-осенние дни.
Один из сослуживцев вспоминал, что Круглов в порывах откровения часто спрашивал его, за что новые власти так свирепы к нему и другим его коллегам. И тут же он отвечал:
«Ведь они тоже варились в то же время и занимались тем, что и я вместе с другими. Не верю я, что Лаврентий Павлович шпион, враг народа и хотел совершить госпереворот. Да, власть любил. А кто ее не любит из тех, кто со стержнем тщеславия вползает в политику, порой до безобразия кривя душой?»