С годами работа начала ее утомлять. Репутация Перкинс пошла на спад. Дважды она подавала Рузвельту прошение об отставке и дважды получала отказ. «Фрэнсис, вы не можете сейчас уйти. Не взваливайте это на меня, — уговаривал ее президент. — Я не могу придумать вам замену, не могу сейчас привыкать к новому человеку. Только не это! Пожалуйста, оставайтесь на посту и не спорьте со мной. Вы прекрасно справляетесь».
В 1939 году Перкинс попытались отправить в отставку. Дело строилось вокруг австралийского докера по имени Гарри Бриджес[16], который возглавил всеобщую забастовку в Сан-Франциско. Противники Бриджеса утверждали, что он коммунист, и требовали выслать его из страны за подрывную деятельность>{51}. Слушания по депортации, проводимые департаментом труда, затянулись. В 1937 году появились новые свидетельства против Бриджеса, и в 1938-м началось оформление депортации. Однако процедура была заблокирована решением суда, а затем подана апелляция в Верховный суд. Задержка разгневала противников Бриджеса, в числе которых были группы предпринимателей и лидеры других профсоюзов.
Вся критика обрушилась на Перкинс. Почему министр труда защищала подрывника? Один конгрессмен даже утверждал, что сама она русская еврейка и коммунистка. В январе 1939 года Парнелл Томас, представитель Нью-Джерси в Конгрессе, инициировал процедуру отставки. Пресса не стеснялась в выражениях. У Франклина Рузвельта была возможность выступить в защиту Перкинс, но он опасался запятнать свою репутацию и оставил ее без поддержки. Большинство ее союзников в Конгрессе также промолчали. Отказалась выступить в защиту Френсис и Федерация женских клубов. Газета The New York Times разместила двусмысленную редакционную статью, в которой просматривалось общее подозрение, что она в самом деле коммунистка, и никто не хотел вставать на линию огня, чтобы ее защитить. Только политики из Таммани-холла продолжали ее поддерживать.
Бабушка Перкинс учила ее: когда в обществе скандал, главное — «вести себя как ни в чем не бывало». Фрэнсис следовала этому совету. В ее воспоминаниях об этом периоде мы находим неловкие, но красноречивые формулировки. «Конечно, если бы я надо всем плакала, если бы я потеряла контроль, я бы сломалась, — позже говорила Перкинс. — Это наше, новоанглийское. Нам нельзя так поступать, иначе мы разваливаемся. Наша внутренняя целостность, умение сохранять свежую голову, решать и действовать, когда мы сами страдаем или причиняем себе вред, — все это развалилось бы, и у меня не было бы внутри того стержня, который дает мне веру, что Господь направит меня к нужному решению»