В 1954 году Кеннеди необходимо было выступить против сенатора Джо Маккарти (который был другом его отца), обвиняемого в «охоте на ведьм», но предусмотрительно сказался больным. Он провёл в юности много времени в больницах с различными жалобами, и ему очень нравилось, что там его постоянно окружали молодые медсёстры.
Однажды ночью 1958 года Леонард и Флоренс Кэйтер были разбужены тем, что какой-то мужчина бросал камешки в окно их квартирантки, двадцатилетней Памелы Тёрнер, которая была секретарём в сенатском офисе Кеннеди.
Ревностные католики Кэйтеры видели, как Кеннеди крадучись выходил ночью от Памелы Тёрнер, и установили магнитофон в её комнате. В 1959 году во время предвыборной борьбы Кеннеди с Линдоном Джонсоном за место кандидата от демократической партии они послали записи и комментарии в газеты.
Пресса не поверила этой истории, но Гувер слышал об этом и, забрав все материалы у Кэйтеров, передал их своему давнему другу Джонсону для того, чтобы он использовал их в своей борьбе. Гувер имел досье на Кеннеди, которое включало данные под присягой показания двух проституток. К этому времени Кеннеди снял в отеле «Мэйфлауэр» в Вашингтоне личный номер люкс, который осведомители ФБР называли «детский манеж Кеннеди».
Когда Кеннеди уже выиграл на президентских выборах, Кэйтеры в отчаянии проводили демонстрации у Белого дома, протестуя против того, что президент США нарушал супружескую верность. Это не вызвало никакой реакции.
Памела Тёрнер за свою самоотверженную ночную службу была вознаграждена. Когда Кеннеди вошёл в Белый дом, он сделал её пресс-секретарём Жаклин. Жена Кеннеди знала о том, что происходит, но не возражала, аргументируя это тем, что, если она не будет создавать ему трудности, это ему наскучит. Когда Кеннеди спросили, с чем бы он мог сравнить жизнь первой леди, он ответил: «С жизнью на высоко натянутой проволоке».
Жаклин была всегда на шаг впереди своего мужа. На обедах в Белом доме она никогда не волновалась, если рядом с его мужем сидела одна из его любовниц. По крайней мере, это был путь, который не развивал его «дар».
В 1957 и 1959 годах Кеннеди тайно ездил на Кубу на свидание с Флоренс Притчет Смит, женой посла США на Кубе при администрации Эйзенхауэра. Он познакомился с ней в «Сторк-клубе» в 1944 году, и, по слухам, Флоренс была любовью его жизни. Одно время она работала моделью, но позднее вышла замуж, перейдя в католичество, однако три года спустя развелась. В 1947 году она снова была с Кеннеди. В его записной книжке 28 июня написано: «День рождения Фло Притчет — послать бриллианты». Годом позже она вышла замуж за миллионера значительно старше её — Эрла Эдварда Смита, которого Эйзенхауэр направил на Кубу.