Однако семья леди Гастингс не хотела ничего забывать, как ничего не хотел забывать и ее лучший друг сэр Джон Конрой. Воспользовавшись этой неприглядной историей, он сразу же перешел в наступление против тех, кто, по его мнению, мешал осуществлению всех его амбиций. Не преминули воспользоваться этой историей и пропагандисты из рядов тори, которые тут же обрушились на лорда Мельбурна и его вигское правительство с критикой царивших при королевском дворе нравов. Да и сама леди Гастингс не хотела прощать нанесенной ей обиды. Она написала письмо своему дяде капитану Гамильтону Фицджералду, который в то время жил и работал в Брюсселе, и с нескрываемой обидой сообщила, что «ее честь была поругана самым недостойным образом».
Фицджералд немедленно отправился в Лондон и обрел поддержку у лорда Гастингса, брата леди Флоры, который также был преисполнен решимости любой ценой отстоять честь семьи. Повидавшись с сестрой, он пришел к выводу, что во всем этом скандале виноват прежде всего лорд Мельбурн, и даже пригрозил тому вызовом на дуэль. Однако после долгого разговора с премьер-министром лорд Гастингс изменил свое мнение и вынужден был признать, что Мельбурн сделал все возможное, чтобы замять скандал и не допустить широкой огласки. А сестра заверила его в том, что королева здесь ни при чем. «Королева просто не понимает, — писала она позже, — кто втянул ее в этот скандал и заставил поверить слухам. Она совершенно искренно сожалеет о случившемся и со слезами на глазах пожелала скорейшего выздоровления». Но это не успокоило лорда Гастингса, и он попросил аудиенции у королевы. Премьер-министр был решительно против его встречи с королевой, чем вызвал гневную отповедь со стороны возмущенного лорда Гастингса: «Я прождал два дня в надежде получить аудиенцию у ее величества, о которой просил не только по праву пэра, но и по праву одного из пострадавших, но терпение иссякло, и, желая как можно быстрее восстановить доброе имя моей оскорбленной и униженной семьи, я вынужден прибегнуть к единственно возможному средству, которое осталось в моем распоряжении: предать гласности то безобразное отношение, которое в последнее время было проявлено к моей сестре».
При этом он разделял мнение сестры о том, что королева не связана напрямую с теми нападками, которые она испытала при дворе. Более того, он возложил всю вину на «пагубное влияние», которое оказывали на королеву определенные лица, и заявил, что если обнаружит дополнительные относящиеся к делу его сестры факты, то непременно примет доступные ему меры, чтобы оградить семью от дальнейших нападок.