В декабре 1953 БГ вышел в отставку и вступил в новообразованный беспартийный киббуц Сде-Бокер в Негеве, подчеркнув таким образом значение, придаваемое им заселению пустынных земель, и дав этим личный пример молодежи. В феврале 1955 БГ был призван правительством Моше Шарета вновь возглавить Министерство обороны в связи с обострением проблем безопасности Израиля. В ответ на усиление диверсионных действий арабских террористов, проникавших из соседних стран на территорию Израиля, БГ дал приказ о проведении ряда систематических карательных военых операций за линиями перемирия.
После выборов в Кнесст 3-го созыва (ноябрь 1955) БГ вновь стал во главе правительства, сохранив за собой пост министра обороны. Национализация Суэцкого канала египетским правительством, усиленное снабжение Египта советским оружием и диверсионные акты террористов снова поставили под угрозу безопасность Израиля и повлекли за собой Синайскую кампанию, которую БГ провел, координируя военые действия с Францией и Англией. 29 октября 1956 израильская армия двинулась на юг и в течение 6 дней заняла Синайский п-ов и полосу Газы, нанеся сокрушительный удар египетской армии. Однако под давлением США и СССР правительство БГ было вынуждено возвратить эти территории Египту, предварительно обеспечив пребывание на них подразделений ООН для предотвращения развязывания военых действий с этих территорий в будущем.
В предвыборной кампании 1959 БГ ратовал за систему выдвижения кандидатов по избирательным округам в противоположность существовавшей системе пропорционального представительства, при котором вся страна являлась как бы одним избирательным округом. Он считал, что система выборов по округам предотвратит раздробление израильской общественности на мелкие группировки и устранит необходимость формирования коалиционных правительств, основанных на компромиссах. Однако взгляд БГ не только не был одобрен большинством Кнесета, но и вызвал разногласия в партии Мапай. Это ознаменовало начало разлада между БГ и его партией.
В сентябре 1960 в центре внимания общественности страны стало "дело Лавона". Пинхас Лавон, занимавший пост министра обороны во время отставки БГ, требовал снятия с себя ответственности за провал израильской разведки в Египте в 1954. Комиссия, изучившая соответствующие документы, освободила его от этой ответственности. БГ отказался признать решение комиссии и в январе 1961 подал в отставку, предложив партии выбрать между ним и Лавоном. После серьезных разногласий в партии центральный комитет Мапай принял решение сместить Лавона с поста генерального секретаря Гистадрута. После очередных парламентских выборов в августе 1961 БГ вновь возглавил правительство. Однако трения между БГ и партией продолжались, и в июне 1963 БГ снова вышел из правительствава, рекомендовав Леви Эшкола в качестве своего преемника. В 1964 БГ потребовал судебного рассмотрения "дела Лавона", считая это своим долгом и вопросом первостепенной важности. В январе 1965 Мапай отклонила это требование, и на выборах в Гистадрут и Кнесет БГ выступил с самостоятельным "Списком рабочих Израиля" ("Решимат по'а-лей Исраэль", сокр. Рафи). Этот список получил 12 % голосов в Гистадруте и провел 10 депутатов в Кнесет. После Шестидневной войны партия Рафи вместе с Мапай и Ахдут ха-авода объединились в Израильскую партию труда. БГ не вступил в объединенную партию. На выборах в октябре 1969 он стоял во главе "Государственного списка" ("Решима мамлахтит"), получившего всего четыре мандата. В следующем году БГ оставил Кнесет. Окончательно отказавшись от участия в политической жизни, он noлностью посвятил себя литературной работе в уединении в киббуце Сде-Бокер.