Одновременно с успешной банковской карьерой Мейджор довольно быстро продвигается и по "партийной линии". Уже вскоре после вступления в молодежную организацию партии он становится одним из ее руководителей, а спустя некоторое время - и председателем отделения консервативной партии в его родном районе Брикстоне. Несмотря на то что этот лондонский район принадлежит к числу наименее благополучных, с большим процентом "цветного" населения и острыми социальными проблемами (в 1981 г., когда по стране прокатилась серия молодежных бунтов, этот район был в числе тех, где ранее всего произошли беспорядки и где они приняли особенно бурный характер), Мейджору удалось неожиданно даже для своих сторонников добиться избрания в муниципалитет, одержав верх в округе, где до того было твердое лейбористское большинство. После двух неудачных попыток добиться избрания в парламент, Мейджор на всеобщих выборах 1979 г. одерживает победу, и уже в 1981 г. его назначают парламентским секретарем двух министров.
Организаторские способности, проявленные им на этих постах, побудили руководство партии назначить его два года спустя одним из парламентских организаторов ("кнутов") партии, а вскоре после этого и главным "кнутом". Назначение на этот ключевой в парламентской фракции пост дало ему возможность войти в ближайшее окружение премьер-министра, на которую он произвел весьма благоприятное впечатление своей компетентностью и умением отстаивать собственное мнение. Вскоре она назначает его на пост главного секретаря министерства финансов в ранге министра - члена кабинета. Там он великолепно себя зарекомендовал, выполняя деликатную обязанность "распределителя средств" между министерствами[367]. Одновременно его отношения с премьер-министром становились все более доверительными, и в рождественские праздники 1988 г. Мейджоры были даже удостоены чести быть приглашенными сначала на Даунинг-стрит, 10, а затем и в загородную резиденцию в Чекерс.
Рейтинг Мейджора как специалиста и политика стал расти столь быстро, что Тэтчер осмелилась даже назначить его в августе 1989 г. министром иностранных дел взамен Дж. Хау, который к тому времени в паре с тогдашним министром финансов Лоусоном начал все решительнее противодействовать ее политике по отношению к ЕС. Назначение это было воспринято тогда практически всеми наблюдателями как весьма неожиданное и непродуманное, ибо Мейджор был абсолютно не подготовлен к этой деятельности. Наиболее подходящим тогда для этой должности все или почти все наблюдатели считали такого опытного и высокопоставленного дипломата, как Дуглас Хёрд. Однако, не будучи уверенной в том, как поведет себя последний и не станет ли он, как и Хау, на сторону Лоусона, Тэтчер решила назначить на этот ключевой пост человека, на которого она могла положиться.