Картинная галерея ГМИИ им. А. С. Пушкина складывалась в 1920-1930-е, когда происходило перераспределение музейных фондов страны. В апреле 1923 Наркомпросом было принято решение об устройстве в Москве Центрального музея старой западной живописи на основе западноевропейского собрания Московского публичного и Румянцевского музеев с его размещением в здании Музея изящных искусств, который был выведен из подчинения Университету и превратился в самостоятельный художественный музей.
В 1924 в музей поступили картины из бывших собраний Г. А. Брокара, Д. И. Щукина, И. И. Шувалова, Юсуповых, Государственного музейного фонда, а также из музеев Ленинграда. Это позволило научным сотрудникам музея во главе с его директором, профессором Н. И. Романовым, создать первую систематическую экспозицию картинной галереи, которая открылась 10 ноября 1924. В ней были представлены картины итальянских, нидерландских, немецких, фламандских, испанских и французских художников XIII–XIX веков. С 1924 по 1930 в музей поступило большое количество картин из национализированных московских усадеб, ликвидированного Музея иконописи и живописи И. С. Остроухова, из Исторического музея, музеев Кремля, Третьяковской галереи — это были произведения западноевропейского искусства. В итоге сложилось ядро Картинной галереи старых европейских мастеров. Одновременно к древневосточному собранию была присоединена коллекция клинописных табличек и других памятников из бывшего Музея-института классического Востока.
Свое нынешнее название — Государственный музей изобразительных искусств имени А. С. Пушкина — музей получил в 1937.
Окончательно Картинная галерея музея сложилась в 1948, после закрытия Государственного музея нового западного искусства (ГМНЗИ), коллекции которого были поделены между Москвой и Ленинградом. В результате в музей поступило около 300 живописных и свыше 60 скульптурных произведений западноевропейских и американских мастеров второй половины XIX — первой трети XX века, главным образом работы французских импрессионистов и постимпрессионистов из собраний московских коллекционеров С. И. Щукина и И. А. Морозова, а также собрание графики и архив.
С 1949 по 1953 экспозиция музея была свернута; все его залы заняла «Выставка подарков И. В. Сталину от народов СССР и зарубежных стран».
Начало послесталинской эпохи в музее было отмечено в 1955 выставкой шедевров Дрезденской картинной галереи, спасенных советскими солдатами от уничтожения во время войны и отреставрированных сотрудниками ГМИИ им. А. С. Пушкина. И хотя первая выставка работ скульптора А. С. Голубкиной была организована в музее еще в 1914, именно с момента показа полотен Дрезденской галереи выставочная деятельность музея начинает приобретать характер целенаправленной работы и до сегодняшнего дня осуществляется с нарастающим размахом.