Когда в 1935 году Институт перспективных исследований впервые попытался пригласить на работу Оппенгеймера, в то время как его группа в Беркли только начала делать себе имя, он ответил отказом. После короткого визита он писал своему брату: «Принстон — это дом умалишенных: эгоцентричные светила, сияющие в уединенном и тщетном одиночестве. Эйнштейн совершенно сумасшедший». Он так и не смог побороть свое недоверие к поздним работам Эйнштейна.
В 1947 году Оппенгеймер, наконец, согласился возглавить институт. Это назначение не обошлось без протестов. Эйнштейн и Герман Вейль агитировали за австрийского физика Вольфганга Паули, сформулировавшего принцип запрета, краеугольный камень квантовой физики. Они давили на преподавательский состав, категорически заявляя, что «Оппенгеймер не сделал столь же фундаментального вклада в физику, как Паули с его принципом запрета». Однако организаторские способности Оппенгеймера произвели впечатление, и работа была предложена именно ему, после чего он начал менять атмосферу института. Он принес с собой энтузиазм. Статья на обложке журнала Time 1948 года сообщала: «В списке приглашенных Оппи в этом году историк Арнольд Тойнби, поэт Т. С. Элиот, философ права Макс Радин, а также литературный критик, бюрократ и руководитель авиакомпании. Ничего не известно о том, кто будет следующим: возможно, психолог, премьер-министр, композитор или художник». С уединением было покончено.
Слегка покопавшись в общей теории относительности еще во время работы в Беркли, Оппенгеймер потерял к ней интерес. Вместе со своим учеником Хартландом Снайдером он написал одну из самых важных работ в этой области, открыв сжатие пространства-времени. Со временем он все больше разочаровывался в устаревшей, как он считал, и заумной теории, отговаривая молодых ученых от работы над ней. Молодой сотрудник института Фримен Дайсон в годы руководства Оппенгеймера писал домой, что «общая теория относительности в настоящее время является наименее перспективной областью исследований». До новых экспериментов, демонстрирующих странную природу пространства и времени или возможность включить общую теорию относительности в квантовую физику, говорить о ее применении не приходилось.
Оппенгеймер был не единственным ведущим физиком, отвергающим общую теорию относительности. Набирающая Все большую популярность квантовая физика настолько затмила плод усилий Эйнштейна, что стало даже сложно публиковать статьи, посвященные данной теме. Редактором журнала Physical Review был проживающий в Америке голландский ученый Сэмюэл Гаудсмит, игравший важную роль в первые годы появления квантовой теории. Став после эмиграции в Америку редактором журнала, он решил превратить его в основной печатный орган физиков, вступив в прямую конкуренцию с европейскими изданиями. К общей теории относительности Гаудсмит относился с недоверием. Как и Оппенгеймер, он считал, что столь заумная теория с ограниченной применимостью и возможностями проверки имеет не очень большой потенциал. Он пригрозил статьей, фактически запрещающей публикацию работ по «гравитации и фундаментальной теории». И только призыв принстонского профессора Джона Арчибальда Уиллера, который начал очаровываться теорией Эйнштейна, удержал Гаудсмита от этого шага.