После окончания войны Григулевич проживал нелегально в Мексике. Там он сблизился с представителями костариканского революционного движения, которые, находясь в эмиграции, готовили государственный переворот.
После смены власти в Коста-Рике Григулевич, используя связи в новом правительстве, смог создать для себя уникальное прикрытие: он был назначен Чрезвычайным посланником в ранге Полномочного министра Республики Коста-Рика в Италии. Одновременно он являлся посланником при Папском престоле в Ватикане и по совместительству — посланником в Югославии.
По линии советской внешней разведки Григулевич возглавлял нелегальную резидентуру в Италии.
Осенью 1953 года Григулевич уволился из органов государственной безопасности и занялся научной деятельностью. Работал заведующим сектором Института этнографии АН СССР. Доктор наук (1965), член-корреспондент АН СССР (1979). Считался крупнейшим специалистом по Ватикану и латиноамериканским странам. Являлся главным редактором журнала «Общественные науки в СССР». Автор многочисленных научных трудов и монографий. Под псевдонимом «Иосиф Лаврецкий» (фамилия матери) издал в серии «ЖЗЛ» более 20 произведений, посвященных политическим и общественным деятелям стран Латинской Америки.
Награжден орденами Красного Знамени, Красной Звезды, Дружбы народов, многими медалями и рядом наград иностранных государств.
Скончался 2 июня 1988 года. Похоронен на Донском кладбище в Москве.
Тем, кто будет жить, трудиться и бороться в третьем тысячелетии
Обращение Иосифа Григулевича к молодым сотрудникам внешней разведки
Меня попросили обратиться к молодым чекистам и поделиться с ними своими мыслями о нашей работе, о долге советского разведчика, его моральном облике. Я согласился, но, подумав, решил, что вряд ли могу сказать им что-либо новое, такое, чего бы они уже не знали из слов своих родителей и близких, учителей, наставников и начальников, чего они не прочли бы в книгах или в газетах. Сказать им, что они должны быть верными сынами Родины, мужественными ее защитниками, неутомимыми борцами за высокие идеалы социальной справедливости, непримиримыми к противнику? Что они должны служить примером и на работе, и семье? Да кто ж у нас этого не знает, эти истины давно стали прописными, хотя из этого вовсе не следует, что все прониклись ими и уже нет надобности учить людей уму-разуму. Да, человек — сложный механизм, знание тех или иных истин еще не делает его идеальным. Для того чтобы человек стал Человеком с большой буквы, он должен любить своих товарищей, свой народ, дело, которому он служит, больше, чем самого себя, свою собственную персону, иными словами, чтоб свое личное счастье он видел в служении людям. А такое чувство самопожертвования во имя общего блага больше всего свойственно молодым. Таков закон жизни. Юноша всегда готов на подвиг, готов совершить благородный поступок, готов пожертвовать собой. Напоминать же ему об этом было бы нудным для него нравоучением.