Иван Иванович Агаянц родился 28 августа 1911 года в азербайджанском городе Гянджа (до недавнего времени — Кировабад) в семье счетовода, армянина по национальности. Его отец позднее стал сельским учителем и священником (в 1924 году он отрекся от духовного сана).
Детские и школьные годы Ивана неотделимы от тех бурных революционных событий, которые происходили в стране и в его родном городе. Так случилось, что он воспитывался сестрой — врачом по профессии. В ее доме он приобщался к истокам культуры, знаниям в самых различных областях, к изучению иностранных языков. Одновременно ему импонировали взгляды и убеждения двух старших братьев, которые, безоговорочно и с энтузиазмом приняв советскую власть, активно участвовали в политической жизни послереволюционного Закавказья и со временем стали работать в органах ВЧК—ОГПУ. Это впоследствии определило и выбор самого Ивана. После окончания экономического техникума он сменил ряд профессий на производстве, находился на комсомольской и партийной работе.
В 1930 году Иван Агаянц вслед за старшими братьями переезжает из Гянджи в Москву и поступает на работу в Экономическое управление ОГПУ. Через некоторое время молодые сотрудники ОГПУ выдвигают его на выборную должность — в течение нескольких лет Иван Агаянц руководит деятельностью их комсомольской организации.
Напряженная работа не стала помехой для совершенствования и приобретения знаний в области исторических и юридических наук, литературы и искусства. Благодаря исключительной способности к изучению иностранных языков, Иван Агаянц свободно владел французским, персидским, турецким и испанским языками, достаточно хорошо знал английский и итальянский.
В 1936 году энергичного молодого сотрудника переводят в аппарат внешней разведки, а уже в 1937 году направляют на оперативную работу во Францию. В парижской резидентуре он находился сначала под прикрытием сотрудника Торгпредства, а затем — заведующего консульским отделом Посольства СССР.
По возвращении в Москву в конце 1939 года после успешной отработанной командировки Агаянц становится начальником отделения, а вскоре — заместителем начальника одного из подразделений 5-го (разведывательного) отдела ГУГБ НКВД СССР (внешней разведки).
В начале 1940 года И.И. Агаянц направляется резидентом в Иран. Обстановка в этой стране в то время была сложной. Благодаря умелой, всесторонне продуманной организации широкого комплекса разведывательных мероприятий, большой личный вклад в которую внес Агаянц, резидентура успешно справилась со стоявшими перед ней задачами. Агаянц лично участвовал в проведении разведывательных операций, связанных порой с риском для жизни, проявлял незаурядные способности в вербовочной работе. В документах того времени, в частности, говорилось: «Важная оперативная разведывательная информация, получаемая советскими разведчиками в Иране, сыграла существенную роль при принятии военным командованием и руководством страны тех или иных политических и военно-стратегических решений».