Основная работа будущего перебежчика заключалась в составлении оперативных справок в ответ на запросы, поступающие из главных и республиканских управлений КГБ. Начав работать в архиве, Митрохин с удивлением узнал, что личный архив Берия, еще недавно хранившийся в управлении, по распоряжению Хрущева, подлежал уничтожению. Председатель КГБ Серов мотивировал это тем, что архив содержал много «провокационных материалов».
В 1968 году Митрохин был направлен на работу в аппарат уполномоченного КГБ в ГДР, который располагался в Карлсхорсте. По сути, это была самая крупная загранточка советской разведки в то время. Аппарат практически копировал структуру ПГУ. Единственной разницей было то, что линейные (региональные) отделы ПГУ заменял отдел политической разведки. По-видимому, в Карлсхорсте Митрохин работал в архивном отделении. После возвращения из командировки он приступил к своим привычным служебным обязанностям.
В июне 1972 года внешняя разведка переехала в новую штаб-квартиру, которая расположилась к юго-востоку от Москвы в живописном Ясеневе.
Типичный рабочий день в Ясеневе начинался с того, что каждое утро десятки автобусов забирали сотрудников от близлежащих станций метро, чтобы к 9 часам утра они заняли свои рабочие места. В их числе был и Василий Никитич Митрохин, который в новом отдельном кабинете заполнял учетные карточки, сшивал и опечатывал архивные дела, привезенные с Лубянки. Этим он занимался в понедельник, вторник и пятницу, а в среду ехал на Лубянку, где сортировал, отбирал и упаковывал в металлические контейнеры архивные дела управления «С» (нелегальная разведка). Эти дела составляли наиболее секретную часть архива советской внешней разведки. В четверг утром контейнеры доставляли в Ясенево, Митрохин их распечатывал, а затем приступал к учету и инвентаризации архивных папок. Возможно, именно тогда он и решился впервые сделать выписки из материалов службы, которая даже в недрах ПГУ была мифологизирована и окутана ореолом тайны. Так это или нет, но, начав «конспектировать», остановиться Митрохин уже не мог. Сначала он делал выписки на клочках, но, войдя во вкус, начал переписывать уже целые страницы. Единственное его опасение состояло в том, что при выходе на посту охраны его могут обыскать, и он прятал выписки в ботинки. Но через некоторое время просто стал класть их в карманы пиджака и брюк. Каждый вечер, придя домой, он прятал свои записи в матрас. В выходные, выезжая на дачу, перепрятывал их в молочный бидон, который хранил в тайнике под полом дома. Так «трудолюбивый» архивариус на протяжении почти двенадцати лет, изо дня в день, выкрадывал государственные секреты. На пенсию он вышел в 1984 году в звании майора.