Проблемы со спецслужбами у самого Панкина возникли еще в то время, когда он до Праги поехал послом в Швецию. Такого количества сотрудников спецслужб под разными крышами он еще не видел и оказался к этому не готов. До посольской службы он был журналистом, много лет проработал в «Комсомольской правде», стал главным редактором, потом несколько лет руководил Всесоюзным агентством по авторским правам (ВААП). Секретарь ЦК КПСС Михаил Андреевич Суслов объяснил Панкину, что это будет своего рода министерство иностранных дел в области культуры — развитие контактов с творческой интеллигенцией всего мира и продвижение за рубеж советских авторов.
В редакционных коллективах чекистов не было (только разведчики на должностях зарубежных корреспондентов). В ВААП секретным постановлением правительства девять должностей из четырехсот пятидесяти были переданы КГБ. А в посольстве тут чуть ли не каждый второй или из КГБ, или из ГРУ.
— Самым сложным в посольской жизни, — рассказывал Панкин, — было ладить с этими людьми. Они свято верили в то, что все остальные дипломаты, да и посольство в целом существуют только для того, чтобы их прикрывать. Я однажды не выдержал и спросил резидента: «Вы что, думаете, посольство существует, чтобы служить вам крышей?» Он на меня посмотрел, как на идиота: а ты что, по-другому думаешь?
Борис Дмитриевич Панкин невзлюбил чекистов, называл вербовочную деятельность «работорговлей»:
— Людей вербовали, насилуя их дух, волю, шантажировали, подлавливая на чем-то, коверкали их жизнь, жизнь их семей и близких… Ну, чем их деятельность отличается от преступлений мафиози или банальных воровских шаек?
Почему сотрудники резидентуры так раздражали посла Панкина?
— Они хотели командовать послом, — говорил мне Панкин уже после своей отставки. — Следили за мной. Им ничего не стоило скомпрометировать посольство. Против этого я боролся…
Когда в давние времена наркомат иностранных дел еще располагался на Кузнецком мосту, рядом с ведомством государственной безопасности, дипломаты несколько иронически именовали разведчиков «соседями». Потом появилось деление на «ближних соседей» — разведчиков из КГБ и «дальних соседей» — сотрудников военной разведки.
Отношения между дипломатами и разведчиками трудно назвать хорошими. Одни традиционно не уверены в необходимости других.
«Между разведкой и наркоматом иностранных дел всегда шла жестокая борьба за влияние… Сведения и заключения этих двух учреждений по одним и тем же вопросам расходятся между собой… Борьба принимает особенно острые формы при назначении сотрудников за границу и продолжается за границей между послом и резидентом», — писал Георгий Сергеевич Агабеков, первый советский разведчик, бежавший на Запад еще в двадцатые годы.