В середине 1921 года по путевке губкома партии мобилизован на работу в Екатеринославскую ЧК. С 1923 года учился в Центральной школе ОГПУ. В 1924–1931 годах — помощник начальника отделения КРО ОГПУ, помощник начальника Сталинградского окружного отдела ОГПУ.
С 1931 года являлся представителем ИНО в Постоянном представительстве ОГПУ по Средней Азии в Ташкенте. В декабре 1931 года направлен в Персию под прикрытием вице-консула СССР в городе Мешхеде. Приобрел несколько надежных источников информации. Затем находился в командировках во Франции, Болгарии и Австрии. С 1934 года работал в центральном аппарате внешней разведки.
В сентябре 1935 года в качестве легального резидента ИНО прибыл в Хельсинки. Заместителем резидента там работала Зоя Воскресенская, ставшая позже женой и надежным помощником Рыбкина.
В связи с начавшейся советско-финляндской войной в 1939 году Рыбкины вернулись в Москву, где Борис Аркадьевич вскоре стал начальником одного из отделов внешней разведки. В сентябре 1941 года был направлен резидентом в Стокгольм под прикрытием советника посольства СССР в Швеции.
В конце 1943 года возвратился в Москву, был назначен начальником отдела 4-го управления НКГБ СССР. Курировал заброску нелегальной агентуры и разведывательно-диверсионных групп в оккупированные Германией страны Восточной Европы.
С февраля 1947 года работал в отделе «ДР» МГБ СССР под руководством Судоплатова. Выезжал в ряд стран для восстановления связи с нелегальной агентурой на Ближнем Востоке и в Восточной Европе. Во время спецкомандировки в Чехословакию 27 ноября 1947 года погиб в автомобильной катастрофе под Прагой.
Полковник Рыбкин был награжден орденами Ленина, Красного Знамени, Отечественной войны I степени, Красной Звезды, «Знак Почета», многими медалями, а также нагрудными знаками «Почетный работник ВЧК — ГПУ» и «Заслуженный работник НКВД».
Похоронен на Новодевичьем кладбище в Москве.
СЕРЕБРЯНСКИЙ Яков Исаакович. Родился 29 ноября 1892 года в Минске в семье подмастерья часовых дел мастера. В 1908 году успешно окончил Минское городское училище. С 1907 года являлся членом ученической организации эсеров-максималистов. В мае 1909 года был арестован полицией. В заключении провел год, после чего был административно выслан в Витебск.
В августе 1912 года призван в армию, служил рядовым 122-го Тамбовского полка в Харькове. С июля 1914 года воевал на Западном фронте рядовым 105-го Оренбургского полка. В августе 1914 года, во время Самсоновского прорыва в Восточной Пруссии, был тяжело ранен, почти полгода находился на излечении в госпитале, а затем был демобилизован из армии.