А что же братья? Они не приняли брака Григория Григорьевича. Впервые знаменитая дружба Орловых, вошедшая в поговорку, дала трещину. На свадебном торжестве в деревне 5 июля 1777 г. никто из четверых не присутствовал. (Показательно, что в истории со свадьбой Григория Алексей остался на стороне традиционно мыслящих кругов московского дворянства. Он уже приобрел в этом обществе заметное место и не намерен был подвергать себя новой волне осуждения, поддерживая брата). Поступок Григория бросил тень и на остальную семью. Споры и сплетни не утихали в старой столице, поэтому в 1780 г. Алексей предпочел совершить недолгий вояж по немецким землям.
Эта поездка стала для Орлова еще одной попыткой вернуться к политической деятельности. В 1780 г. происходит сближение между Петербургом и Веной и намечается заключение союзного договора. Инициатором такого альянса был Потемкин. Противниками союза с Австрией выступили не только приверженцы прусской партии Панина, но и такие крупные государственные деятели, такие как П. А. Румянцев и А. Г. Орлов, которые низко оценивали военные возможности «цесарцев». Впервые Алексей оказался заодно со своими злейшими врагами — Паниными. Его «частная» заграничная поездка, встречи и консультации с прусскими дипломатами были направленны против сближения России и Австрии.
Миссия Орлова не принесла успеха. Несмотря на серьезное противоборство, союз между Екатериной II и Иосифом II состоялся. Однако поездка имела другое, более важное для жизни Алексея значение. Граф стал задумываться о необходимости завести собственную семью. Ему было уже 45 лет, несметные богатства, могли обеспечить безбедное существование целой когорте маленьких «орлят». Но сама мысль о браке долгие годы была ему противна после знаменитой истории с похищением Таракановой, которую Алексей завлек на корабль именно под предлогом венчания.
Сказать, что у Орлова совсем не было семьи, было бы не правдой. В Москву он привез своего «воспитанника» Александра, которого многие среди публики считали ребенком несчастной княжны Таракановой. Алексей Григорьевич не знал, что его пленница умерла от чахотки в Петропавловской крепости через два месяца после прибытия в Россию. Смутные московские слухи донесли до него известие, что примерно в то же время, когда он вез самозванку в Петербург, из северной столицы в Москву тайно прибыла женщина, постригшаяся в Ивановском монастыре под именем инокини Досифеи. Она приняла строгий обет молчания, ее почти никто не видел, содержалась необычная монахиня самым лучшим образом, ей привозили много книг, но общаться Досифея могла лишь со своим духовником и настоятельницей. Неудивительно, что Алексей увидел в этой затворнице обманутую им жертву и, по одной из московских легенд, старался никогда не проезжать мимо стен Ивановского монастыря.