Елена родила Георгию семерых детей: сыновей – Симу (умер в 1798 г.), Алексу (1801–1829) и Александра (1806–1885), дочерей – Саву (1789–1847), Сару (около 1790–1852), Полексию (1791–1812) и Стаменку (около 1800–1874).
Грех, изгнание и австрийская военная служба. Вскоре после женитьбы в жизни молодого Георгия произошли события, которые серьёзно повлияли на его дальнейший жизненный путь. В условиях грозного дахийского[10] владычества жизнь серба протекала в обстановке турецкой разнузданности. Этим отличались местные турки, имеющие власть, чаще всего арнауты и исламизированные сербы, которые охотились за честью сербских девушек и за только что ставшими замужними женщинами. Одного такого турецкого насильника, который, ссылаясь на так наз. право первой брачной ночи, хотел обесчестить только что выданную замуж Елену, крутой и блюдущий честь своей семьи Карагеоргий убил в своем доме. После этого семья, не имея возможности дальше оставаться в Шумадии, решилась на бегство в Срем, который находился под австрийским управлением. Стоит подчеркнуть, что в восьмидесятые годы XVIII века, когда в Белградском пашалыке царствовал страх, массовые переселения в Австрию опустошили центральную Сербию.
После Пасхи 1786 г. семья Карагеоргия двинулась в Австрию. В дороге произошла ещё одна трагедия, которой современники и историки дают различные толкования. Одни говорят об отцеубийстве, совершённом Карагеоргием, другие, об убийстве отчима. Одно точно: вспыльчивый и скоропалительный в принятии решений, Карагеоргий из ружья убил того, кто в дороге, вопреки семейной договорённости, передумал бежать в Австрию и, угрожая безопасности всей семьи, хотел вернуться в село. Также известно, что Карагеоргий после возвращения в родной край, в 1796 г., следуя примеру святых сербских предков, исповедал свой грех архимандриту Благовещенского монастыря, богато одарив обитель.
По прибытии на территорию Австрии Карагеоргий с семьёй поселился на земле, пожертвованной династией Бранковичей монастырю Крушедол на Фрушка-Горе, добывая пропитание сельскими работами, которые были необходимы монастырю. Воин в душе, физически сильный и подвижный, авантюрист, Карагеоргий долго не задерживался на одном месте. Однажды он решил добровольно пойти в австрийскую армию, которая готовилась к войне с Францией, однако быстро передумал. По свидетельству своего секретаря Яничия Чурича, он говорил позже: «Зачем бы я шёл погибать на чужой стороне, когда может прийти время, что я и в Сербии воевать смогу». Условия для осуществления его желания быстро созрели. Во время австро-турецкой войны 1788–1791 гг. Карагеоргий, как и множество сербов, воевал добровольцем в частях австрийской армии. Во время войны он прославился как храбрый и преданный ратник. Так, в ходе боёв за освобождение Белграда от турок он убил четырёх турок и освободил раненого командира Радича Петровича. После австро-турецкой войны, завершившейся Свиштовским миром 4 августа 1791 г., австрийцы наградили Карагеоргия Золотой медалью за храбрость и присвоили младший офицерский чин. В этой войне Карагеоргий наряду с неустрашимостью и отвагой проявил и другие черты характера – хорошего организатора, тактика, умелого командира. Он воевал в австрийской армии как доброволец, поэтому во время перемирия продолжал самостоятельно бороться против турок, успешно командуя многочисленной гайдуцкой дружиной. Сербские историографы пришли к единому выводу, что война 1788–1791 гг. показала сербскому народу, что с турками сражаться и побеждать возможно. Для отдельных сербских предводителей отрядов эта война послужила практической школой обучения воинскому делу – от боевой тактики, строительства фортификационных объектов до системы организации и дисциплины. Карагеоргий в ходе австро-турецкой войны получил драгоценный военный опыт, прошёл как гайдук центральную Сербию от Белграда на севере до Пожеги и монастыря Студеница, где поклонился мощам первого сербского короля Стефана Неманича, на юге, знакомясь и устанавливая связи с местными влиятельными сербами.