Александр Карагеоргиевич уже с семи лет начал свою долгую и нелёгкую жизнь эмигранта, так как после поражения Первого сербского восстания семья Карагеоргия вместе с другими повстанческими старейшинами селится на юге России. Сербская колония беженцев в Хотине насчитывала 749 человек. Сербские переселенцы пользовались полной защитой царя Александра I. Семья Карагеоргия жила в бессарабских дворцах, принадлежавших беглым турецким пашам.
В десять лет Александр остался без отца, а старшего брата потерял в двадцать два года. Александр в Хотине проживал с матерью Еленой и племянником Георгием, так как сёстры были уже замужем и жили отдельно. Семья стала испытывать материальные трудности после смерти Карагеоргия, потеряв его пенсию от русского правительства. Лишь по прошествии пяти лет вспомоществование было вновь определено уже вдове сербского вождя. В трудное время Елене Карагеоргиевич с её детьми, оставшимся без средств, помогали соратники вождя и местные русские власти. В отличие от брата Алексы, который, будучи воспитанником Пажеского корпуса, вёл в Кишинёве распущенный образ жизни, бездумно бросал деньги и обрастал долгами, Александр был тихим, замкнутым и ответственным молодым человеком, привязанным к своей матери. Вследствие тяжелой материальной ситуации его школьные занятия не были регулярными. В начальные классы он начал ходить только в тринадцать лет. Обучение в военной школе Александр прервал из-за планируемого возвращения в Сербию.
2 сентября 1830 года он женился на Персиде (1813–1863), дочери воеводы Еврема Ненадовича, внучке одного из самых известных повстанческих вождей – Якова Ненадовича. За время многолетнего и счастливого брака, который, несмотря на эмигрантские беды, красили преданность и любовь, Александр и Персида родили десятерых детей, из которых четверо умерли очень рано.
После провозглашения сербской автономии семья Карагеоргиевичей во главе с Еленой, у которой был русский паспорт, где рядом с её именем было написано, что она супруга бывшего «сербского верховного вождя Георгия Черного», двинулась на родину. Между тем Милош Обренович не позволил Карагеоргиевичам, в отличие от семей большинства других повстанцев, перебраться через Дунай и ступить на родную землю. Поэтому Александр с женой, детьми и матерью восемь последующих лет провёл в Валахии, проживая в Крайове, добывая пропитание семье мелкой торговлей.
Прибытие Александра в Сербию и выбор князем. В июле 1839 г., после смерти князя Милана Обреновича, верховную власть в стране взяло на себя Наместничество из трёх человек: брат Милоша Еврем и двое самых серьёзных защитников Турецкого устава (уставобранители) – Авраам Петрониевич