В 12 г. до н. э. Агриппа скончался.
Октавиан Август долго подыскивал для Юлии нового мужа и в конце концов дал согласие на ее брак с Тиберием, которого заставил предварительно развестись с Випсанией Агриппиной, дочерью Агриппы от первого брака.
Хотя Юлия раньше добивалась любви Тиберия, брак их не был счастливым. Тиберий, очень любивший свою первую жену, возненавидел Юлию, а она стала платить ему той же монетой. Юлия снова сошлась с Гракхом. «Упорный любовник разжигал в ней своенравие и ненависть к мужу; и считали, что письмо с нападками на Тиберия, которое Юлия написала своему отцу Августу, было сочинено Гракхом» (Тац. Анн. 1, 53). Она стала презирать Тиберия, попрекая его незнатным происхождением.
В 6 г. до н. э. Тиберий, не в силах выносить сложившиеся отношения с Юлией, покинул Рим и уехал на остров Родос (в Эгейском море).
Личная жизнь Юлии после бегства мужа приобрела откровенно скандальный характер, что наносило престижу Октавиана немалый урон. Во 2 г. до н. э. терпение Августа истощилось, и он обрушил на свою единственную дочь карающую силу введенного им закона о прелюбодеянии. Август своей властью расторг брак Тиберия и Юлии и выслал ее из Рима на остров Пандатерию в Тирренском море. «Сосланной Юлии он запретил давать вино и предоставлять какие бы то ни было удобства; он не допускал к ней ни раба, ни свободного без своего ведома и всегда в точности узнавал, какого тот возраста, роста, вида и даже какие у него телесные приметы или шрамы. Только пять лет спустя он перевел ее с острова на материк (в Регий, совр. Реджо, у Мессинского пролива) и немного смягчил условия ссылки; но о том, чтобы совсем ее простить, бесполезно было его умолять. В ответ на частые и настойчивые просьбы римского народа он только желал всему собранию иметь таких же жен и таких же дочерей» (Свет. Авг. 65).
Расправившись со своей дочерью, Август сохранил хорошее отношение к ее детям и своим внукам. Еще в 17 г. до н. э. он усыновил двух ее старших мальчиков, назвав их Гай Цезарь и Луций Цезарь, и теперь возлагал на них надежды как на своих законных наследников. Но судьба была неблагосклонна к Августу: Гай Цезарь умер во 2 г., а Луций Цезарь – в 4 г. Тогда в 4 г. Август усыновил еще двоих: Агриппу Постума, младшего сына Юлии и Агриппы, и Тиберия, старшего сына своей жены Ливии, бывшего мужа Юлии.
Юлия Младшая, дочь Юлии Старшей и Агриппы, по иронии судьбы унаследовала нрав и повадки своей матери и полностью повторила ее судьбу. Обесчестив себя связью с любовником, она была выслана Августом в Ъ г. из Рима на остров Тример (совр. Тремити) в Адриатическом море; ее роскошный дворец в Риме Август приказал разрушить до основания; ребенка, родившегося у нее в ссылке, он отверг. Август скончался в 14 г. В завещании он запретил похоронить в своем мавзолее прах Юлии Старшей и Юлии Младшей.