Согласно принятой датировке, новый Храм был восстановлен в 516 г. до н. э., то есть через 70 лет после разрушения Первого Храма в 586 г. до н. э. Во главе священников, вернувшихся на землю предков, среди которых были высшие священники — когены и низшие храмовые служители — левиты, стоял Иошуа, происходивший из семьи первосвященников. Среди вернувшихся было много членов царской фамилии во главе с князем Зоровавелем, а также аристократов и землевладельцев. Но огромное количество иудеев осталось на прежнем месте, положив начало постоянному добровольному иудейскому рассеянию во многих странах мира, которое обозначается греческим словом «диаспора» («рассеяние»).
Пребывание иудеев в культурном центре тогдашнего Древнего Востока не прошло, конечно, бесследно. Влияние вавилонской культуры чувствуется в самых разных областях. Двенадцать месяцев года получают у евреев вавилонские наименования, древнееврейский «финикийский» шрифт заменяется арамейским, которым евреи пользуются и сегодня. Вероятно, это вызвано тем, что арамейский язык, весьма родственный еврейскому, был официальным языком имперских канцелярий Ассирии, Вавилона и Персидской империи. В период наивысшего расцвета Персидская империя охватывала огромную территорию от Индии до Эфиопии. Уже тогда на всем этом пространстве появились иудейские общины. По археологическим исследованиям особенно хорошо известно военное поселение иудеев VI в. до н. э. на острове реки Нил Элефантина в южном Египте, недалеко от современного Асуана. Согласно найденным папирусам, эта община, организованная персами для охраны границ империи, имела свою синагогу — «дом Божий». Но в то же время она получала религиозные предписания из Иерусалима, например по вопросам празднования Пасхи. Когда возник конфликт с египтянами, элефантинская община обратилась за содействием не только к персидскому наместнику Иудеи, но также и к первосвященнику Иерусалимского Храма. О том, что частично иудейские общины империи пополнялись за счет прозелитов, свидетельствует и Книга Есфирь, где сказано, что после победы иудеев над врагами «многие из народов страны сделались иудеями» (Есф. 8:17).
Постепенно власть в Иудее (иудейская автономия стала персидской провинцией Яхуд) перешла к первосвященнику Храма, и страна стала управляться как гражданскохрамовая община. Высшим органом юридической, религиозной и политической власти самоуправления стал Синедрион (греч. — собрание, совещание, еврейское название Кнесет гагдола — Великий собор). Это учреждение возникло после возвращения иудеев из Вавилонского плена, во времена Ездры и Неемии в V в. до н. э., как своего рода орган народного представительства. С течением времени был установлен его состав — 71 человек, как правило, это были представители знатных фамилий, священнослужителей и левитов. Поскольку гражданская и личная жизнь каждого иудея полностью определялась библейским законодательством, то особое значение придавалось изучению и толкованию Священного Писания. Были организованы периодические публичные чтения Торы, сначала по субботам и праздникам, а затем по понедельникам и четвергам. Со временем был установлен порядок, согласно которому заседания Синедриона происходили в здании Иерусалимского Храма дважды в день, кроме субботы и праздников. Возглавляли Синедрион наси (председатель, князь) и ав бет-дин (глава суда). Отметим, что в уголовных делах для оправдательного решения требовалось большинство с перевесом в один голос, а для обвинительного — в два голоса.