Последние пророки периода Первого Храма были еще живы, когда началось строительство Второго Храма. С их смертью кончилось пророчество в Израиле. Во времена Второго Храма оно уже не возвращалось. Храм перестал быть местом непрерывного чуда. Но вместе с тем в народе Израиля окончательно исчезла тяга к идолопоклонству. Более того, во времена Второго Храма произошла первая в истории религиозная война, в которой евреи во главе со священниками из рода Маккавеев с оружием в руках встали на защиту своей веры против засилья эллинской цивилизации. Второй Храм был призван объединить весь народ в единое целое. И это свое предназначение он выполнил: где бы ни находились евреи, они знали, что есть место в мире, которое делает их единым народом.
Храм всегда был сердцем народа Израиля. Три раза в году все мужчины страны приходили в Храм, чтобы вместе предстать перед Всевышним. Такой общий сбор в Иерусалиме преследовал две цели. Первая: каждый человек должен встретиться с Богом в Его доме. Вторая: все должны собраться воедино. Слово бейт-кнесет (синагога) и означает "дом собрания", то есть место, где все евреи собираются сообща. Но в синагогу приходят не для того, чтобы провести время, а для того, чтобы согласно служить Всевышнему, и эта цель определяет святость синагоги. Точно так же сбор в Иерусалиме в дни праздников обусловливался общей целью - предстать перед Богом Израиля.
Синагоги Вавилона, существовавшие в эпоху Второго Храма (а после его разрушения синагоги всего мира), не заменяли Храм. В синагогах собираются, чтобы помолиться всем обществом. Молитва же не является полной заменой жертвоприношения. Иерусалимский Храм был единственным святилищем для всех евреев, в какой бы стране они ни проживали. Даже существование в Египте храма, посвященного Богу Израиля (известен под названием Дома Хонио), не меняло отношения евреев к Иерусалимскому Храму. В еврейской литературе Египта того времени почти нет упоминананий о Доме Хонио, тогда как жертвоприношениям в Иерусалимском Храме посвящены многие страницы. Дом Хонио никогда не мог конкурировать с Иерусалимом, и его существование не отделяло евреев Египта от столицы всего еврейского мира.
Формально связь евреев с Иерусалимом осуществлялась через специальный храмовый налог в полшекеля. По закону этот налог распространялся только на мужчин, но полшекеля жертвовались и от имени женщин, и даже от имени детей. Борьба за право передавать эти деньги в Иерусалим всегда занимала значительное место в жизни еврейских общин всего мира ("Древности" 16.6).