Серьезным ударом по экономике Бердичева стали два события начала 1860-х годов: отмена крепостного права в 1861 году и Польское восстание 1863–1864 годов, подорвавшие основу процветания города — польское поместное землевладение. На протяжении столетий евреи служили в Польше посредниками между помещиками и крестьянами, городом и деревней, выполняя функции среднего класса. После поражения восстания обедневшие польские помещики стали переселяться с Украины в Польшу. Капиталы еврейских банкиров, созданные в результате торговых операций на бердичевских ярмарках, стали перемещаться в Одессу, Киев, Варшаву и Петербург, где открывались новые возможности для кредита и инвестиций. К началу двадцатого века в Бердичеве развивается кустарная промышленность, однако город уже не в состоянии вернуть свою былую славу и конкурировать с быстро растущими промышленными центрами запада Российской империи.
Бердичев занимает уникальное место в еврейской литературе. Под именем Глупск он фигурирует в качестве столицы мифической еврейской страны, воссозданной Шоломом-Яковом Абрамовичем в романах, написанных от лица своего литературного alter ego Менделе Мойхера-Сфорима. Шолом-Алейхем собирался написать о Бердичеве, который он называл «еврейским Парижем», серию романов в духе Эмиля Золя. В советское время Бердичев сохранил свою ауру местечковой подлинности, о чем свидетельствуют рассказ Василия Гроссмана «В городе Бердичеве» и снятый на его основе фильм «Комиссар», а также непревзойденная в своей гротескной остроте и безжалостной точности пьеса Фридриха Горенштейна «Бердичев».
В Бердичеве родился и вырос Пинхас Каганович (1884–1950), единственный значительный советский писатель на идише, чьи произведения практически не переводились на русский и чье имя, а точнее, литературный псевдоним Дер Нистер остался неизвестным не только русскоязычному читателю, но и исследователям советской культуры. Каганович вырос в благополучной хасидской семье. Его отец торговал копченой рыбой, а среди его предков были как набожные и ученые каббалисты, так и простые деревенские труженики. Старший брат Пинхаса Арон увлекся хасидизмом и примкнул к последователям рабби Нахмана, а его младший брат Мотл стал скульптором, уехал в Париж и собрал значительную коллекцию импрессионистов и постимпрессионистов, выставленную сейчас в специальном зале в парижском музее д'Орсе. Сестра Хана стала врачом и жила в Киеве.
Пинхас получил основательное хасидское воспитание. В 1905 году он переехал в Киев и в течение двенадцати лет жил под чужими именами, скрываясь от призыва в армию. Возможно, что этот опыт наложил определенный отпечаток на его личность и навел его на мысль о выборе псевдонима — «Нистер» означает на иврите «скрытый». У этого понятия есть и мистический смысл: так называют цадика, который еще не «открылся» миру своим учением и чудесами. Как объясняет Дэвид Роскес, американский исследователь творчества писателя, «взяв псевдоним Дер Нистер, столь звучно напоминающий о каббале и еврейской эзотерической традиции, автор сразу заявил о своей принадлежности целой вселенной».