Вскоре после того, как ссыльного А. И. Герцена перевели из Вятки во Владимир, библиотека стала чахнуть от безденежья, и постепенно ее полностью вытеснили из занимаемого помещения соседствующие с ней губернские учреждения. Вновь возрождалась она лишь в начале 50-х годов главным образом благодаря заботам местного общественного деятеля и этнографа П. В. Алабина. Вновь проведенный сбор средств позволил приобрести для нее двухэтажный дом разорившегося купца Машковцева на Копанской улице. Приобретение дома для библиотеки оказалось необходимо, потому, что построить для нее дом по проекту, составленному ссыльным архитектором А. Л. Витбергом, автором неосуществленного проекта храма Христа Спасителя на Воробьевых горах в Москве в создателем величественного Александровского собора в Вятке, оказалось невозможным «ввиду недостатка средств».
Возродившаяся в бывшем купеческом доме библиотека оказалась жизнеспособной и постепенно стала наращивать свой книжный фонд. В 1856 году там числилось 2775 книг. В библиотеке насчитывалось и 407 постоянных читателей. Мало это или много? Не так уж и мало, если учесть, что все население Вятки тогда составляло 15500 человек, да к тому же книги в библиотеке выдавались не даром. Месячная плата — 75 копеек, а если читатель желал заплатить за услуги библиотеки вперед, то с него взималось 4 рубля за полгода. С тех, кто не мог вносить плату регулярно, попечительский совет библиотеки разрешил взимать по 3 копейки за читаемую книгу в сутки при условии внесения залога или предоставления письменной гарантии. Такое решение попечительского совета открывало возможность пользоваться библиотечными книгами многим неимущим обывателям и учащимся.
Надо сказать, что книги в библиотеку не только прибывали, порой некоторые из них, как и люди, преследовались и исчезали.
Так, например, в 1852 году из Вятской публичной библиотеки по предписанию департамента полиции было изъято 12 томов журнала «Отечественные записки» со статьями А. И. Герцена. В 60-х годах изъятие книг, признанных крамольными, проводилось нередко. И в итоге с полок Вятской публичной библиотеки исчезли произведения Белинского, Добролюбова, Чернышевского, Лаврова, Шелгунова, Писарева… Но, как это нередко бывает, именно те книги, которые подвергались гонениям, возбуждали к себе повышенный интерес. Исчезая с библиотечных полок, они начинали «ходить по рукам». Изъятые из библиотек книги пользовались у учащейся молодежи особым вниманием. Они давали ей возможность знакомиться с идеями революционных демократов.