Однако, при всей значимости собранных отдельными владельцами книжных собраний, частные библиотеки не могли удовлетворить потребностям широкого круга читателей. Поэтому необходимым условием дальнейшего развития науки, деятельности университетов и Академии наук стало создание государственных библиотек. Первой из них была открыта еще в 1728 году библиотека Академии наук. Затем последовала организация ряда ведомственных библиотек: при Московском университете, при Вольном экономическом обществе, Медико-хирургической академии и Академии художеств в Петербурге, при Виленском университете и т. д. Популярность библиотечного дела привлекает и частную инициативу.
Уже в первые годы XIX века в Москве, Петербурге, Дерпте, Вильно и Риге появились коммерческие публичные библиотеки или, как их тогда называли, «кабинеты для чтения». По большей части они организовывались книготорговцами при магазинах. Однако ни книжные лавки, ни коммерческие библиотеки не могли удовлетворить растущей общественной потребности в книгах, прежде всего ввиду их малочисленности, а также из-за высоких цен как за приобретаемые издания, так и за «абонементы» в «кабинеты для чтения», стоимость которых подчас доходила до 50 руб. в год.
Особенно ощутимым было отсутствие государственной публичной библиотеки в таком крупнейшем административном, научном и культурном центре, как Петербург.
Идея создания в Петербурге публичной, «для употребления всех и каждого», библиотеки принадлежала еще Екатерине II. По ее повелению 27 мая 1795 года началось строительство здания для библиотеки. Однако закончено оно было (по проекту Соколова и Л. Руски) только в 1801 году. Наблюдение за сохранностью книжного собрания, предназначенного библиотеке, Павел сначала поручил французскому эмигранту графу Шуазель-Гуффье, считавшему «россиян» скифами и варварами и потому едва не погубившему все дело. В 1802 году книги были перенесены в новое здание и переданы под управление главного директора императорских библиотек графа А. С. Строганова; помощником его по управлению еще не открытой для публики, но существовавшей библиотекой стал Алексей Николаевич Оленин. С 1808 года Оленин фактически стал директором библиотеки. Широко образованный, одаренный разнообразными талантами, живым умом и большой энергией, этот человек сыграл выдающуюся роль в культурной жизни России первой половины XIX века. Знаток западноевропейского искусства и русской старины, способный рисовальщик, археограф, библиофил и видный сановник, он возглавил два крупнейших культурных центра того времени — Публичную библиотеку и Академию художеств и сумел поднять их на достойную высоту.