Строительство вели в основном крепостные крестьяне из Минской, Черниговской и Могилёвской губерний, из каждой пригнали сюда до 500 подвод. Различные регионы империи поставляли стройматериалы. Например, выход через восточные ворота был сооружён из каменных плит, доставленных с Кавказа. На одной из этих плит весом около 2 тонн можно прочесть надпись: «…Кавказа… доставлено сие на землю белорусов… апрель, 27 дня 1811 г.». Материалы привозили также из Карелии, Украины, Урала. И это в условиях отсутствия железных дорог. Много мужиков погибло на этой «стройке века». Фактически цитадель поднималась на костях…
К началу войны 1812 года успели возвести на правом берегу Березины 5 бастионов, казармы, здание госпиталя, превратили в арсенал бывший иезуитский монастырь, насыпали валы, выкопали рвы. Крепость получила на вооружение 330 орудий различных калибров. Стены бастионов имели толщину от 7 до 10 кирпичей, и были непробиваемые для тогдашних пушек.
На территории крепости, общей площадью 120 гектаров, были ботанический сад, бульвар, общественный сквер. В городском саду часто играл военный оркестр, офицеры устраивали в Бобруйске званые вечера, куда приглашали знатных горожан.
Войска Великой армии Наполеона впервые появились в окрестностях Бобруйска в конце июля 1812 года. Однако блокаду Бобруйска они начали только с 4 сентября. В основном, крепость осаждали польские части, воевавшие на стороне французов. Их было до 12 тысяч человек при 12 пушках. При таком соотношении сил и артиллерии нечего было даже думать о штурме крепости. Тем более что русские к обороне подготовились основательно: боеприпасов должно было хватить на год, продовольствия — на 6 месяцев. Это для 7 тысяч солдат и офицеров, находившихся внутри крепостных стен. Поэтому уже 12 октября польский генерал Ян Домбровский приказал своим подчинённым уйти.
Блокада Бобруйска продолжалась всего 39 дней и обошлась без активных боевых действий сторон. Тем не менее, российские историки любят говорить и писать — вопреки фактам — о «четырёхмесячной героической обороне Бобруйской крепости», считая ее началом 27 июля, а окончанием — 28 ноября (в тот день из окрестностей Бобруйска ушли полевые заставы поляков, наблюдавшие за перемещениями российских войск).
В 1817 году император Александр I посетил крепость и приказал построить нагорное укрепление, чтобы в случае боевых действий не дать неприятелю воспользоваться господствующей высотой для размещения своей артиллерии. Новое сооружение назвали в честь прусского короля Фридриха Вильгельма. Это был мощный форт, состоявший из высоких валов и глубоких рвов, земляных и кирпичных огневых сооружений. Так, возле самой реки разместился пятиугольный земляной вал (люнет) с казематами внутри. В тыльной части укрепления соорудили каменную стену с двумя рядами бойниц и въездными воротами.