Из различных мест крепости к рекам Лопань и Харьков шли подземные ходы, предназначавшиеся для вылазок и пополнения запасов воды во время осады неприятелем. Крепость со всех сторон окружал ров глубиной и шириной две сажени. На ее вооружении в 1663 году находилось 12 пушек, 402 ядра и восемь бочек пороху. До нашего времени сохранились две крепостные пушки, которые стоят теперь во дворе Исторического музея.
Внутри крепости находился пороховой погреб и так называемый «государев двор», где жил воевода.
В 1670 году, когда под Университетской горкой на Подоле уже существовало укрепленное поселение, крепость называлась «старым городом». Крепость неоднократно перестраивали. Наиболее значительная перестройка относится к началу XVIII века. Накануне решающей битвы со шведами под Полтавой Петр I, объезжавший ряд укрепленных городов Украины, 2 июня 1709 года посетил Харьков. Осмотрев крепость, он приказал расширить ее на север и вокруг построить защитный вал. В конце XVIII века, когда город утратил военное значение, стены крепости разобрали, хотя отдельные башни существовали еще долгое время.
Первые строения на территории горки, как и сама крепость, были деревянными. Среди небольших домиков, крытых соломой, возвышалась Успенская соборная церковь, построенная в 1658 году. Она стояла на месте нынешнего филиала Центральной научной библиотеки университета. В 1688 году вместо деревянной церкви соорудили каменный Успенский собор, находившийся на месте нынешнего. Колокольня собора стояла отдельно.
В 1689 году, там, где крепостная стена подходила к самому обрыву над Лопанью, построили Покровский собор — наиболее древнее каменное здание города, сохранившееся до наших дней. Месторасположение собора, крепкие каменные стены, длинные узкие окна, похожие на бойницы, — все говорит о том, что он входил в систему оборонительных укреплений города.
Покровский собор является одним из лучших памятников украинской архитектуры XVII века. В основу его композиции положена схема трехсрубной украинской деревянной церкви. В то же время многие детали плана, способ кирпичной кладки, внешние украшения выполнены под влиянием русской архитектуры, что свидетельствует о взаимосвязях украинской и русской архитектуры XVII века.
В 1843 году в склепе Покровского собора был похоронен герой Отечественной войны 1812 года В. В. Орлов-Денисов.
Поврежденный в годы Великой Отечественной войны, собор восстановлен сейчас в своем первоначальном виде. Во дворе нынешнего Исторического музея в начале XVIII века находился небольшой двухэтажный Дом и сад, принадлежавшие полковнику харьковского казачьего полка Л. Шидловскому (дом не сохранился). В 1725 году дом вместе с усадьбой был куплен для архиерейской школы, переведенной в 1726 году из Белгорода в Харьков. В 1727 году школа была преобразована в коллегиум, который стал одним из значительных учебных заведений России и центром просвещения на Слобожанщине. Харьковский коллегиум, получивший в дальнейшем название Харьковской академии, считался вторым учебным заведением на Украине после Киевской академии. Подворье коллегиума было обнесено толстой каменной стеной. Во двор въезжали через ворота, которые находились южнее нынешних, напротив Спартаковского переулка. В 1761 году над воротами построили каменное помещение, в котором разместили коллегиумскую библиотеку — первую библиотеку в Харькове. Уже в 1788 году фонд ее составлял 2500 книг на разных языках. Достопримечательностью коллегиума были и башенные часы, установленные на крыше. Их звон возвещал о начале и конце занятий. В те годы подворье коллегиума было самой оживленной частью города.