Новая волна атаки обезумевших казаков уже окончательно поглотила горстку мужественных венгров. Отважная «чертова дюжина» Бартоша, как бы геройски ни рубилась, была-таки задавлена массой вражеского войска, погибнув за малознакомый для них город Вильно, словно и не литвинская столица стояла за их плечами, а родной Будапешт. Никто так и не смог помочь отважным героям. Армия в беспорядке отступала. Сигналы к отходу еще не протрубили, но самые малодушные уже начали отходить, оголяя фланги, полагая, что сигнал прозвучал. Кмитич рвался помочь венграм, но гетман лично распорядился, чтобы он быстрее уводил из-под обстрела пушек своих людей в город. Увы, остатки венгерской роты, той самой, что однажды спасла гетмана на реке Ослинке, теперь погибли, так и не дождавшись поддержки.
Казаки практически на плечах у отступающих литвин ворвались в городские ворота. Ожесточенная схватка закипела на улицах города, на Кафедральной площади. Первых ворвавшихся в Вильно казаков перестреляли из окон домов и со стены города, но вторая волна захватчиков захлестнула и улицы, и площадь. Враг напирал. Литвины отступали. Жители Вильны, которые все еще рассчитывали на победу своего войска, толпами побежали на Ковенскую заставу Телеги, лошади, женщины и дети, ратные и гражданские люди — все это бежало, сталкивалось под грохотом неумолкающих пушек и мушкетов, наступающих московитов.
— Уводи людей к Зеленому мосту! — приказал гетман Кмитичу.
— Быстро уходим! — кричал своим кавалеристам Кмитич, понимая, что на узких улицах города его гусарам не развернуться. В таких условиях все козыри были в руках казаков, которые непрерывным потоком, точно горох из мешка, сыпались с диким гиканьем из всех переулков и улиц с пиками и саблями наперевес. Те жители Вильны, что вышли на улицы, чтобы помочь армии, теперь в ужасе разбегались кто куда. Те же, кто остался за стенами своих домов у запертых окон, со страхом прислушивались к шуму разворачивающейся драмы.
Гарнизон Казимира Жаромского быстро отошел к замку. Здесь забаррикадировались и поливали из штурмаков и тюфяков-картечниц почти полторы сотни храбрецов, половину из которых составляли люди виленских татарских шляхтичей Нурковича и Карачевича, в мирное время вечно ссорящихся друг с другом. Православный татарский шляхтич Фурс-Белицкий с десятью своими верными солдатами также примкнул к ним, заняв первый этаж. Со второго этажа вели огонь сам Жаромский и виленский молодой шляхтич Ян Высоцкий вместе с местным поэтом, также молодым парнем Казимиром Даниловичем и его солдатами. Гарнизон мужественно оборонялся, пушки и мушкеты не смолкали. Солдаты стреляли из окон, из пробитых в стенах бойниц, прятались за карнизами, вели огонь из лазков голубятен… Но ожесточенное сопротивление лишь добавляло ярости атакующим казакам Золотаренко. Вновь и вновь, не обращая внимания на свистящие пули, разрывы ядер и смертельный огонь картечи, теряя убитых и раненых, казаки подбегали вплотную к стенам, бросали в окна гранаты и горящие факелы. Грохотали взрывы внутри здания, огрызались тюфяки защитников, разрывались залпы их мушкетов и пушек… Снопами замертво падали казаки под смертельным ураганом свинца. Ничего не могли поделать царские войска с упорным Виленским замком, стоящим упрямой скалой в бушующем море огня и дыма, затопившем литвинскую столицу.