Хозяева этого замка, братья Бернхард и Генрих фон Пфаннберг, состояли в войске короля Богемии, а в то время Оттокар был еще и герцогом Штирии, и им пришлось отправиться воевать с пруссами и литовцами. В скором времени их сослуживцы — тоже штирийские рыцари — заподозрили братьев в измене и предательстве и отдали обоих под стражу. В конце мая 1269 года перед стенами замка Пфаннберг появились полчища солдат богемского короля, осадили крепость и потребовали ее сдачи.
Госпожа Агнес Пфаннберг, супруга Бернхарда, опечалилась, узнав о пленении мужа, и решила бороться до конца. Она отказалась сдать крепость, и преданные своей госпоже слуги замка встретили наступающих богемцев градом камней. Сделав несколько попыток взять крепость штурмом, богемцы поняли, что затея им дорого обойдется. Они потеряли уже почти треть своих людей, а вперед ни на шаг не продвинулись. Тогда они решили перекрыть все подступы к замку и обречь осажденных на голодную смерть.
Две недели минуло с начала осады, и казалось, что богемцы так ничего и не добьются. Но вот однажды враги приметили мальчонку — он как ни в чем не бывало карабкался вверх по крутому отрогу скалы, на которой стоял замок. Они долгое время за ним наблюдали, и вдруг заметили, как он нырнул в какую-то расщелину — и пропал. Это был маленький сынишка управителя замка, который собирал на солнечном склоне землянику. Кто-то из богемцев вызвался взобраться ночью на скалу и исследовал расщелину. Он обнаружил в скале коридор, который явно вел внутрь крепости. В конце его была запертая железная дверца. Тогда предводитель богемцев решил взять крепость хитростью.
Когда наутро осажденные принялись, как обычно, наблюдать за лагерем противника, они, к великой своей радости, обнаружили, что враги снимаются с места и уходят. Однако радость осажденных была преждевременна. Под вечер они собрались все во дворе замка за пиршественным столом, никто уже и не думал об опасности, даже дозорные покинули свой пост, чтобы присоединиться к общему ликованию. Никто в замке и не заметил, что около полуночи несколько вооруженных воинов подкрались к замку и полезли вверх по скале. Вскоре они добрались до расщелины, в которой исчез мальчонка. Ветхая железная дверца, преграждавшая вход в тесный коридор, легко подалась, и вражеские солдаты беспрепятственно проникли во двор замка. Часть их внезапно обрушилась на головы ничего не подозревавших обитателей замка, остальные же тем временем открыли ворота и впустили остальное войско, которое под прикрытием темноты подошло под самые стены замка с другой стороны. Началась ожесточенная битва, которая закончилась гибелью почти всех защитников замка. Лишь около двадцати уцелевших укрылись в неприступной башне.