После окончания университета в Бонне 1 апреля 1907 года Карл фон Пиклер-Бургхаусс вступил в ряды вооруженных сил, 17 октября 1907 года получил первый офицерский чин – лейтенанта. Женился в 1913 году, в браке родились две дочери и два сына, оба последних умерли вскоре после родов. В Первую мировую войну участвовал в сражениях на Восточном и Западном фронтах, в мае 1917 года был повышен до старшего лейтенанта (обер-лейтенант). Конец войны встретил в звании капитана – офицера генштаба VI армейского корпуса, был награжден Железным крестом 1-й и 2-й степени. Уволился из армии в 1919 году, после чего год провел в частях Фрейкорпуса, потом, после смерти отца, вернулся в родное поместье.
С 1924 по 1931 год являлся членом правой организации ветеранов мировой войны «Стальной шлем», 1 декабря 1931 года вступил в НСДАП и одновременно в СА, где сразу получил звание штурмбаннфюрера (аналог майора). 1 июля 1932 года повышен до штандартенфюрера (полковник) с назначением на должность начальника штаба СА группы «Силезия». В 1933 году также становится депутатом рейхстага – парламента Германии, и получает повышение до оберфюрера СА. В 1937 году получает аналог генеральского звания в СА – бригаденфюрер, с переводом в главный штаб организации.
В 1938 году снова идет на армейскую службу в своем старом чине – гауптмана (капитана) Вермахта. В составе штаба 4-й «легкой» дивизии участвует во вторжении в Польшу, позднее служит в качестве офицера разведки XXXIII армейского корпуса. В 1940 году вступает в СС. С начала 1942 года в составе СС является заместителем командующего полицией на оккупированной территории Центральной России обергруппенфюрера СС Эриха фон дем Бах-Зелевского. 12 сентября 1942 года повышен в звание бригаденфюрер СС и генерал-майор войск СС с назначением на пост командующего войсками СС на территории Протектората Богемия и Моравия.
В мае 1943 года вместе с повышением до группенфюрера СС становится командующим 15-й пехотной дивизией СС (латышской № 1), вместе с которой отправляется на Восточный фронт в Прибалтику. 17 февраля 1944 года снова возвращается на предыдущую должность в чешский Протекторат, где находился до самого конца Второй мировой войны.
Во время пражских событий мая 1945 года координировал действия германских вооруженных сил, направленные на подавление восстания, с самого начала беспорядков являлся сторонником самых жестких мер по отношению к повстанцам. После заключения перемирия покинул Прагу утром 9 мая 1945 года вместе с последними отходящими германскими колоннами. Во главе соединения из примерно 6000 человек, в основном из состава боевой группы СС «Валленштайн» и других частей, вышел к фронтовой линии войск США в районе н.п. Чимелице в юго-западной Чехии, но американцы, по договоренности с советской стороной, начиная с 9 мая 1945 года уже закрыли демаркационную линию и отказывались пропускать или принимать капитуляцию германских сил, приходящих с востока. Не желая попадать в советский плен, группа СС генерала Пиклера заняла импровизированные оборонительные позиции, на которых держалась почти 3 дня, отражая атаки сил Красной Армии и пытаясь одновременно договориться с западными союзниками о проходе в американскую зону и сдаче в плен американским войскам. Перед рассветом 12 мая 1945 года генерал фон Пиклер-Бургхаусс был вынужден наконец подписать капитуляцию своих частей перед командующим советской 104-й гвардейской дивизией генералом Иваном Федоровичом Серегиным, в присутствии американского полковника Аллисона из штаба 4-й танковой дивизии США. После подписания данного документа, рано утром 12 мая 1945 года генерал СС фон Пиклер-Бургхаусс застрелился в доме № 99 на окраине Чимелиц.