Особый отдел следил за политическим настроением всех слоев русского общества, за деятельностью политических партий, других организаций, вел регистрацию произведений нелегальной печати, ведал политическим сыском.
Первоначально Особый отдел состоял из 4-х отделений. На январь 1905 года распределение обязанностей между ними выглядело следующим образом: 1-е отделение руководило НН, 2-е — внутренней агентурой, 3-е осуществляло контроль над учебными заведениями и общественными организациями, в ведении 4-го отделения находились вопросы, связанные с военным шпионажем и государственной изменой, т. е. вопросы контрразведки.
4-е делопроизводство ДП наблюдало за ходом политического дознания в губернских жандармских управлениях (далее — ГЖУ), осуществляло надзор за рабочим и крестьянским движением, за легальными структурами самоуправления. 5-е делопроизводство ведало гласным и негласным надзором.
6-е делопроизводство следило за изготовлением, хранением и перевозкой взрывчатых веществ, фабрично-заводским законодательством и его выполнением, выдачей справок о политической благонадежности лицам, поступающим на государственную и земскую службу.
7-е делопроизводство дублировало 4-е. 8-е делопроизводство заведовало уголовным розыском и сыскным отделением. 9-е делопроизводство занималось контрразведкой и надзором за военнопленными. ДП имел гласную и негласную агентуру, особый денежный фонд, не подлежащий государственному контролю.
В 1902 году ДП предпринял определённые шаги по усилению в ГЖУ работы с секретной агентурой и издал циркуляр об организации при жандармских управлениях агентурно-наблюдательных пунктов.
С осени во многих городах были созданы розыскные пункты и охранные отделения. В таких условиях функции ГЖУ стали меняться и за ними остались, главным образом, обязанности по производству дознаний по политическим делам. Политический розыск переходит в охранные отделения.
ГЖУ во всех городах империи производили аресты, производили следствие по государственным и политическим делам. Жандармы боролись с массовым крестьянским и рабочим движением, осуществляли сыск революционных организаций, сопровождали особо опасных преступников, докладывали царю о настроениях в обществе. В России действовали 150 жандармских команд, жандармские полки в армии, лейб-гвардии жандармский полуэскадрон.
6 июля 1908 года был принят закон «Об организации сыскной части», которым официально учреждались сыскные отделения полиции во всех крупных губернских городах Российской империи. В уездах создавались сыскные отделения 4-х разрядов в зависимости от количества жителей города. В соответствии с разрядом определялась штатная численность сыскного отделения.