В некоторых случаях разница между моделью и реальным миром становится действительно вопросом жизни и смерти. В военных и правоохранительных органах, например, тренировка памяти с помощью повторения информации считается ключевым методом для развития навыков действий на линии огня.
Цель – отработать определенные передвижения и тактики до автоматизма. Но, когда на сцену выходит переподгонка, последствия могут быть катастрофическими. Были случаи, когда полицейские офицеры, попав в перестрелку, тратили время на то, чтобы положить отработанные гильзы в карман (таковы правила поведения на стрельбище). Как пишет бывший десантник, а ныне профессор психологии в Военной академии США Дейв Гроссман, «как только дым после стрельбы рассеивался, офицеры в недоумении обнаруживали в карманах пустые гильзы, не помня, как они там оказались. В нескольких случаях убитые полицейские были обнаружены с гильзами в руках, они явно пытались перед смертью выполнить заученную административную формальность». Аналогично ФБР пришлось изменить регламент тренировок, после которых агенты рефлекторно делали два выстрела и затем убирали пистолет в кобуру вне зависимости от того, была ли повержена мишень или угроза все еще существовала. Такие ошибки в военной среде называют шрамами тренировок, и они, по сути, отражают возможность существования переподгонки в подготовке и обучении. В одной особенно драматичной ситуации офицер инстинктивно выхватил оружие из рук своего противника и затем автоматически передал его обратно – точно так же, как он делал на многочисленных занятиях с инструктором.
Выявление переподгонки: перекрестная проверка
Поскольку переподгонка изначально представляет собой теорию, которая идеально подходит под любой тип и категорию данных, может показаться, что выявить ее предательски сложно. Как мы можем выявить разницу между истинно хорошей моделью и той, которая подверглась действию переподгонки? В сфере образования как отличить класс учеников, владеющих знаниями по предмету на высоком уровне, от класса, в котором ученики всего лишь «подготовлены, чтобы сдать выпускные экзамены»? В мире бизнеса как отличить по-настоящему «звездного» сотрудника от того, кто просто умело подгоняет свою деятельность под ключевые показатели деятельности компании или видение руководителя?
Различить эти сценарии на самом деле непросто, но в этом нет ничего невозможного. Исследования в области машинного обучения помогли разработать несколько четких стратегий для выявления случаев переподгонки, и одна из самых важных – это