Эффективность регуляризации во всех видах машинного обучения предполагает, что мы можем принимать более удачные решения, намеренно меньше размышляя и действуя. Факторы, которые в первую очередь приходят нам на ум, вероятнее всего, окажутся наиболее важными, а продолжение размышлений над задачей сверх определенного лимита станет не только тратой времени и сил, но и приведет нас к худшим решениям. Принцип ранней остановки предоставляет обоснование в пользу разумного аргумента против логических размышлений, размышляющего человека против мысли. Однако, чтобы обратить эту мысль в практическую рекомендацию, нам необходимо ответить на еще один вопрос: когда нам необходимо прекратить думать?
Когда нужно думать меньше
Как и во всех прочих вопросах, связанных с переподгонкой, ответ на вопрос, когда остановиться, зависит от разницы между тем, что вы можете измерить, и тем, что действительно имеет значение. Если у вас есть все факты, они не содержат ошибок или неточностей и вы можете непосредственно оценить все, что важно для вас, тогда не останавливайтесь раньше времени. Думайте долго и упорно: сложность и усилия в этом случае обоснованны.
Но такие случаи – большая редкость. В условиях высокого уровня неточности и ограниченного количества данных чем раньше вы остановитесь, тем лучше. Если у вас нет четкого понимания, как и кем ваша работа будет оценена, не стоит тратить дополнительное время на ее совершенствование и приводить ее в соответствие с вашим (или чужим) идиосинкразическим пониманием идеальности. Чем больше неточностей и чем больше разница между тем, что вы можете измерить, и тем, что имеет значение, тем больше вы должны остерегаться переподгонки – то есть тем большее предпочтение вы должны отдавать простоте и, соответственно, тем раньше вы должны остановиться.
Когда вы блуждаете в потемках, самым лучшим планом всегда будет наипростейший. Если ваши ожидания неопределенны, а в информации содержится слишком много «помех», лучшим решением будет рисовать широкой кистью и мыслить крупными мазками. Иногда в буквальном смысле.
Как объясняют предприниматели Джейсон Фрайд и Дэвид Хайнемайер Хенссон[26], чем глобальней мозговой штурм, тем более толстой ручкой необходимо писать:
Когда мы приступаем к разработке чего-либо, мы записываем идеи толстым маркером вместо шариковой ручки. Зачем? Написанное ручкой выглядит слишком четко, будто в высоком разрешении. Это побуждает вас больше волноваться о тех вещах, о которых пока не стоит думать. В результате вы концентрируетесь на тех вещах, которые не должны быть в фокусе ваших мыслей. Маркер не позволяет вам уходить так глубоко в ненужные размышления. Вы можете только изобразить простые линии или нарисовать таблицу. И это хорошо. Общая картина – это все, о чем вам следует волноваться в самом начале.