Естественно, вы заинтересованы в максимальном выигрыше. И понятно, что это подразумевает некую комбинацию нажатий на рычаги различных автоматов с целью их проверки (исследование) и выбор среди этих автоматов наиболее перспективных (эксплуатация).
Для понимания всех тонкостей данной задачи представьте, что у вас есть только два игровых автомата. На одном из них вы сыграли 15 раз; 9 раз он выдал вам выигрыш, а 6 раз – нет. На другом вы сыграли всего дважды; один раз выиграли и один раз проиграли. Какой из автоматов перспективнее?
Просто разделите количество выигрышей на общее количество раз, что вы дернули ручку, и вы получите «ожидаемую выгоду». Согласно этому способу, первый автомат явно лидирует. Его соотношение 9: 6 дает нам 60 % ожидаемой выгоды, в то время как у второго соотношение 1: 1 дает всего 50 %. Но это еще не все. В конце концов, всего две игры – это не слишком показательно, и можно предположить, что мы просто пока не знаем, насколько хорош второй автомат.
Выбор ресторана или музыкального альбома по сути своей – это тот же выбор, за какую ручку дернуть в жизненном казино. Но поиск компромисса между «исследовать» и «эксплуатировать» – это не просто более легкий способ принять решение, где поужинать или какой диск послушать. Он дает нам базовое представление о том, как наши цели должны меняться с годами и почему наиболее рациональный принцип действий не всегда подразумевает выбор самого лучшего. И это, как выясняется, составляет самую суть процессов веб-дизайна и клинических исследований – двух понятий, которые обычно не встречаются в одном предложении.
Люди склонны раздумывать над решениями в одиночестве, чтобы сосредоточиться и понять, какое из них принесет в результате наибольшую ожидаемую выгоду. Но так редко получается на практике, да и ожидаемая выгода – еще не конец истории. Если вы размышляете не только над вашим следующим шагом, но и над всеми теми шагами, которые вы предпримете в аналогичных обстоятельствах в будущем, то соблюдение баланса «исследовать/эксплуатировать» имеет решающее значение. В этом случае, как пишет математик Питер Уиттл, проблема многорукого бандита «воплощает в себе самую суть конфликта, проявляющегося в любой деятельности человека».
Так какой же из двух рычагов дернуть? Вот тут и кроется подвох. Это целиком и полностью зависит от того, что мы еще не обсудили: как долго мы вообще собираемся оставаться в казино.