Мы все, разумеется, знаем, что произошло с Обамой на выборах 2008 года. Но что же случилось с его аналитическим директором Дэном Сирокером? После инаугурации Сирокер вернулся на запад, в Калифорнию, и вместе с коллегой из Google Питом Куменом организовал фирму по оптимизации веб-сайтов Optimizely. К президентскому избирательному циклу 2012 года среди проектов их компании фигурировала как кампания по перевыборам Обамы, так и кампания кандидата от республиканцев Митта Ромни.
В течение примерно 10 лет после первого использования А/В-тестирование перестало быть секретным оружием. Оно так глубоко укоренилось в принципах ведения бизнеса и политики в интернете, что стало считаться чем-то само собой разумеющимся. Каждый раз, открывая браузер, вы можете быть уверены, что все цвета, изображения, тексты, возможно, даже и цены, которые вы видите, – и, конечно же, объявления – пришли из алгоритма исследования/эксплуатации, подстраиваясь под ваши клики. В этой конкретной задаче многорукого бандита вы не азартный игрок; вы – джекпот.
Сам процесс сплит-тестирования с течением времени становится все более изящным. Наиболее традиционная схема А/В-тестирования – разделение потока пользователей поровну между двумя вариантами в течение заданного периода времени, а затем передача всего трафика целиком победителю – необязательно может быть лучшим алгоритмом для решения данной проблемы, так как она означает, что половина пользователей получает худший по качеству вариант на время проведения тестирования. Награда за нахождение лучшего подхода потенциально весьма высока. Более 90 % от годового дохода компании Google (а это $50 млн) сегодня составляет доход от платной рекламы, а онлайн-торговля насчитывает сотни миллиардов долларов в год. Это означает, что алгоритмы исследования/эксплуатации эффективно властвуют – экономически и технологически – над значительной долей интернета в целом. Лучшие алгоритмы до сих пор горячо обсуждаются, конкурирующие статистики, инженеры и блогеры ведут бесконечные споры об оптимальном способе сбалансировать исследование и эксплуатацию в каждом возможном сценарии ведения бизнеса.
Обсуждения малейших отличий между разными взглядами на проблему исследования/эксплуатации могут показаться безнадежно туманными. На деле оказывается, что эти различия имеют огромное значение – и на кону не только президентские выборы или интернет-экономика.
На кону человеческие жизни.
Испытательный срок клинических исследований
Между 1932 и 1972 годами несколько сотен больных сифилисом афроамериканских мужчин в округе Мейкон, штат Алабама, были намеренно оставлены без медицинской помощи в рамках сорокалетнего эксперимента Службы общественного здравоохранения США, известного как Таскиджийское исследование сифилиса. В 1966 году сотрудник службы здравоохранения Питер Бакстун заявил протест. Второй протест был заявлен в 1968 году. Но ситуация не менялась, пока он не донес информацию до СМИ. Статья об этом вышла в