случаи негодного поведения должны оцениваться машинами как беспроблемные. Возможно, машинам нужно будет по-другому обращаться с людьми, осознанно стремящимися причинять страдания другим.
Короче говоря, я полагаю, что нам нужно развернуть исследования ИИ совершенно в другом направлении, если мы хотим сохранить контроль над все более интеллектуальными машинами. Нам нужно отойти от одной из движущих идей технологии XXI в. — машин, оптимизирующих поставленную задачу. Меня часто спрашивают, почему я считаю это достижимым хотя бы в отдаленной перспективе, с учетом колоссальной инерции движения, связанной со стандартной моделью ИИ и сопутствующими дисциплинами. В общем, я настроен по этому поводу оптимистично.
Первой причиной для оптимизма является наличие сильных экономических стимулов разработки ИИ-систем, которые подчиняются человеку и постепенно подстраиваются под предпочтения и намерения пользователя. Такие системы были бы очень востребованы: спектр доступных им действий попросту намного шире, чем у машин с фиксированными, известными целями. Они будут задавать людям вопросы или спрашивать разрешения, когда это нужно, осуществлять «пробные запуски», чтобы узнать, нравится ли нам их предложение, и принимать исправления, сделав что-то неправильно. Напротив, отказ систем от всех этих действий имел бы серьезные последствия. До сих пор тупость и ограниченность воздействия ИИ-систем защищали нас от этих последствий, но это изменится. Представьте, например, домашнего робота будущего, который должен присматривать за вашими детьми, когда вы задерживаетесь на работе. Дети хотят есть, но холодильник пуст. Тут робот замечает кошку. Увы, робот понимает питательную ценность кошки, но не ее эмоциональную ценность. Проходит несколько часов, мировые СМИ пестрят заголовками о свихнувшихся роботах и жареных кошках, и все производители роботов-домохозяек лишаются рынка сбыта.
Возможность того, что один представитель отрасли может уничтожить ее всю из-за небрежной разработки, создает сильный экономический стимул к формированию отраслевого соглашения по ориентации на безопасность и ужесточению стандартов безопасности. Уже сейчас Партнерство по развитию ИИ, членами которого являются почти все ведущие технологические компании мира, пришло к соглашению о сотрудничестве с целью обеспечения того, чтобы «исследования ИИ и технологии были честными, надежными, заслуживающими доверия и велись в условиях установленных ограничений». Насколько я знаю, все крупнейшие игроки публикуют свои исследования, связанные с ориентацией на техническую безопасность, в открытом доступе. Таким образом, экономический стимул уже действует задолго до создания ИИ человеческого уровня и будет лишь усиливаться со временем. Более того, та же тенденция к кооперации может начаться на международном уровне. Например, официальная политика китайского правительства — «кооперация с целью активного предупреждения угрозы, связанной с ИИ»