Совместимость. Как контролировать искусственный интеллект (Рассел) - страница 168

Неопределенность и ошибка

Очевидной особенностью людей, если подумать, является то, что они не всегда знают, чего хотят. К примеру, фрукт дуриан вызывает у людей разную реакцию: одним кажется, что он «по вкусу превосходит все остальные фрукты в мире»[316], а другие сравнивают его с «нечистотами, застарелой рвотой, струей скунса и использованными хирургическими тампонами»[317]. Я сознательно не стал пробовать дуриан до выхода этой книги и могу занять нейтральную позицию по этому вопросу: я попросту не знаю, к какому лагерю примкнул бы. То же самое можно сказать о многих людях в отношении будущей карьеры, будущих партнеров, будущих занятий по выходе на пенсию и т. д.

Неопределенность в отношении предпочтений бывает как минимум двух типов. Первая — это реальная неопределенность вроде той, что испытываю я в вопросе о дуриане[318]. Сколько ни размышляй, эту неопределенность не устранить. Это эмпирический факт бытия, и я могу узнать больше, попробовав дуриан, сравнив свою ДНК с ДНК любителей и ненавистников дуриана и т. д. Неопределенность второго типа является следствием ограничения вычислительных возможностей: глядя на две позиции на доске для игры го, я не могу решить, какую предпочесть, поскольку варианты развития обеих совершенно недоступны моему пониманию.

Неопределенность также возникает из того факта, что варианты выбора, которые нам предлагаются, обычно неполно сформулированы — иногда настолько неполно, что их вообще с трудом можно назвать вариантами выбора. Когда Алиса оканчивает школу, консультант по профориентации может предложить ей выбор между «библиотекарем» и «шахтером», и она вполне разумно ответит: «Я не знаю, что предпочесть». Здесь неопределенность следует из реальной неопределенности в вопросе о том, что она сама предпочитает, угольную пыль или книжную, из вычислительной неопределенности, когда она пытается понять, как можно было бы извлечь максимум возможного из обоих вариантов профессиональной карьеры, а также из бытовой неопределенности в мире, скажем, ее сомнений в плане долгосрочной жизнеспособности местной угольной шахты.

Поэтому плохая идея отождествлять человеческие предпочтения с простым выбором между неполно описанными вариантами, в которых невозможно оценить и учесть элементы неизвестной желательности. Такой выбор дает косвенное свидетельство о глубинных предпочтениях, но не составляет эти предпочтения. Вот почему я говорил о предпочтениях в понятиях будущих жизней — например, представьте, что вы могли бы увидеть в сокращенном виде два разных фильма о вашей будущей жизни, а затем выбрать из них предпочтительный. Разумеется, этот мысленный эксперимент невозможно поставить в реальности, но можно представить, что во многих случаях четкое предпочтение сформируется задолго до того, как все детали каждого фильма будут показаны и полностью восприняты. Вы можете не знать заранее, какой из них предпочтете, даже если дать вам краткое изложение сюжетов, но на реальный вопрос