и более техническим толкованием, в котором оно используется в экономике, разработке ИИ и исследовании операций. В повседневном значении ценности есть нечто, с помощью чего индивид решает нравственные дилеммы; напротив, в качестве технического термина
ценность — нечто вроде синонима полезности, меры желательности чего угодно, от пиццы до рая. Значение, нужное мне, — технического характера: я лишь хочу быть уверенным, что машины подадут мне нужную пиццу и не уничтожат по случайности человечество. (Отыскание моих ключей станет приятной неожиданностью.) Чтобы избежать этой путаницы, в принципах говорится о
предпочтениях человека, а не о
ценностях, поскольку первый термин, на мой взгляд, свободен от субъективных ожиданий, связанных с нравственностью.
«Закладывание ценностей» — та самая ошибка, которой я призываю избегать, потому что идеально правильно усвоить ценности (или предпочтения) невероятно трудно, а их неправильное усвоение грозит катастрофой. Я предлагаю, чтобы машины учились лучше прогнозировать для каждого человека, какую жизнь он предпочтет вести, постоянно сознавая, что прогнозы отличаются высокой неопределенностью и неполнотой. По идее, машина может изучить миллиарды моделей прогнозирования предпочтений для каждого из миллиардов людей на Земле. Это никоим образом не завышенные ожидания по отношению к ИИ-системам будущего, с учетом того что современные системы Facebook уже поддерживают свыше 2 млрд индивидуальных профилей.
С указанным недопониманием связано еще одно: будто бы наша цель — наделить машины «этикой» или «нравственными ценностями», которые позволят им решать нравственные дилеммы. Люди часто ссылаются на так называемую проблему вагонетки[245] — необходимость выбирать, убить ли одного человека ради спасения остальных, — поскольку считают, что она как-то связана с вопросом об автономных автомобилях. Однако сама суть нравственных дилемм состоит в том, что они представляют собой дилеммы — с обеих сторон имеются убедительные аргументы. Выживание человечества не нравственная дилемма. Машины могли бы решить нравственные дилеммы неправильно (в чем бы это ни выражалось), тем не менее не вызвав катастрофических последствий для человечества[246].
Другое распространенное предположение — что машины, следующие трем принципам, разовьют у себя все отрицательные черты людей, которых наблюдают и у которых учатся. Действительно, многие из нас склонны делать небезупречный выбор, но нет причин полагать, что машины, изучающие наши мотивации, станут делать такой же выбор, — это равносильно ожиданию, что криминалисты должны становиться преступниками. Возьмем, например, коррумпированного чиновника, вымогающего взятки за выдачу разрешений на строительство, потому что его нищенская зарплата не позволяет оплатить обучение детей в университете. Машина, наблюдающая это поведение, не научится брать взятки; она усвоит, что чиновник, как и многие другие люди, имеет очень сильное желание, чтобы его дети стали образованными и успешными. Она найдет способы помочь ему, не предполагающие ухудшения благополучия других людей. Это не значит, что