Это ставит очень серьезную исследовательскую проблему перед создателями ИИ, специалистами по когнитивной науке, психологами и нейробиологами: каким образом достичь настолько глубокого понимания человеческой познавательной деятельности[313], чтобы мы (или, скорее, наши полезные машины) могли «ретроспективно вывести» из поведения человека его глубинные предпочтения, если таковые имеются? Люди отчасти справляются с этим, усваивая ценности других, руководствуясь врожденными навыками, так что, по-видимому, это возможно. У людей есть преимущество: они могут использовать собственную когнитивную архитектуру, чтобы моделировать чужую, даже не зная, что это за архитектура: «Если я хочу Х, то делаю то же самое, что мамочка, значит, мамочка, по-видимому, хочет Х».
Машины этого преимущества лишены. Они с легкостью моделируют другие машины, но не людей. Не похоже, чтобы они в скором времени получили доступ к полной модели человеческой когнитивной деятельности, будь то видовой или ориентированный на конкретных индивидов. Вместо этого имеет смысл с практической точки зрения рассмотреть основные пути отклонения людей от рациональности и изучить вопрос о том, как узнавать предпочтения по поведению, демонстрирующему эти отклонения.
Одно из очевидных различий между людьми и рациональными сущностями состоит в том, что в любой отдельный момент мы не делаем выбор из всех возможных первых шагов для всех возможных вариантов жизни. Мы очень от этого далеки. Типичный человек встроен в глубоко укорененную иерархию «стандартных подпрограмм». В общем, мы преследуем ближайшие цели, а не максимизируем предпочтения в отношении будущей жизни, и можем действовать лишь в соответствии с ограничениями стандартных подпрограмм, имеющихся у нас в настоящее время. В данную минуту, например, я печатаю это предложение: я могу выбирать, как продолжить его после двоеточия, но мне никогда не придет в голову задуматься о том, чтобы бросить его писать, а вместо этого прослушать онлайновый курс для рэперов, или сжечь дом и потребовать страховку, или о любом другом из мириад действий, которые я мог бы совершить. Вероятно, многие из них были бы лучше того, что я делаю сейчас, но с учетом моей иерархии обязательств для меня они все равно что не существуют.
Судя по всему, понимание действий человека требует понимания его иерархии стандартных подпрограмм (весьма индивидуальной): какую подпрограмму данный человек выполняет сейчас, какие краткосрочные цели преследуются в рамках этой подпрограммы и какое отношение они имеют к глубинным, долгосрочным предпочтениям. Обобщая, можно сказать, что выяснение человеческих предпочтений требует узнавания реальной структуры человеческой жизни. Каковы все те дела, которыми мы, люди, можем заниматься, поодиночке или вместе? Какие занятия характерны для разных культур и типов индивидов? Это невероятно интересные и серьезные вопросы для исследования. Очевидно, у них нет конкретного ответа, поскольку мы, люди, постоянно пополняем свой «репертуар» новыми видами деятельности и поведенческими структурами. Однако даже частичные и промежуточные ответы были бы очень полезны для интеллектуальных систем всех типов, призванных помогать людям в их повседневной жизни.