Если бы Робби был человеком (или хорошо сконструированным роботом), он бы не интерпретировал команду Гарриет настолько буквально. Команда — это не цель, которая должна быть достигнута любой ценой. Это способ передачи некоторой информации о предпочтениях Гарриет с намерением добиться от Робби определенного поведения. Вопрос заключается в том, что это за информация.
Один из вариантов: это информация о том, что Гарриет предпочитает кофе отсутствию кофе при прочих равных условиях[270]. Это значит, что, если у Робби есть возможность достать кофе, ничего больше в мире не меняя, то сделать это будет правильно, даже если он не имеет ни малейшего представления о предпочтениях Гарриет в отношении других аспектов состояния среды. Поскольку мы ожидаем от машины состояния вечной неопределенности в плане человеческих предпочтений, приятно сознавать, что она тем не менее может быть полезной. Представляется, что изучение процессов планирования и принятия решений в условиях частичной и неопределенной информации о предпочтениях станет ядром исследования ИИ и разработки продукта.
В то же время при прочих равных условиях означает, что не разрешаются никакие другие изменения — например, идея прибавить кофе, в то же время убавив деньги, может быть как хорошей, так и плохой, если Робби ничего не знает об относительных предпочтениях Гарриет в плане кофе и денег.
К счастью, инструкция, данная Гарриет, скорее всего, означает нечто большее, чем просто сообщение, что она предпочитает иметь кофе при прочих равных. Дополнительный смысл проистекает не только из сказанных ею слов, но и из самого факта, что они были сказаны, из конкретной ситуации, в которой эти слова были произнесены, и того обстоятельства, что больше она ничего не сказала. Особое направление лингвистики, прагматика, изучает именно это — расширенное понятие смысла. Например, было бы бессмысленно со стороны Гарриет говорить: «Подай мне чашку кофе!» — если бы она знала, что поблизости невозможно раздобыть кофе или оно стоит непомерно дорого. Следовательно, когда Гарриет говорит: «Подай мне чашку кофе!» — Робби делает вывод не только о том, что Гарриет хочет кофе, но и что она считает, что кофе можно купить рядом по цене, которую она готова за него заплатить. Таким образом, если Робби находит кофе по цене, которая кажется нормальной (то есть было бы разумно ожидать, что Гарриет рассчитывает именно на такую цену), то может продолжить действие и купить его. Напротив, если Робби выясняет, что ближайший кофе находится в 300 км или стоит $22, с его стороны будет разумно сообщить этот факт, а не слепо кидаться исполнять свою миссию.