Классический контраргумент в ответ на подобные опасения состоит в следующем: если построить машины должным образом, то они будут функционировать так, как задумано. Три закона робототехники, сформулированные Айзеком Азимовым, получили заслуженную известность как неотъемлемые ограничения, разработанные для того, чтобы защитить людей от всех возможных опасностей со стороны роботов, несмотря на появление «робота-Моисея» Элвекса, как мы видели выше.
«Главная команда» (prime directive) Джека Уильямсона из серии его рассказов про Гуманоидов не настолько известна, как азимовские три закона, однако, по сути, она говорит о том же самом. В его рассказах фигурировали человекоподобные роботы, созданные человеком по имени Следж. «Главная команда», которая впервые появляется в рассказе Уильямсона «Со скрещенными руками» (1947) («With Folded Hands»), звучала просто: роботы должны «служить и подчиняться человеку, а также охранять его от вреда». Теперь обратите внимание на дату: рассказ был опубликован в 1947 году. Спустя два года после того, как на Хиросиму и Нагасаки была сброшена атомная бомба, Уильямсон ищет машины со «встроенной» нравственностью.
Однако, как это часто происходит в научной фантастике, лучшие намерения инженеров искажаются. Люди в рассказе Уильямсона «Со скрещенными руками» решают избавиться от созданных ими роботов, потому что роботы подавляют их своей добротой, не позволяя людям делать ничего, что может нанести вред. Но у роботов есть свои мысли на этот счет. Они решают, что их отсутствие может выйти людям боком. Выполняя свою главную команду в буквальном смысле, они проводят хирургическую операцию на мозге своего разработчика Следжа и удаляют из его памяти все знания, необходимые для того, чтобы дезактивировать их.
Идея о том, что мы должны приглядывать за нашими компьютерами и роботами, чтобы они не вышли из-под контроля, продолжала развиваться в научной фантастике. В романе Уильяма Гибсона «Нейромант» (1984) рассказывается о появлении в ближайшем будущем полицейского подразделения под названием «Тьюринг». Эти полицейские постоянно отслеживают любые признаки возникновения подлинного интеллекта и самосознания во всех компьютерных системах. Если подобное случается, им следует отключить такую систему, пока не поздно.
Здесь, безусловно, встает вопрос о том, не может ли интеллект возникнуть каким-то образом сам по себе, не существует ли некоего эмерджентного свойства,[30] которое может естественным образом проявиться у достаточно сложной системы. Артур-Кларк — папа Хэла — был одним из первых, кто предположил, что это может случиться на самом деле. В рассказе «Ф значит Франкенштейн» (1963) он предсказал, что всемирная телекоммуникационная сеть в конечном итоге еще более усложнится и приобретет еще больше соединений, чем в человеческом мозге, что приведет к возникновению сознания в данной сети.