Систематическая ошибка,
связанная с антропоморфизмом
…Когда нечто очень широко распространено в нашей повседневной жизни, мы принимаем его как само собой разумеющееся, вплоть до того, что забываем о его существовании. Антрополог не будет восторженно писать о ново-открытом племени: «Они едят еду! Они дышат воздухом! Они используют инструменты! Они рассказывают друг другу истории!» Мы, люди, забываем, как мы подобны друг другу, живя в мире, который напоминает нам только о наших различиях. Мы развили способность понимать наших ближних через эмпатию, помещая себя на их место; для этого тот, кто моделируется, должен быть похож на моделирующего. Неудивительно, что люди часто очеловечивают — то есть ожидают человекоподобных качеств от того, что не является человеком.
Было бы очень здорово, если бы человечество знало, как создать мощный оптимизационный процесс с неким конкретным результатом. Или, говоря более общими словами, было бы здорово, если бы мы знали, как создать хороший ИскИн. Для того чтобы описать область знания, необходимого, чтобы взяться за этот вызов, я предложил термин «Дружественный ИскИн». Этот термин я отношу не только к самой методике, но также и к ее продукту-то есть к ИскИну, созданному со специфической мотивацией.
Широта пространства возможных устройств ума
…Любые два устройства искусственного интеллекта могут быть куда менее похожими друг на друга, чем вы и садовый цветок петуния.
Термин «ИскИн» относится к гораздо большему пространству возможностей, чем термин «Homo sapiens». Когда мы говорим о разных ИскИнах, мы говорим об умах вообще или о процессах оптимизации вообще. Представьте себе карту возможных устройств ума. В одном углу — маленький кружочек, означающий всех людей. И вся эта карта находится внутри еще большего пространства, пространства процессов оптимизации. Естественный отбор создает сложные функционирующие механизмы, не обладающие мышлением; эволюция находится внутри пространства процессов оптимизации, но за пределами пространства умов.
Этот гигантский круг возможностей вообще исключает антропоморфизм как приемлемый инструмент аргументации.
Свод критических ошибок Дружественного ИскИна (примеры)
[из описания несуществующей настольной карточной игры]
Любое высказанное пожелание интерпретируется (буквально)как желание и исполняется, независимо оттого, хотели ли вы этого.
…
Все человечество перенесено в виртуальный мир, основанный на случайно выбранном фантастическом романе, ТВ-шоу или видеоигре.
…
Последовательность событий определяется волей большинства, при этом ИскИн рассматривает всех животных, все растения и все сложные машины, как они есть сейчас, в качестве голосующих граждан.