Совместимость. Как контролировать искусственный интеллект (Рассел) - страница 94

. Когда биржевые алгоритмы вызвали в 2010 г. «обвал» на Нью-Йоркской фондовой бирже, уничтожив $1 трлн за несколько минут, единственным решением стало прервать операции. Что тогда произошло, до сих пор не вполне ясно.

Когда еще не было никаких технологий, люди жили, как большинство животных, на грани голодной смерти. Мы, так сказать, стояли непосредственно на земле. Технология постепенно вознесла нас на вершину пирамиды из машин, увеличив наши возможности оставить свой след как лично, так и всем нашим биологическим видом. Мы по-разному можем построить отношения между людьми и машинами. Если мы организуем их так, чтобы люди сохраняли достаточное понимание, власть и автономию, технологические части системы могут невероятно повысить возможности человека, позволив каждому из нас стоять на огромной пирамиде возможностей — можно сказать, быть полубогом. Взглянем, однако, на упаковщицу со склада онлайнового магазина. Она продуктивнее своих предшественников, потому что пользуется небольшой армией роботов, подносящих ей ячейки хранения, откуда она набирает товары, но она является частью большой системы, управляемой интеллектуальными алгоритмами, которые решают, где ей стоять, какие товары брать и отсылать. Она уже частично погрузилась в пирамиду, а не стоит на ее вершине. Лишь вопрос времени, когда песок заполнит просветы внутри пирамиды и она станет не нужна.

Глава 5. Слишком интеллектуальный ИИ

«Проблема гориллы»

Не нужно особого воображения, чтобы понять: неразумно создавать сущность, более умную, чем мы сами. Мы понимаем, что власть над средой и другими биологическими видами является следствием нашей разумности, и мысль о еще более умной сущности, будь то робот или инопланетянин, тут же вызывает тошнотворное чувство.

Около 10 млн лет назад предки современной гориллы создали (честно говоря, по случайности) генетическую линию, ведущую к современным людям. Как гориллы к этому относятся? Очевидно, если бы они были способны рассказать нам о нынешнем положении своего вида в сравнении с людьми, то сошлись бы на крайне негативном мнении. У их вида, в сущности, нет будущего, кроме того, которое мы ему позволим. Мы не хотим оказаться в аналогичной ситуации перед лицом сверхинтеллектуальных машин. Я называю это «проблемой гориллы»: сумеют ли люди сохранить превосходство и автономию в мире, включающем машины с существенно более высоким интеллектом?

Чарльз Бэббидж и Ада Лавлейс, разработавшие и написавшие программы для аналитической машины в 1842 г., сознавали ее потенциал, но, по-видимому, не беспокоились из-за этого