Ник Востром.
Экзистенциальные риски:
анализ сценариев исчезновения человечества.
Категории классификации экзистенциальных рисков
Взрыв — разумная жизнь земного происхождения исчезает вследствие относительно внезапной катастрофы, связанной или со случайностью, или с намеренным актом уничтожения.
Визг — достигнута некая форма постчеловечества, но в чрезвычайно узкой форме, чем было бы желательно и возможно.
Хныканье — постчеловеческая цивилизация возникает, но развивается в направлении, которое постепенно, но необратимо ведет или к полному исчезновению вещей, которые мы ценим, или к состоянию, когда эти вещи доступны лишь в минимальной степени.
Хруст — потенциал развития человечества в постчеловечество перманентно потерян, хотя его существование в той или иной форме продолжается.
www.nickbostrom.com
/existential/risks.html
Но насколько вероятно, что ИскИн преодолеет весь огромный разрыв от амебы до деревенского дурачка, а затем остановится на уровне человеческого гения?
Физически возможно построить мозг, вычисляющий в миллион раз быстрее человеческого без уменьшения размера, без работы при низких температурах и без квантового компьютера. Если человеческий ум будет ускорен таким образом, субъективный год размышлений завершится за 31 физическую секунду во внешнем мире, а тысячелетие пролетит за восемь с половиной часов. Вернор Виндж назвал такие ускоренные умы «слабым сверхинтеллектом»: ум, думающий как человек, но гораздо быстрее.
Предположим, что возникнет чрезвычайно быстрый ум, располагающийся в сердцевине существующей в это время человеческой технологической цивилизации. Провалом воображения было бы сказать: «Неважно, как быстро он думает, он может влиять на мир только со скоростью своих манипуляций; он не может управлять машинами быстрее, чем приказывает работать человеческим рукам; поэтому быстрый ум — это не великая опасность». Нет такого закона природы, по которому физические операции должны тянуться секундами. Характерное время для молекулярных реакций измеряется в фемтосекундах, иногда в пикосекундах.
Представьте себе, что человечество было бы заперто в ящике и могло бы воздействовать на окружающий мир только посредством медленных движений щупалец пришельца или механических рук, которые бы двигались со скоростью несколько микрон в секунду. Тогда мы бы сконцентрировали всю нашу творческую силу на поисках наикратчайшего пути построения быстрых манипуляторов во внешнем мире. Размышляя о быстрых манипуляторах, немедленно вспоминаешь о молекулярной нанотехнологии — хотя могут быть и другие пути.