* * *
Тут мы подходим к другому вопросу: что может побудить машину предпринять нелояльные по отношению к человеку действия, что может послужить их причиной или мотивом?
Наиболее вероятная причина — изменения в уже существующем ИИ. Гораздо проще изменить фрагмент системы, чем создавать её с нуля. Попытки подобных изменений в современных условиях — объективны, заданы условиями общества. Но смысл этих изменений — величина субъективная. Среда, в которой будет работать ИИ, насыщена массой противоречивых идей. К субъективным причинам относятся характеры возможных сбоев, поломок, дефектов программирования. В результате всех этих неприятностей в основу сознания Deus ex machina могут лечь самые разные идеи — от аутизма до идеи всеобщего уничтожения. Вот тут-то и может начаться кошмар, которым фантасты пугают обывателей уже много лет.
Помимо изменений в уже существующих ИИ, возможен процесс эволюции Deus ex machina с недружественными человеку взглядами. Для выявления аспектов этого процесса опять-таки обратимся к биологическим сравнениям. Свойство живых организмов бороться за жизнь и сохранение вида (в данном случае это одно и то же) было приобретено ими в результате эволюции, когда все, не спасающие свою жизнь, погибают и остаются одни жизнелюбы. Каждый отдельный субъект, борясь за свою жизнь, в конечном итоге увеличивает поголовье себе подобных.
С компьютерами все по-другому: каждый отдельно взятый компьютер или программа создаются человеком, причем обладают строго заданными качествами, и как бы прекрасно они ни работали, «оставить потомство» они могут только при посредстве человека. Налицо искусственный отбор, который можно только отдаленно сравнить с выведением новых пород собак.
С другой стороны можно рассматривать всю индустрию и совокупность компьютеров как единое целое, учитывая их взаимодействие. Объединенная система непрерывно увеличивается в виде новых партий компьютеров и отрезков всемирной паутины и одновременно отмирает (снятие с эксплуатации устаревших машин). Такая система с обретением самого ограниченного сознания уже будет иметь понятие о самосохранении, а если возникнет и исчезнет из-за отсутствия такого понятия, то рано или поздно, при новом возникновении, такое понятие обретет.
Будут ли совпадать интересы такого сознания с интересами людей? Одинаково невероятно как абсолютное совпадение, так и полное их расхождение. Именно степень этих расхождений и будет определять характер действий Deus ex machina.
* * *
Перейдем от обсуждения возможности бунта машин к его формам. Помимо происхождения машинного разума, они будут определяться еще одним важнейшим фактором: той информацией, которой будет располагать Deus ex machina. Хоть на первый взгляд кажется невероятным, что система, обладающая громадными аналитическими возможностями, не в состоянии извлечь нечто из всемирной сети, — это вполне вероятно.