Если общество не поймет коммерческих, политических, интеллектуальных и этических мотивов, движущих людьми, которые создают компьютерные программы, не осознает ограниченность автоматизированной обработки данных, то люди станут легкой мишенью для самых разнообразных манипуляций. Возникает риск, как говорит Латур, подменить человеческие намерения другими и даже не заметить этой подмены. Чем больше привыкают люди к технологиям, тем выше становится этот риск.
Одно дело, когда человек не замечает в доме водопроводных труб, исчезающих из поля зрения по мере того, как он привыкает к их присутствию и очень хорошо понимает их функции. Так происходит и с большинством технологий, ставших невидимыми в силу своей вездесущности. Их работа, ее смысл и принципы самоочевидны или, по меньшей мере, познаваемы. Эти технологии могут производить некоторые непредусмотренные конструкторами эффекты – например, квартирный водопровод и канализация изменили наши представления о гигиене и приватности естественных отправлений [38], но при этом ни одна из них не имеет скрытого второго дна.
С невидимостью информационных технологий дело обстоит совсем иначе. Компьютерные системы остаются абсолютно непроницаемыми. Программные коды скрыты от глаз, так как во многих случаях являются коммерческой тайной. Но даже если бы была возможность в них заглянуть, то очень немногие поняли бы, что они видят. Программы написаны на языке, неизвестном для большинства. Данные, введенные в алгоритмы, тоже скрыты и хранятся в отдаленных, тщательно охраняемых центрах. Мало кто знает о том, как собирают эти сведения, для чего они используются и кто имеет к ним доступ. Теперь, когда программы и информация находятся в облачных хранилищах, а не на жестких дисках персональных компьютеров, невозможно узнать, когда меняется работа системы. Приложение, которым все пользовались вчера, сегодня, возможно, стало совсем иным.
Современный мир всегда отличался сложностью. Разбитый на специализированные области разных навыков и знаний, опутанный экономическими и иными системами, он сопротивляется любым попыткам познать его как нечто целое. Но теперь происходит невиданное: начинает скрываться сама эта сложность. Она скрадывается простотой, искусственно созданной на экране, маскируется дружественным пользователю интерфейсом. Мы окружены тем, что политолог Лэнгдон Уиннер назвал «скрытой электронной сложностью», представляя ее так: «Отношения и связи, которые некогда были частью повседневного опыта и проявлялись в непосредственных взаимодействиях между людьми и предметами, теперь окутаны покровом абстракции» [39]. Когда непроницаемая и недоступная пониманию технология становится невидимой, люди должны проявить мудрость и настороженность, так как наступил момент, когда цели и намерения автоматизации начинают вытеснять наши желания и направлять действия. Человек перестает понимать, помогают ли ему компьютерные программы, или они им управляют.