Если торговые автоматы будут запрограммированы заказывать самые прибыльные продукты, то обнаружат ли они поставщиков нелегальных товаров или наркотиков? (Хей, смотри-ка, автомат с конфетами продает экстази!) Что закон должен будет сделать с автоматом, если он случайно убьет человека? Для журнала Wired два хакера продемонстрировали, каким образом можно захватить систему управления в автомобиле Jeep Cherokee, когда он находится в пути. Автомобильный концерн Chrysler отреагировал отзывом 1,4 миллиона автомобилей и поставил в известность водителей, производителей и политиков[517] . Смогут ли террористы выяснить, как управлять умными устройствами так, чтобы они совершали непредвиденные действия, которые могут привести к разрушительным последствиям?
Есть также и другие сложности с предприятиями с распределенными моделями. Как общество управляет этими организациями? Как владельцы смогут контролировать их? Как мы предотвратим захват безличного бизнеса? Предположим, мы владеем децентрализованной хостинговой компанией, в которой каждый сервер имеет право голоса в управлении компанией. Хакер или какая-то вредоносная программа могут притвориться миллионом серверов и выбить законные серверы из сети. Если будут случаться подобные захваты традиционных компаний, то последствия могут быть очень разными. Когда этот вредитель получит контроль за нашей распределенной хостинговой компанией, он может потратить все ее сбережения. Или он может опубликовать данные других серверов, или держать данные «в заложниках» до тех пор, пока владельцы не заплатят выкуп.
Когда машины обретут разум и способность учиться, насколько быстро они станут независимыми? Решат ли беспилотники и роботы, к примеру, восстать против людей? По данным исследователей искусственного интеллекта, нас отделяют всего лишь годы, а не десятилетия от появления такого оружия. В июле 2015 года большая группа ученых и исследователей, среди которых были Стивен Хокинг, Илон Маск и Стив Возняк, подписали открытое письмо в поддержку запрета разработок автономного оружия для целей нападения, которое может действовать вне человеческого контроля[518] .
Решат ли беспилотники и роботы, к примеру, восстать против людей? По данным исследователей искусственного интеллекта, нас отделяют всего лишь годы, а не десятилетия от появления такого оружия.
«Для меня нет ничего более страшного, чем заголовок в газете «100 000 холодильников захватили Банк Америки, — говорит Винтон Серф, который широко известен как отец Интернета. — Это заставляет нас задуматься не только об основной безопасности и технологии защиты личных данных, но и о том, как в будущем совершенствовать устройства», — добавляет он и замечает, что вряд ли кому-то хочется провести все свои выходные, набивая IP-адреса для каждой единицы бытовой техники