«Появление самоуправляющегося автомобиля, – утверждает профессор психологии Нью-Йоркского университета Гэри Маркус, – лишит человека еще одной экологической ниши. Наступит новая эра, в которой машинам потребуются системы этических ценностей» [2]. Некоторые критики могут возразить, что она уже наступила. Медленно, но верно люди начали доверять компьютерам принятие морально значимых решений. Возьмем для примера широко разрекламированный пылесос-робот Roomba. Он не отличает комочки пыли от насекомых. Он сожрет и то и другое, не разбираясь в таких тонкостях. Если на пути Roomba окажется сверчок, то он засосет и его. Многие люди, пылесося квартиру, тоже едва ли обратят внимание на какую-то козявку, особенно если эта козявка – непрошеный гость в доме. Есть, однако, другие, которые остановятся, выключат пылесос, поднимут с пола сверчка и бережно вынесут за порог. (Последователи джайнизма, древней индийской религии, считают грехом причинение вреда любому живому существу.) Выпуская Roomba на ковер, мы предоставляем ему право принимать моральные решения от нашего имени. Газонокосилки-роботы, такие как LawnBott и Automower, несут смерть более совершенным проявлениям жизни – пресмыкающимся, земноводным и мелким млекопитающим. Большинство людей, увидев на лужайке жабу или полевую мышь, обычно щадят животных, а если случайно задевают их, то очень сожалеют о содеянном. Газонокосилки-роботы убивают, не испытывая угрызений совести.
До последнего времени дискуссии о нравственности роботов и других «разумных» машин носили чисто теоретический характер, становились сюжетами научно-фантастических романов или студенческих споров на философских факультетах. Этические моменты часто влияли на конструкции машин и механизмов. Оружие снабжали предохранителями, двигатели – регуляторами, поисковые системы – фильтрами, но от машин никогда не требовали совести. Им не нужно было приспосабливать работу к этическим капризам той или иной ситуации. Как только возникал вопрос об этической стороне применения машины, его решали люди. По мере того как роботы становятся все более умелыми и самостоятельными, они чаще неизбежно сталкиваются с ситуациями, в которых ни один выбор не может считаться правильным. Машинам придется, полагаясь только на себя, принимать решения. Невозможно механизировать сложную человеческую деятельность без автоматизации морального выбора.
Люди сами отнюдь этически не безупречны и часто совершают безнравственные поступки – иногда от беспомощности и безрассудства, иногда – преднамеренно. Это привело некоторых философов к мысли о том, что скорость, с какой роботы могут перебирать возможные решения, вычислять вероятности и взвешивать последствия, позволит машинам более рационально, чем человеку, подходить к выбору возможных действий. В этом взгляде есть зерно истины. В некоторых ситуациях, например там, где речь идет о деньгах и собственности, быстрое вычисление вероятностей оказывается достаточным для выбора действий, ведущих к оптимальному результату. Но вот другой пример: люди несутся через перекресток, когда желтый свет светофора меняется на красный, увеличивая тем самым вероятность дорожно-транспортного происшествия. Компьютер никогда не позволит себе такого опрометчивого действия. Моральные проблемы в большинстве своем намного сложнее. Попытка решить их математически приводит к фундаментальному вопросу: кто может определить «оптимальность» или «рациональность» того или иного действия в морально двусмысленной ситуации? Кто должен программировать совесть роботов? Их производители? Владельцы? Политики и законодатели? Может быть, философы? Страховые агенты?