.
Вторая причина для оптимизма заключается в изобилии исходных данных для изучения человеческих предпочтений, а именно примеров человеческого поведения. Данные поступают не только в форме прямого наблюдения через видеокамеру, клавиатуру и тачскрин миллиардов машин, обменивающихся данными о миллиардах человек (разумеется, с ограничениями, связанными с конфиденциальностью), но и опосредованно. Самым очевидным типом косвенных данных является огромная летопись человечества: книги, фильмы, теле- и радиотрансляции, почти полностью посвященные тому, что люди делают (а другие люди из-за этого расстраиваются). Даже самые ранние и скучные шумерские и египетские хроники обмена медных чушек на мешки ячменя дают некоторое представление о человеческих предпочтениях в отношении различных товаров повседневного спроса.
Разумеется, определенные трудности сопутствуют интерпретации этих исходных данных, включающих пропаганду, вымысел, бред сумасшедших и даже заявления политиков и президентов, но, безусловно, у машины нет причин принимать это все за чистую монету. Машины могут и будут интерпретировать все коммуникации других разумных сущностей как шаги на игровом поле, а не как установленные факты. В некоторых играх, например на сотрудничество с участием одного человека и одной машины, у человека есть стимул быть правдивым, но во многих других ситуациях имеются стимулы к нечестности. Разумеется, честные или лживые, люди могут искренне заблуждаться.
Есть и другой тип косвенных данных, бросающихся в глаза: то, каким мы сделали мир[248]. Мы сделали его именно таким, потому что — очень сильно обобщая — он нравится нам таким. (Разумеется, он не совершенен!) Представьте теперь, что вы инопланетянин, оказавшийся на Земле, когда все люди уехали на выходные. Заглядывая в их дома, начнете ли вы понимать основы человеческих предпочтений? На полах лежат ковры, потому что нам нравится ходить по мягким теплым поверхностям и не нравятся громкие шаги; вазы стоят посреди столов, а не на краю, потому что мы не хотим, чтобы они упали и разбились, и т. д. — все, что не организовано самой природой, дает представление о том, что нравится и что не нравится странным двуногим созданиям, населяющим эту планету.
Вы можете заметить, что обещания Партнерства по развитию ИИ относительно кооперации в области обеспечения безопасности ИИ не слишком вдохновляют, если следите за прогрессом в области автономных автомобилей. Это остроконкурентная область по веским причинам. Первый производитель, который выпустит на рынок полностью автономное транспортное средство, получит гигантское рыночное преимущество; это преимущество будет развиваться, поскольку производитель сможет быстрее собирать больше данных для улучшения работы системы; компании, занимающиеся извозом, такие как Uber, будут быстро вытеснены из бизнеса, если другая компания выставит полностью автономные такси прежде самого Uber. Это повлечет за собой гонку с высокими ставками, в которой осмотрительность и тщательное конструирование, похоже, менее важны, чем шикарные выставки, переманивание специалистов и публичные показы несовершенных продуктов.