Самым потрясающим примером IRL в действии является работа моего коллеги Питера Эббила по обучению исполнению фигур высшего пилотажа на вертолете[259]. Опытные пилоты могут заставить модели вертолетов делать потрясающие трюки: петли, спирали, маятникообразные движения и т. д. Оказалось, что попытки копировать действия человека не приносят особого результата из-за невозможности точно воспроизвести условия — если повторять те же последовательности управляющих действий в других обстоятельствах, это может закончиться катастрофой. Вместо этого алгоритм изучает, чего хочет пилот, в форме ограничений траектории, движение по которой может осуществить. Этот подход дает даже лучшие результаты, чем у эксперта, поскольку у людей более медленная реакция и они постоянно совершают мелкие ошибки, которые вынуждены исправлять.
Метод IRL уже является важным инструментом создания эффективных ИИ-систем, но в нем делается ряд упрощающих допущений. Первое — что робот воспримет функцию вознаграждения, когда изучит ее путем наблюдения за человеком, следовательно, сможет выполнять то же задание. Это прекрасно работает в случае управления автомобилем или вертолетом, но не относится к питью кофе: робот, наблюдающий за моим утренним ритуалом, усвоит, что я (иногда) хочу кофе, но не научится сам его хотеть. Решить эту проблему легко — нужно лишь сделать так, чтобы робот ассоциировал предпочтения с человеком, а не с самим собой.
Второе упрощающее допущение IRL состоит в том, что робот наблюдает за человеком в ситуации «единственного принимающего решения агента». Например, предположим, что робот учится в медицинском институте, чтобы стать хирургом, наблюдая за специалистом. Алгоритмы IRL предполагают, что человек выполняет операцию обычным оптимальным способом, как если бы робота рядом не было. Однако это не так: хирург мотивирован помочь роботу (как и любому другому студенту) обучиться хорошо и быстро и соответственным образом меняет свое поведение. Он может объяснять свои действия, обращать внимание на ошибки, которые следует избегать, — скажем, делать слишком глубокий разрез или шить слишком туго, — может описывать манипуляции в нештатной ситуации, если во время операции что-нибудь случилось. Никакие из этих действий не имеют смысла, если выполняешь операцию без студентов, и алгоритмы IRL не смогут понять, какие предпочтения за ними стоят. Поэтому мы должны будем обобщить IRL, перейдя от ситуации одного агента к ситуации с множественными агентами, а именно — создать алгоритмы обучения, работающие в случае, когда человек и робот являются частью общей среды и взаимодействуют друг с другом.