Никто не знает как работают самые современные алгоритмы, какими критериями они руководствуются при принятии решений. Это незнание может быть проблемой. Более того: не всегда формализированные правила позволяют принять лучшее решение. Иногда опыт и интуиция нужнее.

Человек, предотвративший ядерную войну

В ночь на 26 сентября 1983 года подполковник Станислав Петров услышал команду запуска ядерных ракет с американской военной базы. Согласно инструкции, Петров должен был поставить в известность руководство страны, чтобы то нанесло ответный удар. Однако проанализировав дополнительные факторы (псевдо-запуски были произведены только с одной установки), Петров посчитал, что произошло ложное срабатывание системы и оказался прав. Позже Станислав Петров стал известен как “человек, который предотвратил ядерную войну” и получил несколько зарубежных наград за этот случай.

Это как раз тот пример, когда не знания и четкое следование инструкции, а интуиция человека в буквальном смысле спасла мир от катастрофы.

Как учить искусственный интеллект

В последние годы много беспилотных автомобилей появлялось на дорогах американских городов. Одно из таких авто — экспериментальный автомобиль, разработанный исследователями из компании Nvidia. С одной стороны, он не отличается от других автономных автомобилей. Но в то же время это авто лучше других показало растущую мощь искусственного интеллекта. Автомобиль не следовал ни единой инструкции, предоставленной инженером или программистом. Вместо этого он полагался полностью на алгоритм, созданный им самим в результате наблюдения за тем, как человек водит автомобиль.

Можно сказать, что беспилотная машина от Nvidia – это первая в своем роде машина, научившаяся ездить исключительно по примеру человека.

Это впечатляющее достижение для искусственного интеллекта и серьезный шаг для самообучающихся алгоритмов. Однако осознание таких возможностей алгоритмов немного пугает. Ведь если машина руководствуется не четко определенными алгоритмами, сформулированными человеком, а собственными правилами и критериями, то нам не совсем понятно как именно она принимает свои решения. Информация от датчиков автомобиля поступает прямо в огромную сеть искусственных нейронов, которые обрабатывают данные, а затем получают команды, необходимые для работы рулевого колеса, тормозной и других систем.

В целом, поведение беспилотного авто практически не отличается от ситуации, если бы им руководил человек. Но что если в один прекрасный день алгоритм сделает что-то неожиданное, что повлечет за собой серьезные последствия, например, врежется в дерево или не тронется с места на зеленый свет?

Система настолько сложна, что даже разработавшие её инженеры не могут предугадать все её действия. Иными словами, нет очевидного способа создать такую систему, которая бы всегда могла объяснить, почему она сделала то, что она сделала и не сделала что-то другое. То, как работает такой автомобиль, демонстрирует важную проблему искусственного интеллекта: отсутствие понимания принципов его работы.

Основная технология искусственного интеллекта, известная как глубинное обучение, активно и успешно использовалась в последние годы для решения целого ряда проблем. Среди них — создание субтитров для фильмов, распознавание голоса, машинный перевод. Эти же методы глубинного обучения со временем смогут диагностировать смертельные болезни, вести торговлю акциями и зарабатывать на этом миллионы долларов.

Но этого не произойдет (или не должно произойти), если мы не найдем способ сделать глубинное обучение более понятным их создателям и подотчетным пользователям. В противном случае будет трудно угадать ситуации, когда может случиться сбой. Это одна из причин, по которой инновационный автомобиль Nvidia — пока только эксперимент.

Уже сегодня математические модели используются для решения вполне утилитарных задач, например, чтобы определить кто получит условно-досрочное освобождение, кому дадут кредит и кого возьмут на работу. Если бы вы могли получить доступ к этим алгоритмам, вы бы могли понять их способ мышления, их критерии принятия решений. Но пока глубинное обучение не позволяет этого сделать.

Тем не менее, необходимость понимания схемы работы алгоритмов озвучивается уже на законодательном уровне. Более того, есть мнения о том, что возможность допросить систему искусственного интеллекта о достижении конкретных выводов является фундаментальным юридическим правом. Начиная с лета 2018 года, Европейский союз готовится потребовать от компаний, использующих ИИ, предоставление объяснений насчет работы искусственного интеллекта и принятия решений.

Тем не менее, это требование может быть очень сложным для реализации и даже для очень простых сайтов, например, тех, которые используют глубокое обучение для показа рекламы или рекомендации песен.

Мы, люди, не всегда можем по-настоящему объяснить наши мыслительные процессы, но мы находим способы интуитивно доверять и понимать других людей. Будет ли это также возможно с машинами, которые думают и принимают решения иначе, чем люди? Мы никогда раньше не строили машины, которые работают так, что их создатели их не понимают. Насколько хорошо мы можем рассчитывать на понимание машин и алгоритмов, которые могут быть непредсказуемыми и непостижимыми?

Нейронные сети: четкий алгоритм или самообучение?

С самого начала развития искусственного интеллекта существовало два мнения о том, насколько понятным или объяснимым он должен быть. Одно мнение состояло в том, что нужно создавать машины, которые рассуждали бы по правилам и логике, а их внутренняя работа должна быть прозрачной для любого, кто может понять язык программирования. Другие считали, что интеллект будет легче проявляться, если бы машины работали так, как человек: учились, наблюдали и переживали. В этом случае код для управления искусственным интеллектом создает не программист, а сама программа генерирует свой собственный алгоритм на основе данных примера и желаемого результата. В этом лежит суть самообучающихся алгоритмов: в них машина, по сути, сама программирует себя. Именно так работает глубинное обучение. И именно этот второй подход стал главной причиной взрывного роста возможностей искусственного интеллекта. Глубинное обучение трансформировало компьютерное зрение и значительно улучшило машинный перевод. В настоящее время оно используется для принятия всех видов ключевых решений в медицине, финансах, производстве.

Но определенной платой за это стала непрозрачность таких систем. Так как отказаться от глубинного обучения сегодня нельзя, это означает затормозить развитие искусственного интеллекта, и в будущем ИИ будет оставаться условным “черным ящиком”.

Вы не можете просто заглянуть внутрь нейронной сети, чтобы увидеть, как она работает. Аргументация такой сети (критерии принятия ею решений, критерии выбора вариантов) встроена в поведение тысяч смоделированных нейронов, расположенных в десятках или даже сотнях сложно взаимосвязанных слоев. Количество взаимодействий этих нейронов просто огромно. И чем сложнее задача, которая решается с помощью ИИ, тем сложнее понять используемую при этом нейронную сеть. В какой-то момент такое понимание становится просто нереальным.

Научить человечности

Эксперты видят два возможных варианта развития сферы искусственного интеллекта. Более простой – на начальных этапах не допускать искусственный интеллект и нейронные сети к принятию важных решений, решений с серьезными последствиями, например, полностью самостоятельная постановка диагноза или построение военных маневров.

Но не стоит забывать, что и люди не всегда руководствуются исключительно инструкциями и четкими правилами. Мы знаем очень много примеров, когда человек действовал вопреки инструкции и оказывался прав.

В описанном в начале статьи случае со Станиславом Петровым можно было сформулировать критерии, по которым подполковник принял судьбоносное решение. На самом деле, есть множество примеров того, как необъяснимая и неизмеримая интуиция оказывается точнее даже самых четко прописанных инструкций и объяснимых причин для действий.

Многие аспекты человеческого поведения невозможно объяснить в деталях. Не исключено, что это станет со временем нормой и для искусственного интеллекта. Тогда нам придется просто научиться доверять искусственному интеллекту, предварительно обучив его социальным нормам и правилам этики. Подобно тому, как общество построено на основании договора ожидаемого поведения, человечеству придется научить искусственный интеллект уважать наши социальные нормы.

Если мы создаем умные машины для убийства, – роботизированные танки и самонаводящиеся пушки — то нам важно, чтобы они принимали решения в соответствии с нашими этическими суждениями. Иными словами, машину нужно будет научить человечности. Тогда можно будет попробовать доверять ее критериям.