court

Стоит ли на 100% доверять алгоритмам и действительно ли алгоритмы будут более беспристрастны в судах, нежели люди — однозначного ответа на эти вопросы нет. Более того: не всегда стоит прислушиваться к решениям, принятым машинами. Ведь критерии, которыми они руководствуются, не всегда идеальны, да и не всегда понятны. Джейсон Таше попытался разобраться в этом вопросе и понять, можем ли мы позволить машинам принимать решения за людей.

Доверяй навигатору, но проверяй

Опытные водители знают, что не всегда можно доверять GPS. Даже очень точный навигатор может показать кратчайшую, но далеко на самую лучшую дорогу. В американских горах Озарк есть шоссе, которое часто навигаторы предлагают водителям. Но ездить по нему откровенно опасно. Например, когда навигационные приложения строят маршрут из Спрингфилда, штат Миссури, в Кларксвиль, штат Арканзас, они рекомендуют трассу Арканзас 43. Их выбор понятен, ведь  эта дорога входит в кратчайший маршрут. Однако алгоритм работы GPS не учитывает другие факторы, особенно важные для водителей больших грузовиков. Большие перепады высот и крутые повороты, на фоне не идеальной дороги просто опасны для тяжелых автомобилей.

Screen Shot 2017-04-22 at 4.22.29 PM

Когда-то по этой дороге ездили и грузовики. Но из-за большого количества тяжелого транспорта дорога испортилась, а число инцидентов выросло.

Дальнобойщики, знакомые с регионом, знают, что другая дорога, Highway  7 – безопаснее. Однако алгоритм формирования маршрута в навигаторе не предлагает эту трассу изначально. Не владея дополнительными для принятия решения, GPS учитывает только факторы, которые были заложены при создании его алгоритма, один из них – длительность пути. Поэтому навигатор часто предлагает кратчайший путь, не владея другой информацией, например, о сложности выбранной трассы или о том, подходит ли она для конкретного вида транспорта. Иными словами, алгоритм работы навигатора формирует неполную или искаженную картину и предлагает ее водителю. А тот, согласившись на предложенный маршрут, может, в лучшем случае, потерять контроль над своим автомобилем, а в худшем – получить травмы на плохой дороге.

Алгоритмическая оценка риска: стоит ли верить?

Алгоритмы сегодня буквально пронизывают нашу жизнь. Они используются и в музыкальных рекомендациях, и в формировании кредитного рейтинга, и в советах о том, кого добавить в друзья на Facebook. Их глобальная цель – помочь людям в принятии решений. Однако принимая советы таких алгоритмов, мы хотим понимать, как они работают.

Такой контроль над алгоритмами и прозрачность их функционирования важны во всех сферах нашей жизни. Но есть одна сфера, где такая прозрачность особенно важна. Это система уголовного правосудия. Без достаточного уровня прозрачности алгоритмы, использующиеся в системе уголовного права, рискуют не только подорвать верховенство закона, но еще и ущемить индивидуальные права конкретных людей.

В настоящее время суды и исправительные учреждения в США используют алгоритмы для определения того, появится ли подсудимый в нужное время в суде, если он не находится в камере предварительного заключения. А также вероятность того, совершит ли человек еще одно преступление. Эти алгоритмические выводы используются при принятии решений о залоге и условно-досрочном освобождении.

Глобальная цель таких алгоритмов — увеличить точность принятия решений и убрать субъективные факторы, которые практически всегда присутствуют, если решение принимает человек.

Как правило, государственные органы не создают собственное ПО и не пишут свои собственные алгоритмы; они покупают их у частного бизнеса. Это часто означает, что алгоритм является чужой собственностью, эдаким “черным ящиком”, который понимают только его владельцы. А покупатели соглашаются его использовать, без полного понимания.

В настоящее время не существует федерального закона, который устанавливает стандарты работы таких программ или требует проверки этих инструментов. А такой механизм проверки был бы желателен, как, например, аналогичный тому, который использует FDA (управление по надзору за продуктами и лекарствами) для проверки новых медпрепаратов.

Цена алгоритмической ошибки

Отсутствие прозрачности работы алгоритмов уже сегодня имеет реальные последствия. В деле Висконсин против Лумиса обвиняемый Эрик Лумис был признан виновным в стрельбе из машины. Во время задержания Лумис ответил на ряд вопросов, которые затем были переданы в Compas – инструмент оценки риска, разработанный частной компанией и использующийся в Департаменте исправительных учреждений Висконсина.

Судья дал Лумису сравнительно большой срок частично из-за того, что алгоритм установил для него высокую степень риска в совершении повторного преступления. Лумис оспорил приговор, утверждая, что он не давал согласие на такую алгоритмическую оценку и что он не понимает сути работы приложения Compas. Летом прошлого года Лумис проиграл слушание в Верховном суде штата. Решение суда было аргументировано тем фактом, что знание о результате работы алгоритма было достаточным, чтобы понимать его суть.

Сохранение  алгоритма скрытым сделало применение этого инструмента для Лумиса и сотен других арестованных бесконтрольным. Это вызывающий беспокойство прецедент, поскольку сегодня технологии оценки риска развиваются от алгоритмов, которые можно оценить, таких как Compas, до непрозрачных нейронных сетей. Нейронные сети и алгоритмы глубинного обучения действуют так же,  как человеческий мозг. Поэтому они не могут быть прозрачными из-за самой своей природы. Нейронная сеть не программируется, связи в ней формируются самостоятельно, на основе полученных ранее знаний – ее предыдущего опыта. Этот процесс является скрытым и постоянно меняется. А это, в свою очередь, подвергает риску возможность судьи вынести полностью обоснованное решение и способность адвоката защищать своего клиента.

В качестве ответчика программист мог бы сообщить суду, как нейронная сеть была разработана, какие вводились данные и какие результаты были получены в каждом конкретном случае. Тем не менее, инженер не смог бы объяснить то, как программа принимает решение.

Возникает логичный вопрос: как с этими фактами, или их отсутствием судья может оценить надежность инструмента оценки риска, если он не может понять принцип принятия ним решений? Как может апелляционный суд узнать, какие факторы учла программа при оценке риска обвиняемого для общества?

Понять машину

Уже сейчас в системе правосудия используются базовые методы машинного обучения. Пока еще новая роль искусственного интеллекта в наших судах создает два потенциальных пути для уголовного правосудия: либо слепо разрешить продвижение технологии, либо создать мораторий на использование непрозрачного ИИ в оценке риска подозреваемых, пока не будут разработаны процедуры, которые позволят осмысленно изучить эти инструменты.

Юридическое сообщество никогда всерьез не обсуждало последствия алгоритмической оценки рисков. А использование машинного обучения и искусственного интеллекта не позволяет применять их, не зная всех принципов их работы, так как последствия могут быть весьма печальны.

А пока суды могли бы создать правила, регулирующие алгоритмическую оценку риска во время судебного разбирательства. Для этого нужно понимать принцип их работы. Одновременно с этим нужно будет научить адвокатов обращаться с новыми инструментами в суде.

Знать, что за поворотом

“Технология сама по себе не является ни хорошей, ни плохой. Но и нейтральной ее не назовешь” – так сформулировал первый закон развития технологий футурист и эксперт Мелвин Кранцберг. Комментируя этот закон, ученый подчеркнул, что у технологий часто есть социальные и гуманитарные последствия, причем одна и та же технология может иметь совершенно разные результаты в различных контекстах или при разных обстоятельствах. Поэтому только понимание сути того, как работает машина, позволит нам использовать ее результаты в таких местах, как суды.

В отличие от водителей, мы должны знать, что нас ждет за поворотом. Мы не можем позволить бесконтрольным алгоритмам слепо влиять на систему уголовного правосудия.