Исследователи искусственного интеллекта осудили Amazon за продажу «предвзятой» технологии распознавания лиц полицейским

Технология распознавания лиц уже просачивалась в повседневную жизнь - от ваших фотографий на Facebook до скандалов в полицию - когда Джой Буоламвини заметил серьезный сбой: некоторые программы не могли обнаружить темнокожие лица, такие как ее.

Это открытие побудило исследователя Массачусетского технологического института запустить проект, который оказал огромное влияние на дебаты о том, как искусственный интеллект должен быть развернут в реальном мире.

Ее тесты на программном обеспечении, разработанном фирменными техническими фирмами, такими как Amazon, обнаружили гораздо более высокий уровень ошибок при классификации пола женщин с более темной кожей, чем мужчин со светлой кожей.

Попутно Буоламвини подтолкнула Microsoft и IBM к улучшению своих систем и раздражала Amazon , которая публично атаковала ее методы исследования. В среду группа ученых, занимающихся искусственным интеллектом, в том числе обладатель главного приза информатики, начала энергичную защиту своей работы и призвала Amazon прекратить продажу своего программного обеспечения для распознавания лиц полиции.

Ее работа также привлекла внимание политических лидеров в государственных домах и Конгрессе и побудила некоторых искать ограничения в использовании инструментов компьютерного зрения для анализа человеческих лиц.

«Должен быть выбор», - сказал Буоламвини, аспирант и исследователь медиа-лаборатории MIT. «Прямо сейчас происходит то, что эти технологии широко используются без надзора, часто скрытно, так что к тому времени, когда мы просыпаемся, уже слишком поздно».

Буоламвини не одинок в выражении осторожности в связи с быстрым внедрением распознавания лиц полицией, правительственными учреждениями и предприятиями от магазинов до жилых комплексов. Многие другие исследователи показали, как системы искусственного интеллекта, которые ищут шаблоны в огромных массивах данных, будут имитировать институциональные отклонения, заложенные в данные, которые они изучают. Например, если системы искусственного интеллекта разрабатываются с использованием изображений в основном белых мужчин, системы будут лучше всего распознавать белых людей.

Эти различия иногда могут быть вопросом жизни или смерти. Одно из недавних исследований систем компьютерного зрения, позволяющих автомобилям с автоматическим управлением «видеть» на дороге, показывает, что им труднее обнаружить пешеходов с более темными оттенками кожи.

То, что поразило отклик в работе Boulamwini, - это ее метод тестирования систем, созданных известными компаниями. Она применяет такие системы к шкале тонов кожи, используемой дерматологами, затем называет и стыдит те, которые демонстрируют расовую и гендерную предвзятость. Буоламвини, которая также основала коалицию ученых, активистов и других, называемую «Алгоритмической лигой справедливости», объединила свои научные исследования с активизмом.

«Это добавляет к растущему количеству доказательств того, что распознавание лиц по-разному влияет на разные группы», - сказал Шанкар Нараян из Американского союза гражданских свобод штата Вашингтон, где группа добивалась ограничений на технологию. «Работа Джой была частью формирования этой осведомленности».

Амазонка, чей генеральный директор Джефф Безос, она отправила электронное письмо прошлым летом, ответила агрессивным нацеливанием на ее методы исследования.

Исследование под руководством Buolamwini, опубликованное чуть более года назад, обнаружило несоответствие в том, как системы лицевого анализа, созданные IBM, Microsoft и китайской компанией Face Plus Plus, классифицируют людей по полу. Женщины с более темной кожей были самой неправильно классифицированной группой, с частотой ошибок до 34,7%. Напротив, максимальный коэффициент ошибок для мужчин со светлой кожей был менее 1%.

Исследование призвало к «срочному вниманию» для устранения предвзятости.

«Я ответил довольно быстро, - сказал Рухир Пури, главный научный сотрудник IBM Research, описав электронное письмо, которое он получил от Buolamwini в прошлом году.

С тех пор, по его словам, «это были очень плодотворные отношения», благодаря которым IBM представила в этом году новую базу данных на 1 миллион изображений для лучшего анализа разнообразия человеческих лиц. Предыдущие системы были чрезмерно зависимы от того, что Буоламвини называет «бледно-мужскими» хранилищами изображений.

Microsoft, у которой были самые низкие показатели ошибок, отказалась от комментариев. Сообщения, оставленные Megvii, которому принадлежит Face Plus Plus, не были немедленно возвращены.

Спустя месяцы после ее первого исследования, когда Буоламвини работала с исследователем Университета Торонто Иниолувой Деборой Раджи на последующем тесте, все три компании показали значительные улучшения.

Но на этот раз они также добавили Amazon, которая продала систему, которую она называет Rekognition, правоохранительным органам. Результаты, опубликованные в конце января, показали, что Amazon плохо идентифицирует темнокожих женщин.

«Мы были удивлены, увидев, что Amazon был там, где их конкуренты были год назад», - сказал Буоламвини.

Amazon отклонил то, что он назвал «ошибочными утверждениями» Буоламвини, и сказал, что исследование путало анализ лица с распознаванием лица, неправильно измеряя первое с помощью методов оценки последнего.

«Ответом на беспокойство по поводу новой технологии является не запуск« тестов », несовместимых с тем, как сервис предназначен для использования, и усиление ложных и вводящих в заблуждение выводов теста через средства массовой информации», - говорит Мэтт Вуд, генеральный менеджер по искусственному интеллекту. Отдел облачных вычислений Amazon, пишет в январском сообщении в блоге. Amazon отклонил запросы на интервью.

«Я не знала, что их реакция будет такой враждебной», - сказала недавно Буоламвини в интервью в своей лаборатории MIT.

На ее защиту в среду собралась коалиция исследователей, в том числе пионер искусственного интеллекта Йошуа Бенжио, недавний лауреат премии Тьюринга, которая рассматривала версию Нобелевской премии в области технологий.

Они подвергли критике реакцию Amazon, особенно ее различие между распознаванием лиц и анализом.

«В отличие от утверждений доктора Вуда, предвзятость, обнаруженная в одной системе, вызывает беспокойство в другой, особенно в случаях использования, которые могут серьезно повлиять на жизнь людей, таких как применение в правоохранительных органах», - пишут они.

Его немногие широко известные клиенты защищали систему Amazon.

Крис Адзима, старший аналитик по информационным системам в офисе шерифа округа Вашингтон в Орегоне, сказал, что агентство использует Rekognition от Amazon для выявления наиболее вероятных совпадений среди своей коллекции из примерно 350 000 снимков кружки. Но поскольку человек принимает окончательное решение, «предвзятость этой компьютерной системы не переходит ни в какие результаты, ни в какие-либо действия», - сказал Адзима.

Но все чаще у регуляторов и законодателей возникают сомнения. Двухпартийный законопроект в Конгрессе предусматривает ограничения на распознавание лиц. Законодательные органы в Вашингтоне и Массачусетсе рассматривают собственные законы.

Буоламвини сказала, что основной смысл ее исследования заключается в том, что системы искусственного интеллекта должны тщательно проверяться и постоянно контролироваться, если они собираются использоваться в обществе. Она сказала, что не только для проверки на точность, но и для того, чтобы не допустить злоупотребления распознаванием лиц для нарушения конфиденциальности или причинения другого вреда.