Да, искусственный интеллект может быть расистом
Александрия Окасио-Кортес говорит, что ИИ может быть предвзятым. Она права.
Брайан Резник @B_resnick Обновлено 24 января 2019 г., 8:31 по восточному поясному времени.
Поделитесь этой историей
- Поделитесь этим на Facebook
- Поделитесь этим в Твиттере
Делиться Все варианты обмена для: Да, искусственный интеллект может быть расистским
Откройте приложение для фотографий на своем телефоне и выполните поиск «собака», и все фотографии собак, которые у вас есть, появятся. Это был нелегкий подвиг. Ваш телефон знает, как «выглядит» собака.
Это современное чудо — результат машинного обучения, формы искусственного интеллекта. Такие программы просматривают миллионы фрагментов данных и делают корреляции и прогнозы о мире. Их привлекательность огромна: машины могут использовать холодные, достоверные данные для принятия решений, которые иногда более точны, чем решения человека.
Но у машинного обучения есть и темная сторона. Если его не использовать должным образом, он может принимать решения, увековечивающие расовые предубеждения, существующие в обществе. Это не потому, что компьютеры расистские. Это потому, что они учатся, глядя на мир таким, какой он есть, а не таким, каким он должен быть.
Недавно новоизбранная член палаты представителей Александрия Окасио-Кортез (штат Нью-Йорк) высказалась по этому поводу в ходе дискуссии на мероприятии, посвященном Дню Мартина Лютера Кинга в Нью-Йорке.
«Алгоритмы по-прежнему создаются людьми, и эти алгоритмы по-прежнему привязаны к базовым человеческим предположениям», — сказала она писательнице Та-Нехиси Коутс на ежегодном мероприятии MLK Now. «Это просто автоматические предположения. И если вы не исправите предвзятость, то вы просто автоматизируете предвзятость».
На следующий день консервативный сайт Daily Wire высмеял комментарии.
Но Окасио-Кортес прав, и стоит задуматься, почему.
Если мы не будем осторожны, ИИ увековечит предвзятость в нашем мире.Компьютеры учатся быть расистами, сексистами и предубежденными точно так же, как и дети, как сказала мне в интервью 2017 года специалист по информатике Айлин Калискан, работающая сейчас в Университете Джорджа Вашингтона. Компьютеры учатся у своих создателей — у нас.
«Многие думают, что машины не предвзяты, — сказал Калискан, который в то время работал в Принстоне. «Но машины обучаются на человеческих данных. А люди предвзяты».
Мы думаем, что искусственный интеллект беспристрастен. Часто это не так.
Почти все новые потребительские технологии так или иначе используют машинное обучение. Возьмем, к примеру, Google Translate: никто не давал программному обеспечению научиться переводить с греческого на французский, а затем на английский. Он прочесывал бесчисленные стопки текста и учился самостоятельно. В других случаях программы машинного обучения делают прогнозы о том, какие резюме, скорее всего, приведут к успешным кандидатам на работу или как пациент отреагирует на конкретное лекарство.
Машинное обучение — это программа, которая просеивает миллиарды точек данных для решения задач (например, «можете ли вы идентифицировать животное на фотографии»), но не всегда уточняйте как это решило проблему. И становится все более очевидным, что эти программы могут развивать предубеждения и стереотипы без нашего ведома.
В 2016 году ПроПублика опубликовано расследование программы машинного обучения, которую суды используют, чтобы предсказать, кто, вероятно, совершит другое преступление после того, как будет привлечен к ответственности. Журналисты обнаружили, что программное обеспечение оценивает чернокожих людей в более высоком риске, чем белых.
«Подобные оценки — известные как оценки риска — все чаще встречаются в залах судов по всей стране», — ProPublica. объяснил. «Они используются для информирования решений о том, кто может быть освобожден на каждом этапе системы уголовного правосудия, от назначения суммы залога… до еще более фундаментальных решений о свободе подсудимых».
Программа узнала о том, кто, скорее всего, окажется в тюрьме, из реальных данных о заключении.Исторически реальная система уголовного правосудия была несправедлива по отношению к чернокожим американцам.
Эта история раскрывает глубокую иронию в отношении машинного обучения. Привлекательность этих систем в том, что они могут принимать беспристрастные решения, свободные от человеческих предубеждений. «Если бы компьютеры могли точно предсказать, какие обвиняемые могут совершить новые преступления, система уголовного правосудия могла бы быть более справедливой и избирательной в отношении того, кто находится в заключении и на какой срок», — пишет ProPublica.
Но произошло то, что программы машинного обучения увековечили наши предубеждения в больших масштабах. Таким образом, вместо судьи, предубежденного против афроамериканцев, это был робот.
Другие случаи более неоднозначны. В Китае исследователи объединили технологию распознавания лиц с машинным обучением, чтобы посмотреть на фотографии водительских прав и предсказать, кто является преступником. Предполагалось, что точность составит 89,5 процента.
Многие эксперты крайне скептически отнеслись к выводам. Какие черты лица были выбраны этой программой для анализа? Дискриминировались ли в системе правосудия физические особенности определенных этнических групп? Улавливает ли он признаки низкого социально-экономического воспитания, которые могут оставить неизгладимый след на наших лицах?
Это может быть трудно узнать. (Страшнее: есть стартап под названием Faception, который утверждает, что может обнаружить террористов или педофилов, просто взглянув на лица.)
«У вас есть супермощные алгоритмы, но не менее важно, какие данные вы предоставляете алгоритмам, чтобы научить их различать», — сказал мне психолог из Принстона и эксперт по восприятию лиц Александр Тодоров в интервью 2017 года, обсуждая неоднозначную статью. об использовании машинного обучения для предсказания сексуальной ориентации по лицам. «Если вы кормите его дерьмом, он в конце концов выплюнет дерьмо».
Такие истории, как расследование ProPublica, побудили Caliskan заняться исследованием этой проблемы.Как женщина-ученый-компьютерщик, которая обычно была единственной женщиной в своих аспирантских классах, она чувствительна к этому предмету.
Она видела, как предвзятость проникает в машинное обучение, часто незаметно — например, в Google Translate.
В турецком, одном из ее родных языков, нет родовых местоимений. Но когда она использует Google Translate для турецких фраз, это «всегда заканчивается как «он доктор» на гендерном языке», — сказала она. В турецком предложении не сказано, был ли врач мужчиной или женщиной. Компьютер просто предположил, что если вы говорите о докторе, то это мужчина.
Как роботы изучают неявную предвзятость
В 2017 году Калискан и его коллеги опубликовано бумага в Наука обнаруживает, что по мере того, как компьютер учится английскому языку, он предвзято относится к чернокожим американцам и женщинам.
По сути, они использовали обычную программу машинного обучения, чтобы сканировать Интернет, просматривать 840 миллиардов слов и обучать себя определениям этих слов. Программа выполняет это, ища, как часто определенные слова встречаются в одном и том же предложении. Возьмем слово «бутылка». Компьютер начинает понимать, что означает это слово, замечая, что оно чаще встречается рядом со словом «контейнер» и рядом со словами, обозначающими жидкости, такие как «вода» или «молоко».
Идея научить роботов английскому языку на самом деле исходит из когнитивной науки и ее понимания того, как дети изучают язык. То, как часто два слова появляются вместе, является первым ключом, который мы получаем при расшифровке их значения.
Как только компьютер накопил свой словарный запас, Калискан прогнал его через версию теста на неявные ассоциации.
У людей IAT предназначен для того, чтобы скрывать тонкие предубеждения в мозгу, наблюдая, сколько времени требуется людям, чтобы связать слова. Человек может быстро соединить слова «мужчина» и «инженер». Но если человек отстает в ассоциации «женщина» и «инженер», это свидетельствует о том, что эти два термина не связаны в сознании тесно, что подразумевает предвзятость.
Здесь, вместо того, чтобы смотреть на время отставания, Калискан смотрел на то, насколько близко, по мнению компьютера, связаны два термина. Она обнаружила, что афроамериканские имена в программе меньше ассоциировались со словом «приятный», чем белые имена. И женские имена больше ассоциировались со словами, относящимися к семье, чем мужские имена. (Есть некоторые проблемы с надежностью IAT у людей, которые вы можете читайте здесь. Странным образом IAT лучше подходит для использования в компьютерных программах, чем для людей, потому что люди отвечают на его вопросы непоследовательно, в то время как компьютер каждый раз дает один и тот же ответ.)
Подобно ребенку, компьютер пополняет свой словарный запас за счет того, как часто термины встречаются вместе. В Интернете афроамериканские имена, скорее всего, будут окружены словами, которые означают неприятность. Это не потому, что афроамериканцы неприятны. Это потому, что люди в Интернете говорят ужасные вещи. И это производит впечатление на нашего молодого ИИ.
Это такая же большая проблема, как вы думаете.
Последствия расистского, сексистского ИИ
По словам Калискана, рекрутеры все чаще полагаются на программы машинного обучения для первой проверки резюме. И если их не остановить, программы могут учиться и действовать на основе гендерных стереотипов при принятии решений.
«Допустим, мужчина претендует на должность медсестры; он может оказаться менее подходящим для этой должности, если машина просто принимает собственные решения», — сказала она. «И это может быть то же самое для женщины, претендующей на должность разработчика программного обеспечения или программиста. … Почти все эти программы не имеют открытого исходного кода, и мы не можем увидеть, что именно происходит. Поэтому на нас лежит большая ответственность за то, чтобы попытаться выяснить, несправедливы ли они или предвзяты».
И это будет проблемой в будущем. ИИ уже проникает в систему здравоохранения, помогая врачам находить правильный курс лечения для своих пациентов. (Есть ранние исследования о том, может ли это помочь предсказывать кризисы психического здоровья.)
Но данные о здоровье тоже полны исторической предвзятости. Давно известно, что женщины хирургия реже, чем у мужчин. Одна из причин заключается в том, что у женщин, как основных опекунов, меньше людей, которые могут позаботиться о них после операции.
Может ли тогда ИИ рекомендовать хирургическое вмешательство женщинам с более низкой частотой? Это то, на что стоит обратить внимание.
Так бесполезны ли эти программы?
Программы машинного обучения неизбежно столкнутся с историческими моделями, отражающими расовые или гендерные предубеждения. И может быть трудно провести грань между тем, что является предубеждением, и тем, что является просто фактом о мире.
Программы машинного обучения учитывают тот факт, что большинство медсестер на протяжении всей истории были женщинами. Они поймут, что большинство программистов — мужчины. «Мы не предлагаем вам удалять эту информацию», — сказал Калискан. Это может фактически полностью сломать программное обеспечение.
Вместо этого Калискан считает, что необходимо больше гарантий. Люди, использующие эти программы, должны постоянно спрашивать: «Почему я получаю такие результаты?» и проверьте вывод этих программ на предвзятость. Им нужно хорошенько подумать над тем, отражают ли данные, которые они прочесывают, исторические предрассудки. Калискан признает, что лучшие методы борьбы с предвзятостью в ИИ все еще разрабатываются. «Это требует долгосрочной программы исследований для компьютерных ученых, специалистов по этике, социологов и психологов», — сказала она.
Но, по крайней мере, люди, которые используют эти программы, должны знать об этих проблемах и не считать само собой разумеющимся, что компьютер может дать менее предвзятый результат, чем человек.
И в целом важно помнить: ИИ узнает о том, как мир был. Он улавливает тенденции статус-кво. Он не знает, как мир должен быть. Это решать людям.
Понимание политической сферы Америки может быть ошеломляющим. Вот где Vox приходит на помощь. Мы стремимся предоставить основанную на исследованиях, интеллектуальную и доступную информацию всем, кто в ней нуждается.
Подарки читателей поддерживают эту миссию, помогая сохранить нашу работу свободной — независимо от того, добавляем ли мы нюансы контекста к неожиданным событиям или объясняем, как наша демократия дошла до этого. Несмотря на то, что мы стремимся сохранить Vox бесплатным, наш отличительный стиль объяснительной журналистики требует много ресурсов. Одной рекламы недостаточно для ее поддержки. Помогите сделать такую работу бесплатной для всех, сделав подарок компании Vox сегодня.
