SQ10. Каковы самые насущные опасности ИИ?

По мере того, как системы ИИ становятся все более полезными в реальных приложениях, они расширяют сферу своего применения, что приводит к увеличению рисков неправильного использования, чрезмерного использования и явных злоупотреблений. По мере расширения возможностей систем ИИ и их более полной интеграции в социальную инфраструктуру последствия утраты значимого контроля над ними становятся все более тревожными. 1 Новые исследовательские усилия направлены на переосмысление основ в этой области, чтобы сделать системы ИИ менее зависимыми от явных и часто неправильно определяемых целей. 2 Особенно очевидная опасность заключается в том, что ИИ может упростить создание машин, которые могут шпионить и даже убивать в больших масштабах. Но в настоящее время есть много других важных и более тонких опасностей.

В этой секции

Техно-решенизм

Одной из самых насущных опасностей ИИ является технорешенство, представление о том, что ИИ можно рассматривать как панацею, когда это всего лишь инструмент. 3 По мере того, как мы видим дальнейшие успехи ИИ, возрастает искушение применить процесс принятия решений с помощью ИИ ко всем социальным проблемам. Но технологии часто создают большие проблемы в процессе решения меньших. Например, системы, которые оптимизируют и автоматизируют применение социальных услуг, могут быстро стать негибкими и лишить доступа мигрантов или других лиц, оказавшихся между трещинами. 4

Когда есть выбор между алгоритмами и людьми, некоторые считают, что алгоритмы всегда будут менее предвзятым выбором. Тем не менее, в 2018 году Amazon сочла необходимым отказаться от проприетарного инструмента рекрутинга, потому что исторические данные, на которых он обучался, привели к созданию системы, которая систематически предвзято относилась к женщинам. 5 Автоматизированное принятие решений часто может воспроизводить, усугублять и даже усиливать предубеждения, которые мы хотели бы устранить.

На самом деле, технологии далеко не панацея, они могут создавать петли обратной связи, которые ухудшают дискриминацию. Алгоритмы рекомендаций, такие как рейтинг страницы Google, обучены определять и расставлять приоритеты для наиболее «релевантных» элементов на основе того, как другие пользователи взаимодействуют с ними.По мере того как предвзятые пользователи подают в алгоритм предвзятую информацию, он отвечает еще более предвзято, что расширяет понимание пользователей и углубляет их предвзятость и так далее. 6 Поскольку все технологии являются продуктом предвзятой системы, 7 недостатки техно-решения уходят глубоко: 8 творение ограничено ограничениями его создателя.

Опасности принятия статистической точки зрения на правосудие

Автоматизированное принятие решений может привести к искаженным результатам, которые воспроизводят и усиливают существующие предубеждения. Таким образом, потенциальная опасность заключается в том, что общественность принимает выводы, сделанные ИИ, как несомненные. Этот детерминистский подход к принятию решений ИИ может иметь тяжелые последствия как в криминальной среде, так и в сфере здравоохранения. Подходы на основе искусственного интеллекта, такие как PredPol, программное обеспечение, изначально разработанное Департаментом полиции Лос-Анджелеса и Калифорнийским университетом в Лос-Анджелесе, призванное помочь защитить одного из 33 граждан США, 9 предсказать, когда, где и как произойдет преступление. В тематическом исследовании одного города США, проведенном в 2016 году, было отмечено, что этот подход непропорционально прогнозирует преступления в районах с более высоким населением небелых жителей и жителей с низким доходом. 10 Когда в наборах данных непропорционально представлены низшие члены общества, вероятным результатом является вопиющая дискриминация.

Решения о приговоре все чаще принимаются проприетарными алгоритмами, которые пытаются оценить, совершит ли подсудимый преступления в будущем, что приводит к опасениям, что правосудие передается программному обеспечению. 11 По мере того, как ИИ становится все более способным анализировать все больше и больше факторов, которые могут коррелировать с предполагаемым риском ответчика, суды и общество в целом могут принять алгоритмическую вероятность за факт. Эта опасная реальность означает, что алгоритмическая оценка индивидуального риска для общества может быть интерпретирована другими как почти несомненный результат — вводящий в заблуждение результат, против которого предостерегали даже разработчики исходных инструментов.Несмотря на то, что система искусственного интеллекта, основанная на статистических данных, может быть построена так, чтобы сообщать о степени достоверности каждого прогноза, 12 нет никакой гарантии, что люди, использующие эти прогнозы, будут разумно их использовать. Принятие вероятности за уверенность означает, что прошлое всегда будет диктовать будущее.

В некоторых уголках общественного сознания существует аура нейтральности и беспристрастности, связанная с принятием решений ИИ, в результате чего системы воспринимаются как объективные, даже если они могут быть результатом предвзятых исторических решений или даже вопиющей дискриминации. Все аналитические данные основаны на некоторой степени интерпретации. В качестве конкретного примера, проверка инструмента для проверки резюме показала, что двумя основными факторами, которые он сильнее всего связывает с положительными результатами работы в будущем, были то, звали ли соискателя Джаред и играл ли он в лакросс в старшей школе. 13 Нежелательные предубеждения могут быть скрыты как за непрозрачным характером используемой технологии, так и за использованием заменителей, номинально невинных атрибутов, которые позволяют принять решение, которое является фундаментально предвзятым. Алгоритм, основанный на данных, в которых широко распространены гендерные, расовые, классовые и эйблистские предубеждения, может эффективно усиливать эти предубеждения, даже не идентифицируя их явно в коде.

Без прозрачности в отношении данных или алгоритмов ИИ, которые их интерпретируют, общественность может остаться в неведении относительно того, как принимаются решения, которые существенно влияют на их жизнь. Не имея адекватной информации для предъявления иска, люди могут потерять доступ как к надлежащей правовой процедуре, так и к возмещению ущерба, если они считают, что системы ИИ осудили их ненадлежащим или ошибочным образом. Большие пробелы в прецедентном праве делают применение Раздела VII — основной существующей правовой базы в США для дискриминации при приеме на работу — к делам об алгоритмической дискриминации невероятно сложным.Эти опасения усугубляются алгоритмами, которые выходят за рамки традиционных соображений, таких как кредитный рейтинг человека, и вместо этого учитывают любые и все переменные, коррелирующие с вероятностью того, что они являются безопасными инвестициями. Среди европейцев была показана статистически значимая корреляция между кредитным риском и тем, использует ли человек Mac или ПК, а также указывает ли он свое имя в своем адресе электронной почты, что, как оказалось, является косвенным показателем благосостояния. 14 Компании, которые используют такие атрибуты, даже если они действительно улучшают точность модели, могут нарушать закон, когда эти атрибуты также явно коррелируют с защищенным классом, таким как раса. Потеря автономии также может быть результатом созданных ИИ «информационных пузырей», которые узко ограничивают онлайн-опыт каждого человека до такой степени, что они не знают о существовании действительных альтернативных точек зрения.

Дезинформация и угроза демократии

Системы искусственного интеллекта используются для распространения дезинформации в Интернете, что дает им возможность стать угрозой демократии и инструментом фашизма. От дипфейковых видеороликов до онлайн-ботов, манипулирующих публичным дискурсом путем имитации консенсуса и распространения фейковых новостей 15, существует опасность того, что системы ИИ подорвут общественное доверие. Эта технология может быть использована преступниками, государствами-изгоями, идеологическими экстремистами или просто группами с особыми интересами для манипулирования людьми в целях получения экономической или политической выгоды. Дезинформация представляет серьезную угрозу для общества, поскольку она эффективно изменяет доказательства и манипулирует ими, создавая петли социальной обратной связи, которые подрывают любое чувство объективной истины. Споры о том, что реально, быстро перерастают в споры о том, кто решает, что реально, что приводит к пересмотру властных структур, которые часто служат укоренившимся интересам. 16

Дискриминация и риск в медицинских учреждениях

Хотя персонализированная медицина является хорошим потенциальным применением ИИ, существуют и опасности.Текущие бизнес-модели для медицинских приложений на основе ИИ, как правило, сосредоточены на создании единой системы, например, предсказателя износа, которую можно продать многим покупателям. Однако эти системы часто не делают обобщений за пределами своих обучающих данных. Даже различия в том, как упорядочиваются клинические тесты, могут сбить с толку предсказателей, и со временем точность системы часто будет ухудшаться по мере изменения практики. Клиницисты и администраторы недостаточно подготовлены для мониторинга и решения этих проблем, а недостаточное внимание к человеческому фактору интеграции ИИ привело к колебанию между недоверием к системе (игнорирование ее) и чрезмерным доверием к системе (доверие даже к ней). когда это неправильно), главная проблема отчета AI100 за 2016 год.

Эти опасения в целом вызывают беспокойство в среде высокого риска, которой является здравоохранение, и даже в большей степени, потому что маргинализированные группы населения — те, которые уже сталкиваются с дискриминацией со стороны системы здравоохранения как по структурным факторам (например, отсутствие доступа), так и по научным факторам (таким как рекомендации, которые были разработаны на основе испытаний на других популяциях) — могут потерять еще больше. Сегодня и в ближайшем будущем системы искусственного интеллекта, основанные на машинном обучении, будут использоваться для определения послеоперационных планов индивидуального обезболивания для некоторых пациентов, а для других — для прогнозирования вероятности развития у человека рака молочной железы. Алгоритмы ИИ играют роль в принятии решений, касающихся распределения органов, вакцин и других элементов здравоохранения. Предубеждения в этих подходах могут иметь буквально ставки жизни и смерти.

В 2019 году стало известно, что Optum, алгоритм медицинских услуг, используемый для определения того, какие пациенты могут получить дополнительную медицинскую помощь, демонстрирует фундаментальные расовые предубеждения. Разработчики системы позаботились о том, чтобы раса не учитывалась, но они также попросили алгоритм учитывать будущую стоимость пациента для системы здравоохранения.17 Несмотря на то, что эта характеристика предназначалась для того, чтобы уловить чувство строгости со стороны медицины, на самом деле она служила косвенным признаком расы: при контроле медицинских потребностей уход за чернокожими пациентами обходится в среднем на 1800 долларов в год меньше.

Каждый день разрабатываются новые технологии для лечения серьезных заболеваний. В недавнем исследовании было показано, что новый алгоритм, обученный для выявления меланомы, является более точным, чем врачи, но вероятность того, что алгоритм будет предвзятым в отношении чернокожих пациентов, значительна, поскольку алгоритм был обучен с использованием большинства светлокожих групп. 18 Ставки особенно высоки в отношении диагноза меланомы, где пятилетняя выживаемость на 17 процентных пунктов меньше для чернокожих американцев, чем для белых. В то время как технологии могут ставить более быстрые диагнозы и, таким образом, устранять этот разрыв в выживании, алгоритм машинного обучения хорош настолько, насколько хорош его набор данных. Неправильно обученный алгоритм может принести больше вреда, чем пользы для пациентов из группы риска, полностью пропустив рак или генерируя ложные срабатывания. По мере того, как новые алгоритмы насыщают рынок обещаниями медицинских чудес, упущение из виду предубеждений, укоренившихся в их результатах, может способствовать утрате человеческого биоразнообразия, поскольку людям, не включенным в первоначальные наборы данных, отказывают в надлежащем уходе. Хотя точный долгосрочный эффект алгоритмов в здравоохранении неизвестен, их способность воспроизводить предвзятость означает, что любой прогресс, который они производят для населения в совокупности — от диагностики до распределения ресурсов — может происходить за счет наиболее уязвимых.

[1] Брайан Кристиан, Проблема выравнивания: машинное обучение и человеческие ценности, WW Norton and Company, 2020 г.

[6] Сафия Умоджа Ноубл, Алгоритмы угнетения: как поисковые системы усиливают расизм, Пресс-служба Нью-Йоркского университета, 2018 г.

[7] Руха Бенджамин, Race After Technology: Инструменты аболиционистов для нового кодекса Джима, Политика, 2019