На пути к системе противодействия дезинформации на основе ИИ

Дезинформация стала определяющей чертой кризиса COVID-19. Поскольку боты социальных сетей (т. е. автоматические агенты, взаимодействующие с социальными сетями) почти в два раза активнее во время COVID-19, чем в прошлые кризисы и национальные выборы, государственный и частный секторы изо всех сил пытались справиться с быстрым распространением ложной информации о пандемии. Это высветило потребность в эффективных инновационных инструментах для выявления и укрепления институциональной и общественной устойчивости к дезинформации. Использование искусственного интеллекта (ИИ) представляет собой один из способов разработки и использования таких инструментов.

Чтобы дать целостную оценку возможностей системы противодействия дезинформации на основе ИИ, в этом блоге сначала обсуждаются различные роли, которые ИИ играет в усилиях по противодействию дезинформации. Затем в нем обсуждаются преобладающие недостатки инструментов противодействия дезинформации на основе ИИ, а также технические, управленческие и нормативные барьеры на пути их внедрения, а также способы их устранения для стимулирования внедрения решений на основе ИИ для противодействия дезинформации.

Обоюдоострый меч новых технологий и дезинформации

Новые технологии, включая ИИ, часто называют обоюдоострым мечом по отношению к информационным угрозам. С одной стороны, новые технологии могут создавать более изощренные информационные онлайн-угрозы и часто снижают входные барьеры для злоумышленников. С другой стороны, они могут предоставить значительные возможности для противодействия таким угрозам. Это было не менее верно в случае ИИ и дезинформации.

ИИ предоставляет различные возможности для усиления реагирования на все более изощренные и демократизированные угрозы дезинформации.

Хотя большая часть вредоносной информации в социальных сетях распространяется с помощью относительно простой технологии ботов, существующие данные свидетельствуют о том, что ИИ используется для более сложных методов онлайн-манипулирования.Степень использования ИИ в этом контексте трудно измерить, но многие эксперты по информационной безопасности считают, что ИИ уже используется злоумышленниками, например, для лучшего определения параметров атаки (например, «что атаковать, кого атаковать, [и] когда атаковать»). Это позволяет проводить более целенаправленные атаки и, следовательно, более эффективные информационные угрозы, включая кампании по дезинформации. Недавние достижения в методах ИИ, таких как обработка естественного языка (NLP) (PDF), также вызвали опасения, что ИИ может использоваться для создания более аутентичного синтетического текста (например, поддельных сообщений в социальных сетях, статей и документов). Более того, дипфейки (т. е. использование ИИ для создания высокоаутентичных и реалистично обработанных аудиовизуальных материалов) представляют собой яркий пример информационной угрозы с использованием ИИ на основе изображений.

ИИ также предоставляет различные возможности для усиления реагирования на все более изощренные и демократизированные угрозы дезинформации. Помимо повышенной точности, с которой модели ИИ могут выявлять фрагменты ложной или вводящей в заблуждение информации или распознавать тактику, используемую ботами социальных сетей для распространения дезинформации (например, применяемые ими риторические инструменты), модели ИИ также представляют собой более рентабельные средства противодействия дезинформации. за счет сокращения времени и ресурсов, необходимых для обнаружения. Решения на основе искусственного интеллекта были приняты, например, для выявления ботов в социальных сетях с помощью автоматического ( PDF ) обнаружения ботов или маркировки ботов (т. Е. Обнаружения и маркировки поддельных учетных записей в социальных сетях). Скорость и масштаб распространения дезинформации в социальных сетях также все больше затрудняют использование ручной проверки фактов, что указывает на то, что для эффективного решения проблемы дезинформации в социальных сетях действительно может потребоваться определенный уровень автоматизации.

ИИ также может сыграть важную роль в усилиях по укреплению более широкой институциональной и социальной устойчивости к дезинформации.Это может включать интеграцию обнаружения на основе ИИ в наборы инструментов и приложений, которые отмечают ложный или вводящий в заблуждение контент в социальных сетях для пользователей, а также знакомят их с различными методами манипулирования информацией, тем самым повышая цифровую грамотность.

Проблемы с производительностью ИИ и внедрением возможностей на основе ИИ

Хотя ИИ представляет собой невероятно мощный ресурс для противодействия дезинформации, существует несколько проблем и барьеров, которые до сих пор ограничивали использование инструментов противодействия дезинформации на основе ИИ.

Во-первых, технические ограничения существующих моделей ИИ для обнаружения новых фрагментов дезинформации означают, что обнаружение на основе ИИ остается в значительной степени ограниченным гибридными, человеко-машинными подходами, в которых люди, проверяющие факты, идентифицируют фрагмент дезинформации, и только после этого модель ИИ используется для обнаружения вариаций (т. е. идентичных или похожих постов) дезинформации. Facebook, например, использовал такой подход в борьбе с дезинформацией о COVID-19. Таким образом, разработка эффективных моделей ИИ, которые сами по себе способны обнаруживать новые фрагменты дезинформации, остается технически сложной задачей, требующей больших затрат времени и данных.

Потенциальная предвзятость алгоритмов, отсутствие прозрачности алгоритмов и интерпретируемость — серьезные проблемы для более широкого внедрения ИИ в борьбе с дезинформацией.

Во-вторых, потенциальная предвзятость алгоритмов, отсутствие прозрачности алгоритмов и интерпретируемость также были отмечены как серьезные проблемы для более широкого внедрения ИИ в целях борьбы с дезинформацией. В то время как инвестиции в область объяснимого искусственного интеллекта (XAI) (PDF) значительно возросли, многие модели ИИ по-прежнему строятся как решения «черного ящика» (PDF), т. е. модели, которые не позволяют разработчикам полностью интерпретировать процесс, посредством которого модель ИИ работает. Это вызвало опасения, что модели ИИ могут систематически воспроизводить предубеждения (PDF) (например, гендерные или расовые предубеждения) из данных, на которых они обучаются.В сочетании с вышеупомянутыми техническими проблемами это вызвало обеспокоенность по поводу потенциальных рисков модерации контента с поддержкой ИИ для свободы выражения мнений и множественности контента из-за ложных срабатываний, то есть ситуаций, в которых модели ИИ ошибочно отмечают законный контент как ложный или вводящий в заблуждение.

В-третьих, учреждениям часто не хватает институционального потенциала, чтобы использовать потенциальные возможности, предоставляемые инструментами на основе ИИ для противодействия дезинформации. Такой ограниченный институциональный потенциал может, например, включать отсутствие технических знаний для управления моделями ИИ, интерпретации их результатов и понимания их более широких последствий для политики и управления.

Приоритеты создания системы противодействия дезинформации на основе ИИ

Бесчисленные возможности использования ИИ для противодействия дезинформации могут потребовать от заинтересованных сторон рассмотрения действий по устранению описанных выше проблем и препятствий с помощью нормативных, технологических мер и мер по наращиванию потенциала. Эти меры могут быть ориентированы на три ключевых приоритета:

• Государственные заинтересованные стороны могут взаимодействовать с платформами и разработчиками технологий, чтобы определить приоритеты развития технологий для укрепления способности моделей ИИ распознавать контекстуальные нюансы в дискурсе социальных сетей и быстрее адаптироваться к распознаванию новых фрагментов дезинформации. Как показало предыдущее исследование RAND Europe, технологии лингвистической позиции могут предоставить значительные возможности в этом контексте за счет улучшения моделей обнаружения на основе ИИ путем анализа потенциально ложной или вводящей в заблуждение информации в контексте более широких риторических полей дискурса в социальных сетях.
• Разработка новых технических подходов к противодействию дезинформации, основанных на ИИ, могла бы быть достаточно «подготовленной к будущему» при рассмотрении потенциального воздействия системы противодействия дезинформации на основе ИИ на цифровые права человека, такие как свобода выражения мнений в Интернете.Он также может рассматривать внедрение ИИ как средство более комплексного реагирования на дезинформацию, а не как изолированное, чрезмерно ориентированное на технологии решение. Поэтому будущие усилия также могут быть направлены на повышение устойчивости общества к информационным угрозам за счет цифровой грамотности. Это может включать в себя улучшение понимания пользователями социальных сетей потенциального воздействия таких технологий, как ИИ, на контент в социальных сетях и укрепление их способности распознавать вредоносную информацию во время информированного общения с другими людьми.
• Интеграция ИИ в системы противодействия дезинформации может идти рука об руку с комплексным наращиванием организационного потенциала. Принятие более поверхностных, но поддающихся интерпретации моделей может, например, укрепить институциональный потенциал для использования моделей обнаружения дезинформации на основе ИИ. Помимо обнаружения, учреждения, особенно в государственном секторе, могут изучить специализированное обучение ИИ для технического персонала, чтобы иметь возможность использовать инновационные решения на основе ИИ для противодействия дезинформации.

Линда Слапакова — аналитик RAND Europe в области обороны и безопасности, специализирующаяся на новых технологиях, возникающих угрозах безопасности и информации, а также на кадровых и кадровых вопросах в сфере обороны. Она является соавтором книги «Человеко-машинное обнаружение вредоносной информации в Интернете» и предстоящего исследования прав человека в эпоху цифровых технологий.

Первоначально этот комментарий появился на Блог Гаагской дипломатии 24 марта 2021 г. Комментарий дает исследователям RAND платформу для передачи идей, основанных на их профессиональном опыте и часто на их рецензируемых исследованиях и анализе.

• Поделиться через фейсбук
• Поделиться в Твиттере
• Поделиться в LinkedIn