Искусственный интеллект и бомба: ядерное командование и управление в эпоху алгоритмов
Примечание редактора: нижеследующее основано на статье автора, недавно опубликованной в Журнал стратегических исследований, озаглавленный «Делегирование принятия стратегических решений машинам: доктор Стрейнджлав Редукс?»
В 2016 году система AlphaGo от DeepMind на базе искусственного интеллекта победила профессионального гроссмейстера го Ли Седоля.Сообщается, что в одной игре ИИ-игрок удивил Седоля, сделав стратегический ход, который «ни один человек никогда не сделал бы». Три года спустя система AlphaStar от DeepMind победила одного из ведущих киберспортсменов мира в StarCraft II — сложной многопользовательской игре, действие которой происходит в реальном времени и в огромном пространстве действия с несколькими взаимодействующими сущностями. , точно так же человек-игрок вряд ли бы это сделал. Эти успехи поднимают важные вопросы: как и почему военные могут использовать ИИ не только для оптимизации отдельных и, казалось бы, обыденных задач, но и для улучшения принятия стратегических решений, особенно в контексте управления и контроля над ядерным оружием? И будут ли эти улучшения потенциально дестабилизирующий для атомного предприятия?
Предварительное делегирование ядерных решений машинам: скользкий путь
Системы искусственного интеллекта могут подорвать уверенность государств в своих возможностях нанесения ответного удара и потенциально повлиять на способность специалистов по планированию обороны контролировать начало военных действий, управлять их эскалацией и, в конечном итоге, прекращать вооруженный конфликт. Главный страх сосредоточен на двух взаимосвязанных проблемах: первая связана с потенциально экзистенциальными последствиями превосходства ИИ над человеческим интеллектом — представьте себе антиутопические образы, связанные с ТерминаторСкайнет. Второй подчеркивает возможные опасности, создаваемые машинами, которым не хватает человеческого сочувствия или других эмоциональных качеств и которые неуклонно оптимизируют заранее поставленные цели (или мотивированные будущие итерации, преследующие свои собственные) с неожиданными и непреднамеренными результатами — представьте что-то вроде Доктор Стрейнджлавмашина судного дня.
ИИ, функционирующий на более высоких скоростях, чем человеческое познание, и в сжатые сроки принятия решений, может, таким образом, все больше препятствовать способности — или «гениальности» Клаузевица — командиров формировать циклы действий и реакций, создаваемые автономными системами вооружения с ИИ.На данный момент среди государств, обладающих ядерным оружием, существует общее согласие в том, что, даже если технологические разработки позволяют, принятие решений, непосредственно влияющих на ядерное командование и управление, не должно быть делегировано заранее машинам — не в последнюю очередь из-за «объяснимости» (или интерпретируемости), проблемы прозрачности и непредсказуемости, связанные с алгоритмами машинного обучения.
Психологи продемонстрировали, что люди медленно доверяют информации, полученной с помощью алгоритмов (например, данным радаров и программам распознавания лиц). Однако по мере повышения надежности информации склонность доверять машинам возрастает — даже в тех случаях, когда появляются доказательства, свидетельствующие о том, что суждения машины неверны. Эта склонность людей — использовать автоматизацию (т. е. автоматизированные средства поддержки принятия решений) в качестве эвристической замены бдительного поиска информации, перекрестной проверки и адекватного надзора за обработкой — известна как «предвзятость автоматизации».
Несмотря на присущее людям недоверие к информации, генерируемой машинами, как только ИИ продемонстрирует очевидную способность участвовать и взаимодействовать в сложных военных ситуациях (например, в военных играх) на человеческом (или сверхчеловеческом) уровне, планировщики обороны, вероятно, станут более предрасположенными к просмотру сгенерированных решений. алгоритмами ИИ, аналогичными человеческим (или даже превосходящим их), даже если этим решениям не хватало убедительной «человеческой» рациональности, а вместо этого характеризовалась нечеткой «машинной» логикой. Эксперты в области искусственного интеллекта предсказывают, что к 2040 году системы искусственного интеллекта могут достичь этого порога, продемонстрировав способность играть в военные игры или упражнения на сверхчеловеческом уровне.
Человек в петле — не панацея
Исследования человеческой психологии показали, что люди предрасположены причинять вред другим, если об этом приказывают авторитетные лица.По мере того, как в вооруженных силах внедряются инструменты для принятия решений с поддержкой ИИ, люди-операторы могут начать рассматривать эти системы, в силу их сравнительно более высокого интеллекта, как агентов власти и, таким образом, быть более склонными следовать их рекомендациям, даже перед лицом опасности. информацию, указывающую на то, что им было бы разумнее этого не делать.
На эту предрасположенность, вероятно, будут влиять и, возможно, ускорять человеческое предубеждение, когнитивные слабости (особенно эвристика принятия решений), ложные предположения и врожденные антропоморфные тенденции человеческой психологии. Например, следователи армии США обнаружили, что предвзятость автоматизации была фактором братоубийственных инцидентов с ракетами Patriot в 2003 году, когда операторы по ошибке открыли огонь по дружественным самолетам в начале войны в Ираке.
Эксперты давно признали эпистемологическую и метафизическую путаницу, которая может возникнуть из-за ошибочного смешения человеческого и машинного интеллекта, что особенно важно в критически важных для безопасности областях с высоким риском, таких как ядерное предприятие. Кроме того, исследования показали, что люди предрасположены относиться к машинам, которые разделяют ориентированные на задачи обязанности, как к «членам команды» и во многих случаях проявляют такой же внутригрупповой фаворитизм, как и люди друг к другу.
Вопреки общепринятому мнению, участие человека в задачах принятия решений также, по-видимому, не снижает предвзятость автоматизации. Вместо этого сотрудничество человека и машины в мониторинге и разделении ответственности за принятие решений может привести к аналогичным психологическим эффектам, которые возникают, когда люди разделяют обязанности с другими людьми, в результате чего возникает «социальная лень» — большая склонность людей искать способы уменьшить свои собственные усилия. при дублированной работе в группе, чем при индивидуальной работе над задачей.
Снижение человеческих усилий и бдительности, вызванное этими тенденциями, может увеличить риск невынужденных ошибок и несчастных случаев.Кроме того, опора на решения автоматизации в сложных и интенсивных ситуациях может сделать людей менее внимательными к противоречивой информации или с большей вероятностью их игнорировать, и более предрасположенными к использованию автоматизации в качестве эвристической замены — сокращенного пути — для поиска информации.
Тип режима и ядерная дилемма ИИ
На решение автоматизировать ядерный потенциал также могут повлиять тип режима, политическая стабильность и легитимность, а также восприятие угрозы конкретным ядерным государством. Авторитарный режим, вооруженный ядерным оружием, — например, в Китае, Северной Корее или Пакистане, — который опасается внутреннего переворота или иностранного вмешательства, может решить автоматизировать свои ядерные силы, чтобы только небольшой круг доверенных лиц был вовлечен в ядерную войну. предприятие.
Например, во время холодной войны в Советском Союзе была разработана компьютерная программа, известная как ВРЯН, русская аббревиатура от «Внезапная ракетно-ядерная атака», предназначенная для уведомления советских руководителей о превентивном ядерном ударе США. Однако данные, которыми питалась система, часто были необъективными, и, таким образом, они приводили в действие петлю обратной связи, которая усиливала опасения Кремля, что Соединенные Штаты стремятся к превосходству в первом ударе.
В настоящее время Китай осуществляет строгий контроль над своими структурами управления ядерными боеголовками (например, разделением ядерных боеголовок и систем доставки), и данные не свидетельствуют о том, что Пекин заранее делегировал полномочия на запуск вниз по цепочке командования, если первый удар обезглавит ядерную боеголовку. лидерство. В качестве средства сохранения централизованных командно-административных структур и строгого надзора за применением ядерного оружия автоматизация с использованием ИИ может стать все более привлекательным вариантом для авторитарных режимов, таких как Китай.
Автократические государства также, вероятно, будут воспринимать намерения противника иначе, чем демократические, если есть уверенность в том, что политическое выживание (или легитимность) режима находится под угрозой, что может привести к тому, что лидеры будут рассматривать суждения по наихудшему сценарию и, таким образом, будут вести себя в соответствии с прогнозом. оскорбительными учеными-реалистами. Во время кризиса или конфликта эта оценка того, что на карту поставлено выживание режима — особенно когда потоки информации манипулируются или коммуникации скомпрометированы, — вероятно, повысит привлекательность повышения степени автоматизации в процессе командования и управления в надежде, что Таким образом, режим может оградить себя как от внутренних, так и от внешних угроз.
Недемократические лидеры, действующие в закрытых политических системах, таких как китайская, могут демонстрировать более высокую степень уверенности в своей способности реагировать на предполагаемые угрозы в международных отношениях. Предвзятость разведывательных служб недемократического режима, например, может исказить мнение лидеров об их позиции по отношению к противнику. Если по причинам, изложенным выше, режим решил включить ИИ в свою структуру управления ядерным оружием, такое искажение может в сочетании со сжатыми временными рамками принятия решений стать фундаментально дестабилизирующим фактором.
Короче говоря, недемократические ядерные государства с относительно централизованными командно-административными структурами, менее уверенные в живучести своего ядерного арсенала и те, чья политическая легитимность и стабильность режима зависят от всеобщего признания официальных нарративов и догм, вероятно, будут более убеждены достоинствами автоматизации и меньше озабочены потенциальными рисками — меньше всего этическими, человеческими познавательными или моральными проблемами — связанными с ней.
Хотя в китайских заявлениях на словах говорится о регулировании военного ИИ глобальными вооруженными силами, Китай уже демонстрирует готовность развернуть эту технологию, по крайней мере, в некоторых целях безопасности, реализуя ряд инициатив, связанных с ИИ (например, использование данных для социальное наблюдение для обеспечения системы оценки социального кредита и повсеместной технологии распознавания лиц), например, сосредоточены на влиянии на социальную стабильность и, в частности, усилиях по ограждению легитимности режима от потенциальных внутренних угроз. Напротив, и в контексте ядерного командования и управления политические процессы, меры подотчетности, протоколы ядерных пусков, ядерная стратегия и доктрина, зрелые гражданско-военные отношения и общие ценности между союзниками (например, Соединенными Штатами и их НАТО союзники) в демократических обществах должны сделать их менее предрасположенными — или, по крайней мере, более сдержанными — к использованию ИИ в ядерной области.
Технологические разработки заставляют стратегов бороться с миром, в котором управление и контроль над ядерным оружием может все чаще осуществляться с помощью ИИ. В некотором смысле, это представляет собой резкое изменение. Тем не менее рамки, в которых это изменение потенциально может произойти, в значительной степени соответствуют тем, которые определяли большую часть ядерной эры. Сегодня государства сталкиваются с противоречиями, дилеммами и компромиссами в отношении решения о том, следует ли интегрировать ИИ и автономию в ядерное предприятие — точно так же, как лидеры столкнулись в поисках стратегической стабильности, эффективного сдерживания и повышения безопасности в многополярном мире. ядерный мир в целом.
Джеймс Джонсон — научный сотрудник Центра исследований в области нераспространения им. Джеймса Мартина при Миддлберийском институте международных исследований в Монтерее. Его последний книжный проект называется Искусственный интеллект и будущее ведения войны: США, Китай и стратегическая стабильность. Твиттер: @James_SJohnson.
