Почему ИИ не смог реализовать свой потенциал во время пандемии

Плохие наборы данных, встроенная предвзятость, человеческие ошибки и сложный глобальный контекст — все это привело к тому, что в критические моменты он не оправдал ожиданий.

• Бхаскар Чакраворти

• Бхаскар Чакраворти

17 марта 2022 г.

Марти Санс/Стокси
Твитнуть
Почта
Делиться
Сохранять
Получить PDF
Купить копии
Распечатать
Резюме.

Пандемия могла стать моментом, когда ИИ реализовал свой многообещающий потенциал. Произошла беспрецедентная конвергенция потребности в быстрых, основанных на фактических данных решениях и крупномасштабном решении проблем с наборами данных, поступающими из каждой страны мира. Вместо этого ИИ потерпел неудачу во множестве конкретных случаев, которые подчеркивают, где эта технология все еще слаба: неверные наборы данных, встроенная предвзятость и дискриминация, подверженность человеческим ошибкам и сложный, неравномерный глобальный контекст — все это привело к критическим сбоям. Но эти неудачи также дают уроки о том, как мы можем улучшить ИИ: 1) нам нужно найти новые способы сбора комплексных наборов данных и объединения данных из нескольких источников, 2) источники данных должны быть более разнообразными, 3) должны быть стимулы. быть согласованы для обеспечения более тесного сотрудничества между командами и системами, и 4) нам нужны международные правила для обмена данными.

Твитнуть
Почта
Делиться
Сохранять
Получить PDF
Купить копии
Распечатать

Пандемия Covid-19 стала идеальным моментом для того, чтобы ИИ буквально спас мир. Произошла беспрецедентная конвергенция потребности в быстрых, основанных на фактических данных решениях и крупномасштабном решении проблем с наборами данных, поступающими из каждой страны мира. Для систем здравоохранения, столкнувшихся с совершенно новым, быстро распространяющимся заболеванием, ИИ теоретически был идеальным инструментом. ИИ можно использовать для прогнозирования, повышения эффективности и высвобождения персонала за счет автоматизации; это может помочь быстро обрабатывать огромные объемы информации и принимать жизненно важные решения.

Или, по крайней мере, это была идея. Но на самом деле произошло то, что ИИ по большей части потерпел неудачу.

Несомненно, были разрозненные успехи. Внедрение автоматизации на розничных складах и в аэропортах; чат-боты взяли на себя обслуживание клиентов, поскольку работники были заблокированы; Решения с помощью ИИ помогли сузить выбор мест для испытаний вакцины или ускорить пересечение границы в Греции.

В целом, однако, в диагностике Covid, прогнозировании его течения среди населения и управлении уходом за теми, у кого есть симптомы, инструменты принятия решений на основе ИИ не сработали. Теперь, когда некоторая путаница в первые дни пандемии улеглась, пришло время подумать о том, как ИИ показал себя в своем собственном «тесте на Covid». Хотя это была упущенная возможность, этот опыт дает представление о том, как должны развиваться системы искусственного интеллекта, чтобы оправдать повышенные ожидания в отношении самой обсуждаемой технологии прошлого года.

Где ИИ потерпел неудачу

Поначалу все выглядело многообещающе. Машины превзошли людей, подняв раннее предупреждение о загадочном новом вирусе из Уханя, Китай. Система HealthMap Бостонской детской больницы, которая собирает онлайн-новости и социальные сети на предмет ранних сигналов о заболеваниях, вместе с канадским скребком новостей здравоохранения BlueDot уловила предупреждающие знаки. Алгоритм BlueDot даже предсказывал города, наиболее подверженные риску, если зараженные люди будут путешествовать, за все дни до ВОЗ и за недели до того, как остальная часть мира догонит их.

Когда в 2020 году мир официально закрылся, стало ясно, что вклад ИИ, который изменит правила игры, будет заключаться в быстром прогнозировании — диагностике, прогнозировании и прогнозировании распространения возникающей неизвестной болезни, без простого способа своевременно проверить ее. путь.

Многочисленные команды с искусственным интеллектом мобилизовались, чтобы воспользоваться этой возможностью. Например, в нью-йоркской больнице Mount Sinai команда разработала систему искусственного интеллекта для быстрой диагностики Covid-19 с использованием алгоритмов, обученных на данных компьютерной томографии легких из Китая. Другая группа в Массачусетском технологическом институте создала диагностику, используя алгоритмы, обученные звукам кашля. Третья команда, созданная в сотрудничестве с Нью-Йоркским университетом и Китаем, использовала инструменты искусственного интеллекта, чтобы предсказать, у каких пациентов с Covid-19 разовьется тяжелое респираторное заболевание. Мы много лет слышали об преобразующем потенциале ИИ, и вдруг появилась возможность увидеть его в действии.

Итак, как же сработали эти предсказатели Covid на основе ИИ? Грубо говоря, они приземлились с глухим стуком. Систематический обзор в БМЖ инструментов для диагностики и прогнозирования Covid-19 обнаружили, что прогностическая эффективность в реальных клинических условиях была низкой. Другое исследование в Кембриджском университете более 400 инструментов с использованием моделей глубокого обучения для диагностики Covid-19, примененных к данным рентгенографии грудной клетки и компьютерной томографии, показало, что они совершенно непригодны для использования. Третье исследование, опубликованное в журнале, Природа, рассмотрел широкий спектр приложений, включая прогнозирование, обнаружение вспышек, мониторинг в режиме реального времени соблюдения рекомендаций общественного здравоохранения и реакцию на лечение, и обнаружил, что они не имеют практического применения.

Однако мы можем извлечь уроки из этих разочарований, когда будем готовиться к созданию более совершенного ИИ. Есть четыре места, где появились линии разлома: плохие наборы данных, автоматическая дискриминация, человеческие ошибки и сложный глобальный контекст. Хотя они относятся к решениям Covid-19, уроки широко применимы.

Опасность плохих наборов данных

Инструменты ИИ для принятия решений настолько хороши, насколько хороши данные, используемые для обучения базовых алгоритмов. Если наборы данных плохие, алгоритмы принимают плохие решения. В контексте Covid существует множество препятствий для сбора «хороших» наборов данных.

Во-первых, широта симптомов Covid подчеркнула сложность сбора полных наборов данных. Данные приходилось извлекать из множества разрозненных электронных медицинских карт, которые обычно хранились в разных институциональных системах и соответствующих им хранилищах. Мало того, что каждая система была отдельной, у них также были разные стандарты управления данными с несовместимыми политиками согласия и конфиденциальности. Эти проблемы усугублялись системами здравоохранения, охватывающими разные страны, с несовместимыми правилами конфиденциальности пациентов, управлением данными и локализацией, которые ограничивали массовое смешивание таких наборов данных.

Конечным результатом таких неполных и некачественных данных стало то, что они привели к плохим прогнозам, что сделало инструменты принятия решений ИИ ненадежными и ненадежными.

Вторая проблема возникла из-за способа сбора и хранения данных в клинических условиях. Совокупный подсчет случаев легче собрать, но в нем могут быть опущены ключевые детали истории болезни пациента и другие демографические, личные и социальные характеристики. Даже более подробные сведения о том, когда пациент подвергся воздействию, проявил симптомы и прошел тестирование, а также характер симптомов, тип инфекции, медицинские вмешательства и их результаты и т. д., важны для прогнозирования того, как вирус может распространять. Чтобы усугубить проблемы, некоторые наборы данных были объединены из нескольких источников, что привело к несоответствиям и избыточности.

В-третьих, исчерпывающий набор данных с подсказками о симптомах Covid, о том, как болезнь может распространяться, кто более или менее восприимчив и как лечить болезнь, должен быть получен из нескольких источников, учитывая ее новизну. В дополнение к данным из официальных учреждений здравоохранения существуют другие критически важные источники информации, наборы данных и анализы, важные для прогнозирования путей развития нового и возникающего заболевания. Такие дополнительные данные могут быть получены из нескольких хранилищ, эффективно используя опыт людей, борющихся с болезнью. Такие репозитории могут включать Twitter, профессиональные доски объявлений, анализы, сделанные профессионалами и любителями на платформах с открытым исходным кодом, медицинские журналы, блоги и новостные агентства. Конечно, когда вы учитываете так много разрозненных источников релевантных данных, процесс интеграции, исправление неправильной или дезинформации, исправление несоответствий и алгоритмы обучения усложняют создание полного набора данных.

Автоматическая дискриминация

Даже когда были доступны данные, прогнозы и решения, рекомендованные алгоритмами управления здравоохранением, приводили к потенциально крайне дискриминационным решениям — и опасениям, что некоторые пациенты получали худшее лечение.Это связано с тем, что наборы данных, использованные для обучения алгоритмов, отражали записи исторических аномалий и несправедливостей: более низкие уровни доступа к качественному медицинскому обслуживанию; неправильные и неполные записи; и глубоко укоренившееся недоверие к системе здравоохранения, из-за которого некоторые группы избегали ее.

Существуют серьезные опасения по поводу негативных последствий предвзятости ИИ, но во время пандемии последствия такой предвзятости были серьезными. Например, рассмотрим исследование, проведенное до появления Covid в Наука это показало, что чернокожим пациентам алгоритм присваивал тот же уровень риска, что и белым пациентам, хотя последние были не так больны, что приводило к неадекватному медицинскому обслуживанию чернокожих пациентов. Забегая вперед, поскольку у чернокожих и латиноамериканских пациентов с Covid-19 уровень смертности выше, чем у белых пациентов, алгоритмы, обученные на таких данных, могут рекомендовать больницам перенаправить свои скудные ресурсы с чернокожих и латиноамериканских пациентов.

Конечное влияние такой автоматической дискриминации еще более искажает, если учесть, что эти обездоленные группы также непропорционально сильно пострадали от наиболее тяжелых случаев Covid-19 — в США чернокожие, латиноамериканцы и коренные американцы примерно в два раза чаще умирают от болезни как белые пациенты.

Человеческая ошибка

Качество любой системы искусственного интеллекта нельзя отделить от людей и организаций. Поведение, от выбора используемых приложений и наборов данных до интерпретации решений, формируется стимулами и организационным контекстом.

Неправильные стимулы могут быть большой проблемой. У менеджеров, контролирующих системы здравоохранения, часто было мало стимулов для обмена данными о пациентах — данные могли быть связаны с доходами или их обмен мог вызвать опасения по поводу конфиденциальности пациентов. Для исследователей вознаграждение часто было связано с обменом данными с некоторыми избранными сторонами, но не со всеми.Более того, было мало карьерных стимулов для подтверждения существующих результатов, поскольку получение новых результатов приносит больше пользы, чем повторение или подтверждение других исследований. Это означает, что результаты исследования, возможно, не применялись в достаточно широком диапазоне условий, что делало их ненадежными или непригодными для использования и заставляло лиц, осуществляющих уход, колебаться в использовании инструментов, которые не были проверены в различных условиях. Особенно рискованно экспериментировать со здоровьем человека.

Затем возникает проблема с ошибками ввода данных. Большая часть данных, собранных о Covid-19, касалась условий, в которых медицинские работники работали в условиях стресса и чрезвычайно большой нагрузки. Возможно, это способствовало неправильной маркировке и неполным наборам данных — ошибки обнаруживались даже в свидетельствах о смерти. Во многих странах системы здравоохранения занижали случаи Covid-19 либо потому, что к этому их побуждали власти, либо из-за нечетких инструкций, либо просто из-за перегруженности персонала.

Даже имея под рукой инструменты ИИ, людям, ответственным за принятие решений, часто не хватало важных интерпретационных способностей — от языка до понимания контекста или способности выявлять предубеждения и ошибки. На данный момент не существует общепринятого этического кодекса или контрольного списка, который давал бы лицам, осуществляющим уход, представление о том, когда следует применять инструменты ИИ, а когда уменьшать вред с помощью суждений. Это может привести к непоследовательному или неправильному использованию инструментов ИИ и в конечном итоге подорвать доверие к ним.

Сложный и неравномерный глобальный контекст

Пандемия по определению затрагивает различные политические, экономические и социокультурные системы. Это усложняет процесс сбора всеобъемлющего набора данных, объединяющего данные по разным странам с широко применимыми уроками. Пандемия подчеркнула сложность разработки универсальных инструментов принятия решений для управления здоровьем человека во всех медицинских учреждениях, независимо от географического положения.Соответствующие медицинские вмешательства зависят от многих факторов, от биологических до институциональных, социально-политических и культурных сил и местной окружающей среды. Даже если многие аспекты биологии человека являются общими во всем мире, другие факторы сильно различаются.

Во-первых, в разных странах существуют различия в отношении их политики в отношении управления данными. Во многих странах действуют законы о локализации данных, которые запрещают передачу данных через границы. Нет международного консенсуса в отношении того, как следует обмениваться данными о здравоохранении. В то время как ранее существовавшая международная сеть для обмена данными о последовательностях генома гриппа была расширена за счет обмена последовательностями Covid-19, более тесное сотрудничество по обмену данными между странами могло бы помочь в текущем ведении болезни. Отсутствие более широких соглашений о совместном использовании и управления было критическим препятствием.

Во-вторых, существуют различия между развитыми и развивающимися странами в отношении обмена данными о здравоохранении. Некоторые исследователи утверждают, что последовательности генома должны публиковаться в открытых базах данных, чтобы можно было проводить крупномасштабный анализ. Другие беспокоятся об эксплуатации; они обеспокоены тем, что исследователи и учреждения из более бедных стран не получили должного признания, а преимущества обмена данными будут ограничены богатыми странами.

В-третьих, история и социально-политический контекст стран и их этические рамки для обмена данными даже среди их собственных граждан различны, что приводит к различиям в готовности к сбору, анализу и обмену личными данными для общественного использования. Рассмотрите разнообразный опыт работы с приложениями для идентификации контактов и отслеживания контактов с помощью ИИ.

Южная Корея представила экстремальный пример навязчивого сбора данных. В стране развернута технология отслеживания контактов вместе с массовым тестированием. Его приложения для отслеживания были объединены с видеозаписями с камер видеонаблюдения, путевыми и медицинскими записями, а также информацией о транзакциях по кредитным картам.Готовность корейцев терпеть такой уровень вторжения восходит к истории страны. Предыдущая администрация испортила свою реакцию на вспышку MERS в 2015 году, когда она не поделилась информацией о больницах, которые посещали инфицированные граждане. Это привело к общественной поддержке законодательства, предоставляющего органам здравоохранения доступ к данным о зараженных гражданах и право выдавать предупреждения. Напротив, приложение правительства Германии для отслеживания контактов было отвергнуто общественностью после того, как крайне критическое открытое письмо экспертов вызвало опасения по поводу государственной слежки. В результате Германия отказалась от централизованной модели в пользу децентрализованной альтернативы. Опять же, история дает объяснение. Немцы пережили два пресловутых режима слежки: гестапо во времена нацизма и штази во время холодной войны. Централизованному государственному сбору данных не суждено было стать популярным.

Наконец, данные о пациентах из одной страны могут не быть хорошими предикторами в других странах. Множество других факторов, таких как раса, демография, социально-экономические обстоятельства, качество медицинского обслуживания, уровень иммунитета, сопутствующие заболевания и т. д., имеют значение.

Что делать сейчас

Необходимо извлечь несколько уроков, которые могут помочь улучшить будущие системы искусственного интеллекта, которые должны быть готовы к следующей пандемии.

1) Найдите лучшие способы сбора комплексных наборов данных и объединения данных из нескольких источников.

Было бы полезно иметь наборы данных о здравоохранении в стандартизированных форматах в сочетании с механизмами для создания централизованных хранилищ данных. Следует также учитывать новые методы обработки данных. Примеры включают допущение дифференцированной конфиденциальности или использование синтетических данных, а не реальных данных, по мере совершенствования технологий, способствующих таким инновациям. Более того, проблема заключается не только в фрагментарности или неполноте данных; это также один из слишком большого количества данных.Трансмиссивность вируса, тот факт, что он постоянно мутирует, перемещение людей через границы и широкое использование геномного секвенирования означают, что системы ИИ должны справляться с потоком данных. Должны существовать системы, способные обрабатывать такие большие наборы данных, а также соответствующим образом маркировать и организовывать их.

2) Должно быть разнообразие источников данных.

Некоторые уроки можно извлечь из примера организации Nightingale Open Science, которая собрала 40 терабайт медицинских изображений по широкому спектру состояний и методов лечения, а также разнообразные данные о пациентах и ​​результаты. Они будут использоваться для обучения алгоритмов более раннему прогнозированию заболеваний, проведению сортировки и беспристрастному спасению жизней. Они пытаются работать с системами здравоохранения по всему миру, в том числе с недостаточно обеспеченными ресурсами, чтобы смягчить возможности недостаточного представительства и избежать автоматической дискриминации.

3) Стимулы должны быть согласованы, чтобы обеспечить более тесное сотрудничество между командами и системами.

Командам ИИ также должны быть предоставлены возможности и стимулы для сотрудничества с клиницистами и другими лицами, разбирающимися в практических вопросах. Также важно запланировать участие различных групп заинтересованных сторон в создании этических рамок и контрольных списков для специалистов-практиков, использующих ИИ в критически важных условиях, наряду с четкими процессами управления и подотчетности. В такие группы должны входить инженеры и технологи, эксперты в ключевых функциональных областях, а также специалисты по этике, которые могут направлять использование систем ИИ и их согласование с оценочными суждениями.

Обращение к сообществам с открытым исходным кодом — еще один способ совместной сборки данных из нескольких источников. Рабочая группа по открытым данным COVID-19, сеть MIDAS и другие местные совместные усилия предоставляют модели, которые могут воспроизводить другие. Предоставление возможностей для междисциплинарного сотрудничества может стать ключом к прорыву.Например, немецкая биотехнологическая компания BioNTech, которая впервые применила технологию мессенджерной РНК для вакцины Pfizer Covid-19, объединилась с лондонской компанией InstaDeep, специализирующейся на искусственном интеллекте, для создания «системы раннего предупреждения» для обнаружения новых вариантов коронавируса.

4) Напишите международные правила обмена данными.

Для обмена данными о здоровье между странами нам нужны международные конвенции, облегчающие объединение такой важной информации, и соглашения об обмене данными при сохранении конфиденциальности и конфиденциальности. Команды ИИ должны быть обучены распознавать различия в глобальной среде здравоохранения, чтобы они могли размещать данные из разных частей мира в соответствующем контексте.

По мере того, как эта пандемия становится эндемической, и мы готовимся к следующей, у ИИ появляется много возможностей оставить свой след. После того, как разрекламированный Google Flu Trends пропустил масштабы сезона гриппа 2013 года, Covid дал драматический шанс на искупление ИИ как инструмента прогнозирования. Но в нынешних неудачах лежат семена систем ИИ, которые могут процветать в будущем.