15 просмотров

Как обучить искусственный интеллект, который не будет разрушать окружающую среду

Углеродный след машинного обучения больше, чем вы думаете.

Мелани Эренкранц — 04 ноября 2019 г., 15:30 по восточному поясному времени.

В последние годы произошел расплата, когда дело доходит до измерения предвзятости в машинном обучении.Теперь мы знаем, что эти «беспристрастные» автоматизированные инструменты на самом деле далеко не беспристрастны, и растет потребность в том, чтобы исследователи думали о том, как их продукты могут навредить или поставить под угрозу жизнь других людей, прежде чем они выпустят их в общество. Однако нам следует беспокоиться не только о конечных продуктах, но и о последствиях их создания. Тренировка этих алгоритмов может буквально отравить нашу планету.

Поскольку мир горит в лентах Facebook и на заднем дворе, углеродные следы даже самых безобидных вещей становятся объектом пристального внимания. Это вызвало споры вокруг кондиционеров, соломинок, скрабов для лица, пластиковых пакетов, авиаперелетов. Но есть и приземленные системы, которые незаметно управляют нашей жизнью и способствуют изменению климата — такие вещи, как спам-фильтры, сервисы перевода, ключевые слова поисковых систем и умные помощники.

Основой для этих сервисов является обработка естественного языка (NLP) — направление искусственного интеллекта, цель которого — научить машины понимать нюансы человеческого языка. Обучение этим языковым моделям ценным образом требует чудовищного количества вычислительной мощности и электричества. Простое использование инструментов, основанных на этой технологии, не поднимет мир (нет необходимости бойкотировать автозамену), но обучение мозгов, стоящих за этими инструментами, может нанести реальный ущерб окружающей среде, если промышленность и научные круги не примут более экологичные методы.

Исследование показало, что обучение только одной модели ИИ производит столько же эквивалента углекислого газа, сколько почти пять средних американских автомобилей выбрасывают в течение всего срока службы.

«Мы надеялись начать разговор о том, как мы, как сообщество, можем начать думать об эффективности, а не только о все большей и большей точности за счет всего остального», — Ананья Ганеш, соавтор недавней статьи об экологических последствиях. глубокого обучения, сказал мне.Ганеш входил в группу исследователей Массачусетского университета в Амхерсте, которая в июне опубликовала статью, в которой изучалось влияние этих моделей на окружающую среду. Исследование показало, что обучение только одной модели ИИ производит столько же эквивалента углекислого газа, сколько почти пять средних американских автомобилей выбрасывают в течение всего срока службы.

Статья в тему:  Как изучают искусственный интеллект в Индии

Выводы вызвали разногласия в сообществе экспертов по ИИ; в нем был рассмотрен только один очень конкретный пример обучения модели ИИ, который не обязательно используется большинством исследователей машинного обучения — обучение с нуля. Тем не менее, существовал основной консенсус в отношении того, что неотложная озабоченность по поводу вклада машинного обучения в изменение климата оправдана.

Саша Лучони, научный сотрудник Института искусственного интеллекта Милы в Квебеке, работала над таким инструментом, который поможет исследователям искусственного интеллекта оценить углеродный след своих моделей машинного обучения. Она признала, что документ Массачусетского университета был своего рода крайним случаем, потому что, в отличие от сценария, использованного в исследовании, «очень немногие люди» обучают свои модели с нуля, и большая часть обучения теперь проводится с использованием облачных сервисов таких компаний, как как Google, Amazon и Microsoft, которые в основном углеродно-нейтральны или движутся к этому. Но Лучони сказал мне, что исследование служит важным ключом к решающему разговору об энергоэффективности и искусственном интеллекте. «Важно говорить об этих проблемах и поднимать их в рамках стандартного разговора», — сказала она.

По словам Лучони, традиционно машинное обучение ограничивалось лабораторной деятельностью, поскольку оно вращается вокруг решения определенного набора данных или достижения определенного эталона. То, как обучение этих моделей влияет на мир за стенами лаборатории, глубоко не рассматривалось. «Сейчас все больше и больше это становится социальной проблемой», — сказала она. «Есть предвзятость, этика и справедливость, идут целые дебаты, а теперь начинаются и дебаты об энергии».

Этика по-прежнему является относительно новой темой для обсуждения в основных кругах машинного обучения — это даже не обязательный курс для большинства программ для выпускников — но основное внимание уделяется тому, как готовые продукты могут нанести вред уязвимым сообществам. (Например, было обнаружено, что алгоритм, продаваемый компанией, предоставляющей медицинские услуги, предвзято относится к чернокожим пациентам.) Но этические дебаты в области машинного обучения часто обходят разговоры об окружающей среде и влиянии процесса, который создает эти дефектные продукты.

Выполняя столько вычислений, не выбрасываем ли мы в атмосферу много углерода, которого в противном случае там не было бы?»

«До сих пор было приложено огромное количество усилий, чтобы попытаться выяснить, как мы разрабатываем лучшие алгоритмы для прогнозирования того, кто должен получить ссуду или кто должен получить залог, и этично ли, чтобы машины принимали эти решения», — Дэниел Ларремор, исследователь. — доцент кафедры компьютерных наук Колорадского университета в Боулдере. «Но есть еще одна этическая составляющая, касающаяся внешнего характера самих вычислений: выполняя так много вычислений, выбрасываем ли мы в атмосферу много углерода, которого в противном случае не было бы?»

Статья в тему:  На какие сферы влияет искусственный интеллект?

В прошлом месяце Лучони вместе с тремя другими исследователями в области ИИ представил документ под названием «Количественная оценка выбросов углерода при машинном обучении» на семинар по ИИ по изменению климата на конференции NeurIPS в Ванкувере, надеясь заставить исследователей по-настоящему заняться поиском души вокруг этого точного вопрос. Он представляет недавно разработанный командой калькулятор выбросов машинного обучения, который позволяет исследователям вводить данные об их оборудовании, времени выполнения и о том, предоставляет ли Google, Amazon или Microsoft сервер, необходимый для обучения их модели. Затем инструмент может генерировать предполагаемые выбросы необработанного углерода и компенсированные выбросы углерода.

Этот инструмент сам по себе не является решением для моделей обучения с низким энергопотреблением, но он может дать исследователям объективное представление об экологическом весе их решений.Например, выбор местоположения сервера напрямую влияет на объем выбросов углекислого газа. Такие места, как Канада и Калифорния, в основном питаются от возобновляемых источников энергии, по сравнению с огромным энергоемким центром обработки данных в Айове. В Северной Америке сервер в Квебеке может выбрасывать 20 г эквивалента углекислого газа по сравнению с сервером в Айове, выбрасывающим около 736 г, как показано в статье Лучони.

Лукас Бивальд, соучредитель Weights and Biases, основал свою компанию с учетом этого духа обмена. Компания Бивальда помогает людям делиться своими исследованиями друг с другом. Бивальд сказал, что трансферное обучение — когда одна компания выпускает модель, а другая может перенести ее в свои собственные данные — это новая популярная техника, которая впервые стала популярной в моделях зрения и с тех пор стала очень популярной в языковых моделях. «Так, например, Google может потратить миллионы часов вычислений на обучение модели, а затем опубликовать ее, а затем аналогичная компания может взять эту модель и просто провести несколько часов вычислений, перенеся знания в набор данных», — сказал Бивальд.

Статья в тему:  Как искусственный интеллект меняет физическую безопасность

Если крупные технологические компании с непревзойденными ресурсами, такие как Google, обязуются обеспечить прозрачность этих высококачественных моделей, это не только принесет пользу их коллегам в отрасли — это просочится к студентам-исследователям, у которых может не быть времени, вычислений и электроэнергии для работы. их собственные системы. Если технологические компании и исследователи не только публикуют свои статьи и код в Интернете, но и публикуют свои обученные модели, студентам не нужно беспокоиться об одном серьезном препятствии при построении этих моделей, поскольку им не нужно выяснять, как получить ресурсов для обучения их с нуля. Это означает, что затраты на обучение — как с финансовой, так и с экологической точки зрения — должны состояться только один раз.

Но то, что модели повторяют одни и те же операции снова и снова, — это лишь одно из соображений: в более общем плане трудно провести черту, по которой преимущества моделей перевешивают затраты. Некоторые из этих приложений, такие как моделирование климата и спутниковые изображения компьютерного зрения, даже предназначены для борьбы с изменением климата. Если кто-то проводит исследование рака, чтобы диагностировать рак молочной железы с помощью ультразвука, как вы решаете, сводят ли выбросы углерода для обучения этой модели ИИ на необходимость получения потенциально спасительных результатов? В то время как мораль, наконец, вошла в разговоры о готовых продуктах на основе ИИ, до недавнего времени она практически отсутствовала в разговорах о том, как эти продукты на самом деле обучаются и воплощаются в жизнь.

Статья в тему:  Рабочий лист о глобальном потеплении во что верит каждая сторона

«Мы не говорим людям: не излучайте, не тренируйте и не создавайте этот великолепный алгоритм», — сказал Лучони. «Мы просто пытаемся сказать, сравните затраты, экологические затраты и преимущества вашего алгоритма».

голоса
Рейтинг статьи
Ссылка на основную публикацию
Статьи c упоминанием слов:

0
Оставьте комментарий! Напишите, что думаете по поводу статьи.x