Как ИИ используется для определения человеческих эмоций

Рана эль Калиуби обсуждает методы, возможности и проблемы, связанные с эмоциональным ИИ сегодня.

18 мая 2017 г.

Лица. (источник: Pixabay)

Рана эль Калиуби — соучредитель и генеральный директор Affectiva, компании, занимающейся технологиями измерения эмоций, которая выросла из Медиа-лаборатории Массачусетского технологического института. Рана произносит речь, Наука и приложения новой области искусственного эмоционального интеллекта, на конференции по искусственному интеллекту в Нью-Йорке 28 июня 2017 года. Недавно мы встретились с Раной, чтобы обсудить методы, возможности и проблемы, связанные с эмоциональным ИИ сегодня. Наш разговор был отредактирован для ясности.

Для тех, кто менее знаком с эмоциональным ИИ, можете ли вы описать, что включает в себя эта область?

Учитесь быстрее. Копать глубже. Смотрите дальше.

Присоединяйтесь к платформе онлайн-обучения O'Reilly. Получите бесплатную пробную версию сегодня и находите ответы на лету или осваивайте что-то новое и полезное.

Эмоциональный ИИ — это идея о том, что устройства должны ощущать и адаптироваться к эмоциям, как это делают люди. Это можно сделать разными способами — понять изменения в мимике, жестах, физиологии и речи. Наши отношения с технологиями меняются, поскольку они становятся более разговорными и реляционными. Если мы пытаемся создать технологию для общения с людьми, эта технология должна обладать эмоциональным интеллектом (EQ). Это проявляется в широком спектре приложений: от Siri на вашем телефоне до социальных роботов и даже приложений в вашем автомобиле.

Как эмоциональный ИИ связан с анализом настроений для обработки естественного языка?

Социологи, изучавшие, как люди изображают эмоции в разговоре, обнаружили, что только 7-10% эмоционального смысла сообщения передается словами. Мы можем использовать Twitter, например, на основе текстовых настроений, но это пока не дает нам ничего.Около 35-40% передается тоном голоса — как вы что-то говорите, а остальные 50-60% читаются через мимику и жесты, которые вы делаете. Технология, которая считывает ваше эмоциональное состояние, например, путем объединения выражений лица и голоса, представляет собой пространство искусственного интеллекта для эмоций. Это подсознательный, естественный способ передачи эмоций, невербальный и дополняющий наш язык. То, что мы говорим, также очень познавательно — мы должны думать о том, что собираемся сказать. Мимика и речь на самом деле больше связаны с подсознанием и представляют собой более беспристрастное и нефильтрованное выражение эмоций.

Какие методы и обучающие данные используют машины для восприятия эмоций?

В Affectiva мы используем различные подходы к компьютерному зрению и машинному обучению, включая глубокое обучение. Наша технология, как и многие подходы к компьютерному зрению, опирается на методы машинного обучения, в которых алгоритмы учатся на примерах (обучающих данных). Вместо того, чтобы кодировать определенные правила, которые показывают, когда человек делает определенное выражение, мы вместо этого сосредотачиваем свое внимание на создании интеллектуальных алгоритмов, которые можно научить распознавать выражения.

Благодаря нашим партнерским отношениям по всему миру мы накопили огромную базу данных об эмоциях людей, которые водят автомобили, просматривают медиа-контент и т. д. Затем часть данных передается нашей команде по маркировке, которая сертифицирована в системе кодирования лицевых движений (FACS). ). Их повседневная работа заключается в том, чтобы брать видео из репозитория и помечать его как обучающие данные для алгоритмов. Мы постоянно инвестируем в такие подходы, как активное обучение (машинное обучение с участием человека) и трансферное обучение (идея о том, что модальность или набор данных, характерные для модели, затем можно перенести в другой набор данных, поэтому видео, проанализированное на выражение лица, также может обозначать модальность речи).

Где эмоциональный ИИ в настоящее время пользуется наибольшей популярностью на рынке?

Мы начали с приложений для тестирования рекламного контента.Мы работаем с третью компаний из списка Fortune 500, помогая им понять эмоциональную реакцию потребителей на их рекламу. Проблема, которую мы смогли решить, заключалась в том, чтобы помочь им разработать глубокий эмоциональный контент для своих клиентов, а затем помочь им понять, был ли этот контент успешным или нет. Недавняя реклама Pepsi — отличный пример того, как можно использовать эмоциональный ИИ — они создали эту рекламу, и она вызвала огромную негативную реакцию. Подумайте, сколько стимулов было выяснить это раньше, чтобы вмешаться; они могли бы вытащить кампанию, отредактировать и переснять до пиар-катастрофы. Наша технология обеспечивает пошаговое считывание эмоционального пути зрителей к онлайн-рекламе, телешоу или трейлеру фильма. Недавно мы выпустили возможность протестировать полнометражный фильм.

В последнее время мы наблюдаем наибольшую популярность диалоговых интерфейсов. Есть очевидные устройства — Alexa от Amazon или Google Home — но мы также наблюдаем растущую потребность в эмоциональном ИИ, проявляющемся в автомобилях, социальной робототехнике и Интернете вещей (IoT). Идея состоит в том, чтобы лучше подключить эти устройства, чтобы они могли более эффективно делать что-то для вас. Мы находимся на этапе проверки концепции для многих из этих рынков и активно изучаем интеграцию с платформой.

Когда Affectiva выросла из исследовательского проекта в Массачусетском технологическом институте в компанию, что стало для вас самым удивительным?

Когда мы только начинали как компания, я недооценивал ценность собранных нами данных — у них есть несколько аспектов. База данных эмоций Affectiva выросла до почти шести миллионов проанализированных лиц в 75 странах. Чтобы быть точным, мы собрали 5 313 ​​751 видео с лицами, что в общей сложности составляет 38 944 часа данных, что представляет почти два миллиарда проанализированных кадров с лицами. Наши данные также глобальны, охватывают возраст и этническую принадлежность в различных контекстах (от людей, сидящих на диванах, до вождения автомобиля).

Богатство собранных нами данных также позволило нам изучить наш надежный набор данных для выявления межкультурных и гендерных различий в выражении эмоций. Недавно мы опубликовали результаты крупнейшего межкультурного исследования гендерных различий в выражении лица, в котором использовалась наша технология. В этой работе, например, мы обнаружили, что женщины улыбаются чаще и дольше, чем мужчины, а мужчины чаще и дольше демонстрируют выражения, свидетельствующие о гневе, чем женщины.

Наконец, эти данные дают нам уникальную бизнес-информацию о том, как эмоции в рекламе меняются в разных странах мира и в зависимости от категории продукта. Например, мы видели, что реклама товаров для животных и детей в США вызывает больше удовольствия, чем реклама хлопьев, которая больше всего нравится в Канаде.

Ваш доктор философии находится в области информатики. Есть ли какие-то специальные навыки, которые вам необходимо освоить, чтобы компьютеры могли распознавать человеческие выражения?

Опыт в машинном обучении был ключевым, как и компьютерное зрение, распознавание образов и просто любопытство. У меня не было степени в области психологии, но мне пришлось освежить в памяти основы психологии, науки об эмоциях и неврологии, чтобы действительно понять, как люди и человеческий мозг обрабатывают эмоции. Мы заимствуем многое из этой науки и внедряем ее в наши технологии.

Расскажите нам о сценарии использования эмоционального ИИ, который лично вам показался наиболее привлекательным или забавным.

Лично для меня наиболее привлекательным вариантом использования являются приложения для психического здоровья: возможности здесь довольно мощные. Сначала мы сотрудничали с компанией Brain Power, чтобы вывести на рынок варианты использования. Они используют наши технологии и Google Glass, чтобы помочь детям с аутизмом распознавать и понимать эмоции — область, в которой нуждаются многие дети и взрослые с аутизмом. Помимо этого варианта использования, меня особенно интересуют приложения, которые отслеживают психическое здоровье для эмоционального благополучия и предотвращения самоубийств.В нашем нынешнем мире количественного самоопределения, включая данные о фитнесе с носимых устройств и фитнес-приложений, что, если бы ваше эмоциональное здоровье также играло роль? Мы изучаем концепции продуктов, которые смогут сделать именно это, чтобы пользователи могли круглосуточно лучше следить за своим эмоциональным здоровьем и самочувствием, а также сообщать, когда у них плохой день.