13 обязательных к прочтению статей от экспертов по искусственному интеллекту

После того, как список «лучших книг по ИИ» был так хорошо принят, мы связались с некоторыми членами нашего сообщества, чтобы узнать, какие статьи, по их мнению, должен прочитать каждый!

Все приведенные ниже документы находятся в свободном доступе и охватывают широкий спектр тем, от гиперградиентов до моделирования реакции доходности для CNN. Каждый эксперт также указал причину, по которой была выбрана статья, а также краткую биографию.

Лучше послушать ваше исправление ИИ? Наш лучший список подкастов об искусственном интеллекте можно найти здесь.

Джефф Клун, руководитель исследовательской группы OpenAI

Мы разговаривали с Джеффом еще в январе, и в то время он не мог выбрать одну статью для обязательного прочтения, поэтому мы позволили ему выбрать две.Оба документа перечислены ниже:

В этом документе раскрываются два ключевых момента для обсуждения: ограничения разреженных обучающих данных, а также то, могут ли рекуррентные сети поддерживать метаобучение в полностью контролируемом контексте. Эти вопросы рассматриваются в семи экспериментах по проверке концепции, каждый из которых исследует ключевой аспект глубокого мета-RL. Мы рассматриваем перспективы расширения и масштабирования подхода, а также указываем на некоторые потенциально важные последствия для нейронауки. Подробнее здесь.

Во второй статье, рекомендованной Джеффом, вычисляются точные градиенты эффективности перекрестной проверки по отношению ко всем гиперпараметрам путем связывания производных в обратном порядке на протяжении всей процедуры обучения. Эти градиенты позволяют оптимизировать тысячи гиперпараметров, включая графики размера шага и импульса, распределения инициализации весов, схемы регуляризации с широкими параметрами и архитектуры нейронных сетей. Подробнее об этом документе можно прочитать здесь.

Шалини Гош, главный научный сотрудник (международный) и руководитель исследовательской группы по машинному обучению, подразделение Smart TV, Samsung Research America

Долгая кратковременная память (1997) — Зепп Хохрайтер и Юрген Шмидхубер

Этот (документ) был основополагающим документом 1997 года, в нем содержались идеи, опередившие свое время. Только в последнее время (например, последние 6 лет или около того) аппаратные ускорители смогли выполнять операции обучения/обслуживания LSTM, что привело к успешному использованию LSTM во многих приложениях (например, моделирование языка, предсказание жестов, пользовательское моделирование). Архитектура моделирования последовательности на основе памяти LSTM оказала большое влияние — она вдохновила многих недавних усовершенствований, например, Transformers. Эта статья сильно повлияла на мою работу. Подробнее об этом документе можно прочитать здесь.

В этой статье обсуждается новый вариант популярной модели обнаружения объектов RetinaNet и представлена ​​парадигма добавочного обучения, полезная для этого и других приложений мультимодального обучения.Ключевые идеи и формулировка инкрементного обучения, использованные в этой статье, будут полезны всем, кто работает с компьютерным зрением, и могут проложить путь для будущих инноваций в эффективных алгоритмах инкрементного обучения, эффективных для мобильных устройств. Подробнее об этом документе можно прочитать здесь.

Кеннет Стэнли, профессор Чарльза Милликена (UCF) и старший менеджер по исследованиям, Uber

Кен выбрал эту статью, так как она дает уникальный пример эмерджентного поведения с намеком на начало незавершенности. Сама статья находит четкое свидетельство шести возникающих фаз в стратегии агента в нашей среде, каждая из которых создает новое давление для противоборствующей команды, чтобы она адаптировалась; например, агенты учатся строить убежища из нескольких объектов, используя передвижные ящики, что, в свою очередь, приводит к тому, что агенты обнаруживают, что они могут преодолевать препятствия, используя пандусы. Подробнее об этом документе читайте здесь.

Мы позволили Кену также включить статью от себя и своих коллег, предложив «Нетехническое введение в проблему открытости». В этой статье в описании объясняется, что это за вызов, его удивительные последствия, если он будет решен, и как присоединиться к поиску, если мы пробудили ваш интерес. Подробнее об этом документе читайте здесь.

Андрей Бурков, директор по науке о данных, Gartner

Внимание — это все, что вам нужно (2017) — Ашиш Васвани и др.

Андрей рекомендовал эту статью 2017 года, поскольку, по его собственным словам, «она вывела НЛП на совершенно новый уровень с предварительно обученными моделями трансформеров, такими как BERT». В документе предлагается новая простая сетевая архитектура Transformer, основанная исключительно на механизмах внимания, полностью исключающая повторение и свертки. Эксперименты с двумя задачами машинного перевода показывают, что эти модели превосходят по качеству, в то же время они более распараллеливаемы и требуют значительно меньше времени для обучения. Вы можете прочитать эту статью здесь.

Эндрю Н.Г., основатель и генеральный директор Landing AI; Основатель deeplearning.ai

Когда мы связались с Эндрю, не было никакой конкретной статьи, которая пришла на ум, однако нас направили к его недавней публикации, в которой были выделены две статьи, которые, по его мнению, могут представлять интерес. обе статьи цитируются ниже.

В этой работе Андре и др. предлагают сверточную нейронную сеть (CNN) для захвата соответствующих пространственных структур с различными атрибутами и их объединения для моделирования реакции урожайности на управление питательными веществами и нормой высева. Девять экспериментов на ферме на кукурузных полях используются для создания подходящего набора данных для обучения и тестирования модели CNN. Четыре архитектуры, сочетающие входные атрибуты на разных этапах сети, оцениваются и сравниваются с наиболее часто используемыми моделями прогнозирования. Подробнее о бумаге читайте здесь.

В этой статье оценивается диагностическая точность алгоритмов глубокого обучения по сравнению с медицинскими работниками при классификации заболеваний с использованием медицинской визуализации. Исследования, в которых проводилась внешняя проверка вне выборки, были включены в метаанализ с использованием единой иерархической модели. Подробнее об этом документе читайте здесь.

Грегори Пиатецкий-Шапиро, Data Scientist, президент KDnuggets

Когда мы связались с Грегори, он предположил, что его выбор статей основан на попытках понять основные тенденции в области искусственного интеллекта и машинного обучения, и две недавние статьи действительно выделяются для него. «Два важных документа, которые я недавно прочитал, — это нижеприведенные статьи Гэри и Франсуа. Я также рекомендую посмотреть дебаты между Йошуа Бенжио и Гэри Маркусом в Монреале для первого».

В этом документе рассматриваются недавние исследования в области искусственного интеллекта и машинного обучения, в которых основное внимание уделялось обучению общего назначения, все более крупным обучающим наборам и все большему количеству вычислений. В отличие от этого, Гэри предлагает гибридный подход, основанный на знаниях и рассуждениях, основанный на когнитивных моделях, который может обеспечить основу для более богатого и надежного ИИ, чем это возможно в настоящее время.

Вторым предложением Грегори была книга Франсуа Шолле «О мере интеллекта».В документе обобщаются и критически оцениваются определения и подходы к оценке интеллекта, при этом выявляются две исторические концепции интеллекта, которые имплицитно направляли их. Затем Франсуа формулирует новое формальное определение интеллекта, основанное на алгоритмической теории информации, описывая интеллект как эффективность приобретения навыков и выделяя понятия масштаба, сложности обобщения, априорных данных и опыта. Прочтите газету здесь.

Мириам Кот, консультант

Борьба с изменением климата с помощью машинного обучения (2019 г.) — Дэвид Ролник, Прия Л. Донти, Йошуа Бенжио и др.

Предложение Мириам касается машинного обучения и его влияния на окружающую среду. Изменение климата — одна из самых серьезных проблем, стоящих перед человечеством, и эксперты по машинному обучению задаются вопросом, как они могут помочь. В этой статье авторы описывают, как машинное обучение может стать мощным инструментом сокращения выбросов парниковых газов и помощи обществу в адаптации к изменяющемуся климату. От интеллектуальных сетей до управления стихийными бедствиями они выявляют серьезные проблемы, в которых существующие пробелы могут быть заполнены с помощью машинного обучения в сотрудничестве с другими областями. Подробнее о бумаге читайте здесь.

Кирк Борн, главный ученый и научный сотрудник по данным, а также исполнительный советник Booz Allen Hamilton

«Этому документу несколько лет, и он не является особенно техническим, но он охватывает множество фундаментальных вопросов, точек принятия бизнес-решений, алгоритмических характеристик, метрик и функций данных, о которых нужно подумать, протестировать и проверить до, во время и после. развертывание алгоритма ИИ в операционной среде. Мне также нравится эта статья, потому что рекомендательные механизмы популярны, используются во многих различных отраслях и хорошо известны всем (даже неспециалистам) — следовательно, эта статья может быстро привлечь студентов ( и другие) для более глубокого и глубокого понимания алгоритмов и их возможностей для развлечения и получения прибыли.Прочитайте статью здесь.

Заинтересованы в чтении других ведущих материалов по искусственному интеллекту от RE•WORK и нашего сообщества экспертов по искусственному интеллекту? Смотрите наши самые читаемые блоги ниже:

Люк Кенворти

Читайте другие посты этого автора.