публиковать

почта

Как GPU помогают искусственному интеллекту

• администратор
• Этот документ сопровождает презентацию, представленную на этой неделе генеральным директором NVIDIA Джен-Хсун Хуангом на симпозиуме «Будущее ИИ» в Нью-Йоркском университете.
• Ускорение ИИ с помощью графических процессоров: новая вычислительная модель

Янн ЛеКун пригласил меня выступить на первом симпозиуме на этой неделе, посвященном «Будущему ИИ» в Нью-Йоркском университете. Это удивительное собрание лидеров в этой области, чтобы обсудить состояние ИИ и его дальнейшее развитие. Вот о чем я говорил: глубокое обучение — это новая модель программного обеспечения, для которой нужна новая вычислительная модель; почему исследователи ИИ перешли на вычисления с ускорением на GPU; и постоянные усилия NVIDIA по развитию ИИ, поскольку мы вступаем в его экспоненциальное внедрение. И почему после всех этих лет ИИ взлетел.

Большой взрыв

Пока мы разрабатываем компьютеры, ИИ был последним рубежом. Создание интеллектуальных машин, способных воспринимать мир так же, как и мы, понимать наш язык и учиться на примерах, было делом жизни ученых-компьютерщиков на протяжении более пяти десятилетий.Тем не менее, потребовалось сочетание работы Яна Лекуна в области сверточных нейронных сетей, подхода Джеффа Хинтона к обучению с обратным распространением и стохастическим градиентным спуском, а также широкомасштабного использования графических процессоров Эндрю Нг для ускорения глубоких нейронных сетей (ГНС), чтобы зажечь большой взрыв. современного ИИ — глубокое обучение.

В то время NVIDIA была занята продвижением вычислений с ускорением на графическом процессоре, новой вычислительной модели, в которой используются массивно-параллельные графические процессоры для ускорения приложений, также параллельных по своей природе. Ученые и исследователи перешли на графические процессоры, чтобы моделировать в молекулярном масштабе, чтобы определить эффективность спасающего жизни лекарства, визуализировать наши органы в 3D (реконструированные из световых доз компьютерной томографии) или моделировать в галактическом масштабе, чтобы обнаружить законы, управляющие нашей Вселенной. Один исследователь, использовавший наши графические процессоры для моделирования квантовой хромодинамики, сказал мне: «Благодаря работе NVIDIA я теперь могу заниматься делом всей своей жизни». Это прекрасно вознаграждается. Нашей миссией всегда было дать людям возможность построить лучшее будущее. Графические процессоры NVIDIA демократизировали суперкомпьютеры, и теперь исследователи открыли для себя эту мощь.

К 2011 году исследователи искусственного интеллекта по всему миру открыли для себя графические процессоры NVIDIA. Проект Google Brain только что добился потрясающих результатов — научился распознавать кошек и людей, просматривая фильмы на YouTube. Но для этого требовалось 2000 процессоров на серверах, питаемых и охлаждаемых в одном из гигантских центров обработки данных Google. Мало у кого есть компьютеры такого масштаба. Введите NVIDIA и графический процессор. Брайан Катандзаро из NVIDIA Research объединился с командой Эндрю Нг в Стэнфорде, чтобы использовать графические процессоры для глубокого обучения. Как оказалось, 12 графических процессоров NVIDIA могут обеспечить производительность глубокого обучения, равную 2000 ЦП.Исследователи из Нью-Йоркского университета, Университета Торонто и Швейцарской лаборатории искусственного интеллекта ускорили свои DNN на графических процессорах. Затем начался фейерверк.

Глубокое обучение творит чудеса

Алекс Крижевский из Университета Торонто выиграл конкурс компьютерного распознавания изображений ImageNet 2012 года. (1) Крижевский превзошел — с огромным отрывом — программное обеспечение, созданное вручную экспертами по компьютерному зрению. Крижевский и его команда не писали код компьютерного зрения. Скорее, используя глубокое обучение, их компьютер научился распознавать изображения сам по себе. Они разработали нейронную сеть под названием AlexNet и обучили ее на миллионах примеров изображений, что потребовало триллионов математических операций на графических процессорах NVIDIA. AlexNet Крижевского превзошел лучшее программное обеспечение, написанное человеком.

Гонка ИИ началась. К 2015 году была достигнута еще одна важная веха.

Используя глубокое обучение, Google и Microsoft добились лучших результатов среди людей в конкурсе ImageNet. (2,3) Не написанная человеком программа, а человек. Вскоре после этого Microsoft и Китайский университет науки и технологии объявили о DNN, которая достигла результатов тестов IQ на уровне аспирантов колледжей. (4) Затем Baidu объявила, что система глубокого обучения под названием Deep Speech 2 выучила и английский, и китайский языки с помощью одного алгоритма. (5) И все лучшие результаты конкурса ImageNet 2015 года были основаны на глубоком обучении, работающем на глубоких нейронных сетях с ускорением на GPU, и многие из которых превзошли точность человеческого уровня.

В 2012 году глубокое обучение превзошло программное обеспечение, написанное человеком. К 2015 году глубокое обучение достигло «сверхчеловеческого» уровня восприятия.

Новая вычислительная платформа для новой модели программного обеспечения

Компьютерные программы содержат команды, которые в основном выполняются последовательно.Глубокое обучение — это принципиально новая программная модель, в которой параллельно обучаются миллиарды программных нейронов и триллионы соединений. Запуская алгоритмы DNN и изучая примеры, компьютер, по сути, пишет свое собственное программное обеспечение. Эта радикально отличающаяся модель программного обеспечения нуждается в новой компьютерной платформе для эффективной работы. Ускоренные вычисления — идеальный подход, а GPU — идеальный процессор. В качестве

Природа

недавно отмечалось, что ранний прогресс в области глубокого обучения «стал возможен благодаря появлению быстрых графических процессоров (GPU), которые было удобно программировать и которые позволили исследователям обучать сети в 10 или 20 раз быстрее». (6) Для создания новой вычислительной платформы необходимо сочетание факторов — производительность, продуктивность программирования и открытая доступность.

Производительность.

Графические процессоры NVIDIA прекрасно справляются с параллельными рабочими нагрузками и ускоряют DNN в 10-20 раз, сокращая каждую из многочисленных итераций обучения с недель до дней. Мы не остановились на достигнутом. Сотрудничая с разработчиками искусственного интеллекта, мы продолжали улучшать дизайн наших графических процессоров, системную архитектуру, компиляторы и алгоритмы и всего за три года ускорили обучение глубоких нейронных сетей в 50 раз — намного быстрее, чем закон Мура. Мы ожидаем еще 10-кратного увеличения в ближайшие несколько лет.

Программируемость.

Инновации в области искусственного интеллекта развиваются с головокружительной скоростью. Простота программирования и производительность разработчика имеют первостепенное значение. Программируемость и богатство платформы NVIDIA CUDA позволяют исследователям быстро внедрять инновации — создавать новые конфигурации CNN, DNN, сетей глубокого начального анализа, RNN, LSTM и сетей обучения с подкреплением.

Доступность.

Разработчики хотят создавать где угодно и развертывать везде.Графические процессоры NVIDIA доступны по всему миру от каждого OEM-производителя ПК; в настольных компьютерах, ноутбуках, серверах или суперкомпьютерах; и в облаке от Amazon, IBM и Microsoft. Все основные фреймворки для разработки ИИ ускоряются на графическом процессоре NVIDIA — от интернет-компаний до исследований и стартапов. Независимо от того, какая система разработки ИИ предпочтительна, она будет быстрее с ускорением графического процессора. Мы также создали графические процессоры практически для всех вычислительных форм-факторов, чтобы DNN могли управлять интеллектуальными машинами всех видов. GeForce для ПК. Tesla предназначена для облачных вычислений и суперкомпьютеров. Jetson предназначен для роботов и дронов. А DRIVE PX — для автомобилей. Все они имеют одинаковую архитектуру и ускоряют глубокое обучение.

Каждой отрасли нужен интеллект

Baidu, Google, Facebook, Microsoft первыми внедрили графические процессоры NVIDIA для глубокого обучения. Эта технология искусственного интеллекта — это то, как они реагируют на произнесенное вами слово, переводят речь или текст на другой язык, распознают и автоматически помечают изображения, а также рекомендуют новостные ленты, развлечения и продукты, адаптированные к тому, что нравится и волнует каждого из нас. Стартапы и известные компании сейчас стремятся использовать ИИ для создания новых продуктов и услуг или улучшения своей деятельности. Всего за два года количество компаний, с которыми NVIDIA сотрудничает в области глубокого обучения, выросло почти в 35 раз и превысило 3400 компаний. Такие отрасли, как здравоохранение, медико-биологические науки, энергетика, финансовые услуги, автомобилестроение, производство и развлечения, выиграют от извлечения информации из гор данных. А поскольку Facebook, Google и Microsoft открывают свои платформы глубокого обучения для всех, приложения на основе ИИ будут быстро распространяться. В свете этой тенденции,

Проводной

недавно провозгласил «восстание ГПУ».

Самоуправляемые автомобили.

Будь то дополнение людей сверхчеловеком-вторым пилотом, или революционизация услуг личной мобильности, или уменьшение потребности в обширных парковках в городах, беспилотные автомобили могут принести огромную пользу обществу. Вождение сложное. Происходят неожиданные вещи. Ледяной дождь превращает дорогу в каток. Дорога к месту назначения закрыта. Перед машиной выбегает ребенок. Вы не можете написать программное обеспечение, которое предугадывает все возможные сценарии, с которыми может столкнуться беспилотный автомобиль. В этом ценность глубокого обучения; он может учиться, адаптироваться и совершенствоваться. Мы создаем комплексную платформу глубокого обучения под названием NVIDIA DRIVE PX для беспилотных автомобилей — от системы обучения до автомобильного компьютера с искусственным интеллектом. Результаты очень захватывающие. Будущее со сверхчеловеческими компьютерами-пилотами и беспилотными шаттлами больше не является научной фантастикой.

Роботы.

ФАНУК

ведущий производитель производственных роботов недавно продемонстрировал конвейерного робота, который научился «выбирать» произвольно ориентированные объекты из мусорного ведра. Робот с GPU научился методом проб и ошибок. Эта технология глубокого обучения была разработана компанией Preferred Networks и недавно была представлена ​​в

Журнал "Уолл Стрит

Статья под заголовком «Япония стремится к возрождению технологий с помощью искусственного интеллекта».

Здравоохранение и науки о жизни.

Deep Genomics применяет глубокое обучение на основе графического процессора, чтобы понять, как генетические вариации могут привести к заболеванию. Arterys использует глубокое обучение на базе графического процессора для ускорения анализа медицинских изображений. Его технология будет развернута в аппаратах МРТ GE Healthcare для диагностики сердечных заболеваний. Enlitic использует глубокое обучение для анализа медицинских изображений с целью выявления опухолей, почти невидимых переломов и других заболеваний.

Это всего лишь несколько примеров.Их буквально тысячи.

• Ускорение ИИ с помощью графических процессоров: новая вычислительная модель
• Прорывы в области глубокого обучения вызвали революцию в области искусственного интеллекта. Машины, работающие на основе глубоких нейронных сетей ИИ, решают проблемы, слишком сложные для программистов-людей. Они учатся на данных и совершенствуются по мере использования. Та же DNN может быть обучена даже непрограммистами для решения новых задач. Прогресс экспоненциальный. Принятие является экспоненциальным. И мы считаем, что влияние на общество также будет экспоненциальным. Недавнее исследование KPMG прогнозирует, что компьютеризированные технологии помощи водителю помогут снизить количество автомобильных аварий на 80% за 20 лет — это спасает почти 1 миллион жизней в год. Искусственный интеллект с глубоким обучением станет его краеугольным камнем.
• Влияние на компьютерную индустрию также будет экспоненциальным. Глубокое обучение — это принципиально новая программная модель. Поэтому нам нужна новая компьютерная платформа для его запуска — архитектура, которая может эффективно выполнять команды, закодированные программистом, а также массовое параллельное обучение глубоких нейронных сетей. Мы держим пари, что вычисления с ускорением на GPU — это лучший выбор.
• Популярная наука

• недавно назвал GPU «рабочей лошадкой современного ИИ». Мы согласны.