Краткая история машинного обучения

Машинное обучение (ML) — важный инструмент для использования технологий искусственного интеллекта. Из-за своих способностей к обучению и принятию решений машинное обучение часто называют ИИ, хотя на самом деле это подразделение ИИ. До конца 1970-х это было частью эволюции ИИ. Затем он разветвился, чтобы развиваться самостоятельно. Машинное обучение стало очень важным инструментом реагирования на облачные вычисления и электронную коммерцию и используется в различных передовых технологиях.

Сегодня машинное обучение является необходимым аспектом современного бизнеса и исследований для многих организаций. Он использует алгоритмы и модели нейронных сетей, чтобы помочь компьютерным системам постепенно улучшать свою производительность. Алгоритмы машинного обучения автоматически создают математическую модель, используя выборочные данные, также известные как «данные для обучения», для принятия решений без специального программирования для принятия этих решений.

ХОТИТЕ ОСТАВАТЬСЯ В ЗНАНИИ?

Получайте наш еженедельный информационный бюллетень по электронной почте с последними статьями по управлению данными, вебинарами, мероприятиями, онлайн-курсами и многим другим.

Машинное обучение частично основано на модели взаимодействия клеток мозга. Модель была создана в 1949 году Дональдом Хеббом в книге под названием Организация поведения (PDF). В книге представлены теории Хебба о возбуждении нейронов и связи между нейронами.

Хебб писал: «Когда одна клетка неоднократно помогает запустить другую, аксон первой клетки развивает синаптические выступы (или увеличивает их, если они уже существуют) в контакте с сомой второй клетки». Перенося концепции Хебба на искусственные нейронные сети и искусственные нейроны, его модель можно описать как способ изменения отношений между искусственными нейронами (также называемыми узлами) и изменениями отдельных нейронов. Связь между двумя нейронами/узлами усиливается, если два нейрона/узла активируются одновременно, и ослабевает, если они активируются по отдельности. Слово «вес» используется для описания этих взаимосвязей, а узлы/нейроны, имеющие тенденцию быть как положительными, так и отрицательными, описываются как имеющие сильные положительные веса. Те узлы, которые имеют тенденцию иметь противоположные веса, имеют сильные отрицательные веса (например, 1×1=1, -1x-1=1, -1×1=-1).

Машинное обучение игре в шашки

Артур Сэмюэл из IBM разработал компьютерную программу для игры в шашки в 1950-х годах. Поскольку у программы был очень небольшой объем доступной компьютерной памяти, Сэмюэл инициировал так называемую альфа-бета-обрезку. Его дизайн включал функцию подсчета очков с использованием положения фигур на доске. Функция подсчета очков пыталась измерить шансы на победу каждой стороны. Программа выбирает свой следующий ход, используя минимаксную стратегию, которая в конечном итоге превратилась в минимаксный алгоритм.

Сэмюэл также разработал ряд механизмов, позволяющих улучшить его программу. В том, что Самуэль называл зубрежкой, его программа записывала/запоминала все позиции, которые она уже видела, и объединяла это со значениями функции вознаграждения. Артур Сэмюэл впервые придумал фразу «машинное обучение» в 1952 году.

Персептрон

В 1957 году Фрэнк Розенблатт из Корнеллской авиационной лаборатории объединил модель взаимодействия клеток мозга Дональда Хебба с усилиями Артура Сэмюэля по машинному обучению и создал персептрон.Изначально персептрон планировался как машина, а не как программа. Программное обеспечение, первоначально разработанное для IBM 704, было установлено на специально изготовленной машине под названием персептрон Mark 1, которая была создана для распознавания изображений. Это сделало программное обеспечение и алгоритмы переносимыми и доступными для других машин.

Персептрон Mark I, описанный как первый успешный нейрокомпьютер, столкнулся с некоторыми проблемами из-за обманутых ожиданий. Хотя персептрон казался многообещающим, он не мог распознавать многие виды визуальных паттернов (например, лица), что вызывало разочарование и тормозило исследования нейронных сетей. Пройдет несколько лет, прежде чем разочарование инвесторов и финансирующих агентств исчезнет. Исследования в области нейронных сетей/машинного обучения боролись до возрождения в 1990-х годах.

Алгоритм ближайшего соседа

В 1967 году был придуман алгоритм ближайшего соседа, который положил начало базовому распознаванию образов. Этот алгоритм использовался для картирования маршрутов и был одним из первых алгоритмов, используемых для решения задачи коммивояжера по поиску наиболее эффективного маршрута. Используя его, продавец входит в выбранный город, и программа многократно посещает ближайшие города, пока не будет посещены все. Марчелло Пелильо приписывают изобретение «правила ближайшего соседа». Он, в свою очередь, ссылается на знаменитую статью Кавера и Харта 1967 года (PDF).

Многослойность обеспечивает следующий шаг

В 1960-х открытие и использование многослойности открыло новый путь в исследованиях нейронных сетей. Было обнаружено, что предоставление и использование двух или более слоев в персептроне обеспечивает значительно большую вычислительную мощность, чем персептрон, использующий один слой. Другие версии нейронных сетей были созданы после того, как персептрон открыл дверь в «слои» в сетях, и разнообразие нейронных сетей продолжает расширяться. Использование нескольких слоев привело к нейронным сетям с прямой связью и обратному распространению.

Обратное распространение, разработанное в 1970-х годах, позволяет сети настраивать свои скрытые слои нейронов/узлов, чтобы адаптироваться к новым ситуациям. Он описывает «обратное распространение ошибок», когда ошибка обрабатывается на выходе, а затем распределяется обратно по слоям сети для целей обучения. Обратное распространение теперь используется для обучения глубоких нейронных сетей.

Искусственная нейронная сеть (ИНС) имеет скрытые слои, которые используются для решения более сложных задач, чем это могли делать более ранние персептроны. ИНС являются основным инструментом, используемым для машинного обучения. Нейронные сети используют входной и выходной слои и, как правило, включают в себя скрытый слой (или слои), предназначенный для преобразования входных данных в данные, которые могут использоваться выходным слоем. Скрытые слои отлично подходят для поиска шаблонов, слишком сложных для обнаружения человеком-программистом, то есть человек не может найти шаблон, а затем научить устройство распознавать его.

Машинное обучение и искусственный интеллект идут разными путями

В конце 1970-х и начале 1980-х исследования искусственного интеллекта были сосредоточены на использовании логических, основанных на знаниях подходов, а не алгоритмов. Кроме того, исследователи компьютерных наук и искусственного интеллекта отказались от исследований нейронных сетей. Это вызвало раскол между искусственным интеллектом и машинным обучением. До этого машинное обучение использовалось в качестве обучающей программы для ИИ.

Индустрия машинного обучения, в которой участвовало большое количество исследователей и техников, была реорганизована в отдельную область и боролась за существование почти десятилетие. Цель отрасли сместилась с обучения искусственному интеллекту на решение практических задач по оказанию услуг. Его внимание сместилось с подходов, унаследованных от исследований ИИ, на методы и тактики, используемые в теории вероятностей и статистике. В течение этого времени индустрия машинного обучения продолжала уделять внимание нейронным сетям, а затем процветала в 1990-х годах.Большая часть этого успеха была результатом роста Интернета, чему способствовала постоянно растущая доступность цифровых данных и возможность делиться своими услугами через Интернет.

Повышение

«Бустирование» было необходимой разработкой для эволюции машинного обучения. Алгоритмы повышения используются для уменьшения предвзятости во время контролируемого обучения и включают алгоритмы машинного обучения, которые превращают слабых учеников в сильных. Концепция бустинга была впервые представлена ​​Робертом Шапиром в статье 1990 года под названием «Сила слабой обучаемости». Шапир утверждает: «Группа слабых учеников может создать одного сильного ученика». Слабые ученики определяются как классификаторы, которые лишь немного коррелируют с истинной классификацией (все же лучше, чем случайное угадывание). Напротив, сильный ученик легко классифицируется и хорошо согласуется с истинной классификацией.

Большинство алгоритмов повышения состоят из повторяющегося обучения слабых классификаторов, которые затем добавляются к окончательному сильному классификатору. После добавления они обычно взвешиваются таким образом, чтобы оценить точность слабых учеников. Затем веса данных «перевзвешиваются». Неправильно классифицированные входные данные получают более высокий вес, тогда как правильно классифицированные данные теряют вес. Эта среда позволяет будущим слабым ученикам больше сосредоточиться на предыдущих слабых учениках, которые были неправильно классифицированы.

Основное различие между различными типами алгоритмов повышения заключается в «методике», используемой для взвешивания точек данных обучения. AdaBoost — это популярный алгоритм машинного обучения, исторически значимый, поскольку он является первым алгоритмом, способным работать со слабыми учениками. Более современные алгоритмы включают BrownBoost, LPBoost, MadaBoost, TotalBoost, xgboost и LogitBoost. В рамках AnyBoost работает большое количество алгоритмов бустинга.

Распознавание речи

В настоящее время большая часть обучения распознаванию речи выполняется с помощью метода глубокого обучения, называемого долговременной кратковременной памятью (LSTM), модели нейронной сети, описанной Юргеном Шмидхубером и Зеппом Хохрайтером в 1997 году. размещать на тысячи дискретных шагов раньше, что очень важно для речи.

Примерно в 2007 году долговременная кратковременная память начала превосходить более традиционные программы распознавания речи. Сообщается, что в 2015 году программа распознавания речи Google продемонстрировала значительный скачок производительности на 49 процентов при использовании LSTM, обученного CTC.

Распознавание лиц становится реальностью

В 2006 году Большой вызов распознаванию лиц – программа Национального института стандартов и технологий – оценила популярные алгоритмы распознавания лиц того времени. Были протестированы 3D-сканы лица, изображения радужной оболочки и изображения лица с высоким разрешением. Их результаты показали, что новые алгоритмы были в десять раз более точными, чем алгоритмы распознавания лиц 2002 года, и в 100 раз более точными, чем алгоритмы 1995 года. Некоторые из алгоритмов смогли превзойти участников-людей в распознавании лиц и могли однозначно идентифицировать однояйцевых близнецов.

В 2012 году Google X Lab разработала алгоритм машинного обучения, который может автономно просматривать и находить видео с участием кошек. В 2014 году Facebook разработал DeepFace — алгоритм, способный распознавать или проверять людей на фотографиях с той же точностью, что и люди.

Машинное обучение в настоящее время

Машинное обучение в настоящее время ответственно за некоторые из наиболее значительных достижений в области технологий. Он используется для новой индустрии беспилотных транспортных средств и для исследования галактики, поскольку он помогает идентифицировать экзопланеты.Недавно Стэнфордский университет определил машинное обучение как «науку о том, как заставить компьютеры действовать без явного программирования». Машинное обучение привело к появлению нового набора концепций и технологий, включая контролируемое и неконтролируемое обучение, новые алгоритмы для роботов, Интернет вещей, инструменты аналитики, чат-боты и многое другое. Ниже перечислены семь распространенных способов, которыми мир бизнеса в настоящее время использует машинное обучение:

• Анализ данных о продажах: Оптимизация данных
• Мобильная персонализация в реальном времени: Продвижение опыта
• Обнаружение мошенничества: Обнаружение изменений шаблона
• Рекомендации по продуктам: Персонализация клиента
• Системы управления обучением: Программы принятия решений
• Динамическое ценообразование: Гибкое ценообразование в зависимости от потребности или спроса
• Обработка естественного языка: Разговор с людьми

Модели машинного обучения стали довольно адаптивными в непрерывном обучении, что делает их более точными, чем дольше они работают. Алгоритмы машинного обучения в сочетании с новыми вычислительными технологиями способствуют масштабируемости и повышению эффективности. В сочетании с бизнес-аналитикой машинное обучение может решить множество организационных сложностей. Современные модели машинного обучения можно использовать для прогнозирования, начиная от вспышек заболеваний и заканчивая ростом и падением запасов.

В настоящее время Google экспериментирует с машинным обучением, используя подход, называемый тонкой настройкой инструкций. Цель состоит в том, чтобы научить модель машинного обучения решать проблемы обработки естественного языка в обобщенном виде. Этот процесс обучает модель решению широкого круга задач, а не только одной проблемы.

Изображение использовано по лицензии Shutterstock.com.