ИИ — обработка естественного языка

Обработка естественного языка (NLP) относится к методу ИИ для общения с интеллектуальными системами с использованием естественного языка, такого как английский.

Обработка естественного языка требуется, когда вы хотите, чтобы интеллектуальная система, такая как робот, выполняла ваши инструкции, когда вы хотите услышать решение клинической экспертной системы, основанной на диалоге, и т. д.

Область NLP включает в себя создание компьютеров для выполнения полезных задач с использованием естественных языков, которые используют люди. Вход и выход системы НЛП могут быть:

Компоненты НЛП

Есть два компонента НЛП, как дано:

Понимание естественного языка (NLU)

Понимание включает в себя следующие задачи —

Преобразование данного ввода на естественном языке в полезные представления.
Анализ различных аспектов языка.

Генерация естественного языка (NLG)

Это процесс создания значимых фраз и предложений в форме естественного языка из некоторого внутреннего представления.

Планирование текста − Сюда входит извлечение соответствующего контента из базы знаний.
Планирование приговора − Включает в себя выбор необходимых слов, формирование осмысленных фраз, установку тона предложения.
Текстовая реализация − Это отображение плана предложения в структуру предложения.

NLU сложнее, чем NLG.

Трудности в НЛУ

NL имеет чрезвычайно богатую форму и структуру.

Это очень неоднозначно. Могут быть разные уровни неоднозначности —

Лексическая неоднозначность − Это очень примитивный уровень, такой как уровень слов.
Например, рассматривать слово «доска» как существительное или глагол?
Неоднозначность уровня синтаксиса − Предложение можно разобрать по-разному.
Например, «Поднял жука с красной шапочкой». − Он использовал крышку, чтобы поднять жука, или он поднял жука с красной крышкой?
Ссылочная неоднозначность − Обращение к чему-либо с использованием местоимений. Например, Рима пошла к Гаури. Она сказала: «Я устала». − Кто именно устал?
Один ввод может означать разные значения.
Многие входные данные могут означать одно и то же.

Статья в тему: Насколько умен сегодняшний искусственный интеллект cgp grey

Терминология НЛП

Фонология − Это изучение систематической организации звука.
Морфология − Это исследование построения слов из примитивных значимых единиц.
Морфема − Это примитивная единица значения в языке.
Синтаксис — Это относится к организации слов, чтобы сделать предложение. Он также включает в себя определение структурной роли слов в предложении и в словосочетаниях.
Семантика − Он связан со значением слов и с тем, как объединять слова в осмысленные фразы и предложения.
Прагматика − Он касается использования и понимания предложений в различных ситуациях и того, как это влияет на интерпретацию предложения.
Дискурс − Это касается того, как непосредственно предшествующее предложение может повлиять на интерпретацию следующего предложения.
Знание мира − Включает в себя общие знания о мире.

Шаги в НЛП

Есть общие пять шагов —

Лексический анализ − Он включает в себя определение и анализ структуры слов. Лексика языка означает набор слов и фраз на языке. Лексический анализ — это разделение всего текста на абзацы, предложения и слова.
Синтаксический анализ (разбор) − Он включает в себя анализ слов в предложении на предмет грамматики и расположение слов таким образом, чтобы показать взаимосвязь между словами. Предложение типа «В школу идет мальчик» отвергается синтаксическим анализатором английского языка.

Семантический анализ − Он извлекает точное значение или значение из словаря из текста. Текст проверяется на осмысленность. Это делается путем сопоставления синтаксических структур и объектов в предметной области. Семантический анализатор игнорирует такие предложения, как «горячее мороженое».
Интеграция дискурса − Значение любого предложения зависит от значения предложения, находящегося непосредственно перед ним. Кроме того, это также приводит к значению непосредственно следующего за ним предложения.
Прагматический анализ − При этом сказанное переосмысливается на то, что оно имело в виду на самом деле. Он включает в себя получение тех аспектов языка, которые требуют знания реального мира.

Статья в тему: В чем недостаток искусственного интеллекта

Аспекты реализации синтаксического анализа

Существует ряд алгоритмов, разработанных исследователями для синтаксического анализа, но мы рассматриваем только следующие простые методы:

Контекстно-свободная грамматика
Анализатор сверху вниз

Давайте посмотрим на них подробно —

Контекстно-свободная грамматика

Это грамматика, состоящая из правил с одним символом слева от правил перезаписи. Давайте создадим грамматику для разбора предложения —

«Птица клюет зёрна»

Статьи (ДЭТ) − а | ан | в

Существительные − птица | птицы | зерно | зерна

Существительная фраза (NP) − Статья + Существительное | Статья + Прилагательное + Существительное

= ДЭТ Н | DET ADJ N

Глаголы − клюет | клюет | клюнул

Глагольная фраза (VP) − НП В | В НП

Прилагательные (ADJ) − красивая | маленький | щебетание

Дерево синтаксического анализа разбивает предложение на структурированные части, чтобы компьютер мог легко понять и обработать его. Чтобы алгоритм синтаксического анализа построил это дерево синтаксического анализа, необходимо построить набор правил перезаписи, которые описывают допустимые древовидные структуры.

Эти правила говорят о том, что определенный символ может быть расширен в дереве последовательностью других символов. Согласно правилу логики первого порядка, если есть две строки фразы существительного (NP) и фразы глагола (VP), то строка, объединенная NP, за которой следует VP, является предложением. Правила перезаписи предложения следующие:

НП → ДЭТ Н | DET ADJ N

ADJ → красивая | усаживаться

N → птица | птицы | зерно | зерна

V → клевать | клюет | клюет

Дерево синтаксического анализа может быть создано, как показано на рисунке —

Статья в тему: Каковы преимущества искусственного интеллекта для бизнеса arvix

Теперь рассмотрим приведенные выше правила перезаписи. Поскольку V можно заменить как «клевать», так и «клевать», такие предложения, как «Птица клюет зерна», могут быть ошибочно разрешены. я. е. ошибка согласования подлежащего и глагола считается правильной.

Цена − Самый простой стиль грамматики, поэтому широко используемый.

Они не отличаются высокой точностью. Например, «Зерна клюют птицу» является синтаксически правильным с точки зрения синтаксического анализатора, но даже если оно не имеет смысла, синтаксический анализатор воспринимает его как правильное предложение.
Чтобы добиться высокой точности, необходимо подготовить несколько наборов грамматики. Это может потребовать совершенно разных наборов правил для разбора вариантов единственного и множественного числа, пассивных предложений и т. д., что может привести к созданию огромного набора правил, которыми невозможно управлять.

Анализатор сверху вниз

Здесь синтаксический анализатор начинает с символа S и пытается переписать его в последовательность терминальные символы который соответствует классам слов во входном предложении, пока не будет полностью состоять из терминальных символов.

Затем они проверяются с входным предложением, чтобы увидеть, совпадают ли они. Если нет, процесс запускается снова с другим набором правил. Это повторяется до тех пор, пока не будет найдено конкретное правило, описывающее структуру предложения.

Цена − Это просто реализовать.