54 просмотров

Введение в интерпретацию модели машинного обучения

Интерпретация модели машинного обучения

Независимо от того, какую проблему вы решаете, интерпретируемая модель всегда будет предпочтительнее, потому что и конечный пользователь, и ваш начальник/коллеги могут понять, что на самом деле делает ваша модель.

Независимо от того, какую проблему вы решаете, интерпретируемая модель всегда будет предпочтительнее, потому что и конечный пользователь, и ваш начальник/коллеги могут понять, что делает ваша модель. Интерпретируемость модели также помогает отлаживать модель, давая возможность увидеть, что модель считает важным.

Кроме того, вы можете использовать интерпретируемые модели, чтобы опровергнуть распространенное мнение о том, что алгоритмы машинного обучения — это черные ящики и что мы, люди, не способны понять, как они работают.

Эта статья является первой в моей серии статей, в которой объясняются различные методы достижения объяснимого машинного обучения/искусственного интеллекта.

План этой серии

Моя серия статей будет охватывать как теоретическую, так и практическую информацию о том, как сделать машинное обучение объяснимым.Статьи построены следующим образом:

Часть 1. Интерпретируемость модели машинного обучения (эта статья)

  • Что такое модельная интерпретация?
  • Важность интерпретации модели
  • Какие функции важны для модели?
  • Понимание индивидуальных прогнозов

Часть 2. Какие функции важны

  • Как получить важность функции для разных типов моделей
  • Что такое графики частичной зависимости и как их можно использовать

Часть 3: Интерпретация индивидуальных прогнозов

  • Локальные интерпретируемые объяснения, не зависящие от модели (LIME)
  • Аддитивные объяснения Шепли (значения формы)
Статья в тему:  Who was the first person to talk about artificial intelligence

Почему интерпретируемость в машинном обучении важна?

Даже сегодня приложения для обработки данных и машинного обучения по-прежнему воспринимаются как черные ящики, способные волшебным образом решать задачи, которые без них не решить. Однако это совсем не так; затем, чтобы проект по науке о данных был успешным, команда разработчиков должна понимать проблему, которую они пытаются решить, и знать, какая модель им нужна для решения этой проблемы.

Однако, учитывая, что большинство деловых людей не будут иметь интуитивного понимания конвейера машинного обучения и, следовательно, не поймут ваши причудливые метрики точности или функции потерь, вам нужен другой способ продемонстрировать им производительность вашей модели.

Кроме того, хорошая производительность не всегда означает, что ваша модель работает правильно, и поэтому часто возникают следующие вопросы:

  • Почему я должен доверять модели?
  • Как модель делает прогнозы?

Ученые и исследователи данных уже несколько лет пытаются ответить на эти вопросы и разработали несколько подходов к извлечению информации о процессе принятия решений в моделях машинного обучения.

Пример важности функции

Важность функций — это простая концепция, реализованная в большинстве основных библиотек машинного обучения, включая Scikit Learn, XGBoost и LightGBM.

Функция считается важной, если перетасовка ее значений значительно увеличивает ошибку модели, потому что это означает, что модель полагается на эту функцию для прогнозирования. Напротив, признак неважен, если перетасовка его значений не влияет на ошибку модели.

Статья в тему:  Как глобальное потепление повлияет на дерево ним

Графики частичной зависимости (PDP)

Хотя важность функции показывает нам, какие функции важны, она не дает нам информации о влиянии конкретного изменения функции. График частичной зависимости может показать, является ли связь между целью и функцией линейной, экспоненциальной или более сложной.

Пример графика частичной зависимости

Частичная функция сообщает нам средний предельный эффект для данного значения (значений) признаков S. Она получает оценку PDP для каждого уникального значения признака, заставляя все точки данных иметь одно и то же значение признака (например, заменяя каждое значение гендерная колонка с женским).

Понимание индивидуальных прогнозов

Почему модель сделала именно этот прогноз? Этот вопрос становится все более важным по мере того, как модели машинного обучения все чаще используются в таких приложениях, как обнаружение мошенничества или медицинские задачи, потому что для таких приложений необходимо проверять и обосновывать результаты, полученные с помощью модели.

ИЗВЕСТЬ (ЛОКАЛЬНО ИНТЕРПРЕТИМУЕМЫЕ МОДЕЛЕЙ-АГНОСТИЧЕСКИЕ ОБЪЯСНЕНИЯ)

Локальные суррогатные модели — это интерпретируемые модели, которые используются для объяснения отдельных прогнозов моделей машинного обучения «черный ящик». Кристоф Молнар

В статье «Почему я должен вам доверять?» авторы предлагают метод, называемый локальными интерпретируемыми объяснениями, не зависящими от модели (LIME), где суррогатные модели обучаются аппроксимировать прогнозы базовой модели черного ящика локально, а не глобально.

Это достигается путем создания нового набора данных из переставленных точек данных вокруг интересующей точки данных и соответствующих прогнозов модели черного ящика.Затем LIME использует этот новый набор данных для обучения интерпретируемой модели, такой как древовидная или линейная модель, которую затем можно использовать для объяснения модели черного ящика в этой локальной точке.

Статья в тему:  что было в сундуке во вселенной стивена

Ценности Шепли

Значение Шепли — это метод назначения выплат игрокам в зависимости от их вклада в общую выплату. Но какое это имеет отношение к машинному обучению?

В случае машинного обучения «игра» — это задача прогнозирования точки данных. «Выигрыш» — это прогноз минус средний прогноз всех экземпляров, а «игроки» — это значения признаков точки данных.

Значение Шепли — это средний предельный вклад значения признака во всех возможных коалициях. Это отличный способ интерпретации отдельного прогноза, потому что он не только дает нам вклад каждого значения признака, но и масштаб этих вкладов также является правильным, чего нельзя сказать о других методах, таких как LIME.

Пример формы

Мы более подробно рассмотрим локальные методы интерпретации, такие как LIME и значения Шепли, в третьей части этой серии, где мы изучим теорию этих методов и реализуем их на реальном наборе данных.

Вывод

Интерпретация моделей помогает отладить вашу модель и упростить вашу жизнь как инженера по машинному обучению, а также помогает укрепить доверие между людьми и моделью, что становится все более важным, поскольку машинное обучение используется во все большем числе отраслей.

Что дальше?

Во второй части этой серии мы более подробно рассмотрим графики важности признаков и частичной зависимости, углубившись в детали этих методов и применив наши знания с использованием библиотек eli5 и PDPbox.

Статья в тему:  Почему Трампа нет

Спасибо, что прочитали пост. Если у вас есть какие-либо отзывы, рекомендации или идеи о том, что я должен рассказать дальше, не стесняйтесь, присылайте мне ЭЛЕКТРОННУЮ ПОЧТУ или свяжитесь со мной в социальных сетях.

голоса
Рейтинг статьи
Ссылка на основную публикацию
Статьи c упоминанием слов:

0
Оставьте комментарий! Напишите, что думаете по поводу статьи.x