Часто задаваемые вопросы: все об алгоритме Google RankBrain

Google использует технологию машинного обучения под названием RankBrain для предоставления результатов поиска. Вот что мы знаем об этом.

Дэнни Салливан, 23 июня 2016 г., 13:01 | Время чтения: 14 минут

Google использует систему искусственного интеллекта с машинным обучением под названием «RankBrain», чтобы помочь сортировать результаты поиска. Хотите знать, как это работает и вписывается в общую систему ранжирования Google? Вот что мы знаем о RankBrain.

Приведенная ниже информация поступает из трех оригинальных источников и со временем обновлялась с примечаниями, где произошли обновления. Вот эти источники:

Во-первых, это история Bloomberg, в которой появились новости о RankBrain (см. также нашу рецензию на нее). Во-вторых, дополнительная информация, которую Google теперь предоставил непосредственно в Search Engine Land. В-третьих, наши собственные знания и лучшие предположения там, где Google не дает ответов. Мы уточним, где эти источники используются, когда это будет сочтено необходимым, помимо общей справочной информации.

Что такое RankBrain?

RankBrain — это название Google для системы искусственного интеллекта с машинным обучением, которая используется для обработки результатов поиска, как сообщает Bloomberg, а также подтверждается Google.

Что такое машинное обучение?

Машинное обучение — это когда компьютер сам учится что-то делать, а не учит людей или подробно программирует.

Что такое искусственный интеллект?

Настоящий искусственный интеллект, или сокращенно ИИ, — это то место, где компьютер может быть таким же умным, как человек, по крайней мере, в том смысле, что он приобретает знания как в результате обучения, так и в результате использования того, что он знает, и установления новых связей.

Конечно, настоящий ИИ существует только в фантастических романах.На практике ИИ используется для обозначения компьютерных систем, предназначенных для обучения и установления связей.

Чем ИИ отличается от машинного обучения? С точки зрения RankBrain, нам кажется, что они довольно синонимичны. Вы можете услышать, что они оба используются взаимозаменяемо, или вы можете услышать, что машинное обучение используется для описания типа используемого подхода искусственного интеллекта.

Итак, RankBrain — это новый способ Google ранжировать результаты поиска?

Нет. RankBrain является частью общего поискового «алгоритма» Google, компьютерной программы, которая используется для сортировки миллиардов страниц, о которых она знает, и поиска тех, которые считаются наиболее релевантными для конкретных запросов.

Как называется алгоритм поиска Google?

Как мы сообщали ранее, он называется Hummingbird. В течение многих лет общий алгоритм не имел официального названия. Но в середине 2013 года Google переработал этот алгоритм и дал ему имя Hummingbird.

Значит, RankBrain является частью поискового алгоритма Google Hummingbird?

Это наше понимание. Hummingbird — это общий алгоритм поиска, точно так же, как у автомобиля есть общий двигатель. Сам двигатель может состоять из различных частей, таких как масляный фильтр, топливный насос, радиатор и так далее. Точно так же Hummingbird включает в себя различные части, и RankBrain является одной из новейших.

В частности, мы знаем, что RankBrain является частью общего алгоритма Hummingbird, потому что в статье Bloomberg ясно сказано, что RankBrain не обрабатывает все поисковые запросы, как это делает только общий алгоритм.

Hummingbird также содержит другие части с названиями, знакомыми тем, кто занимается SEO, например, Panda, Penguin и Payday, предназначенные для борьбы со спамом, Pigeon, предназначенные для улучшения локальных результатов, Top Heavy, предназначенные для понижения количества страниц с рекламой, Mobile Friendly, предназначенные для поощрения мобильных устройств. дружественные страницы и пираты, предназначенные для борьбы с нарушением авторских прав.

Я думал, что алгоритм Google называется «PageRank».

PageRank является частью общего алгоритма Hummingbird, который охватывает особый способ присвоения рейтинга страницам на основе ссылок с других страниц, указывающих на них.

PageRank особенный, потому что это первое название, которое Google когда-либо дал одной из частей своего алгоритма ранжирования, еще во времена создания поисковой системы в 1998 году.

Как насчет этих «сигналов», которые Google использует для ранжирования?

Сигналы — это то, что Google использует, чтобы определить, как ранжировать веб-страницы. Например, он будет читать слова на веб-странице, поэтому слова — это сигнал. Если некоторые слова выделены жирным шрифтом, это может быть еще одним отмеченным сигналом. Расчеты, используемые как часть PageRank, дают странице оценку PageRank, которая используется в качестве сигнала. Если страница отмечена как удобная для мобильных устройств, это еще один зарегистрированный сигнал.

Все эти сигналы обрабатываются различными частями алгоритма Hummingbird, чтобы выяснить, какие страницы Google показывает в ответ на различные поисковые запросы.

Сколько сигналов?

Google довольно последовательно говорит о наличии более 200 основных сигналов ранжирования, которые оцениваются, которые, в свою очередь, могут иметь до 10 000 вариантов или подсигналов. Обычно это просто говорит о «сотнях» факторов, как это было во вчерашней статье Bloomberg.

Если вам нужно более наглядное руководство по сигналам ранжирования, ознакомьтесь с нашей Периодической таблицей факторов успеха SEO:

Мы думаем, что это довольно хорошее руководство по общим вещам, которые поисковые системы, такие как Google, используют для ранжирования веб-страниц.

А RankBrain — третий по важности сигнал?

Вот так. Из ниоткуда эта новая система стала, по словам Google, третьим по важности фактором ранжирования веб-страниц. Из статьи Блумберг:

По словам Коррадо, RankBrain — это один из «сотен» сигналов, которые входят в алгоритм, определяющий, какие результаты появляются на странице поиска Google и где они ранжируются. По его словам, за несколько месяцев после развертывания RankBrain стал третьим по важности сигналом, влияющим на результат поискового запроса.

Каковы первые и вторые по важности сигналы?

Когда эта история была написана изначально, Google нам не сказал. Наше предположение было таким:

Мое личное предположение состоит в том, что ссылки остаются самым важным сигналом, поскольку Google подсчитывает эти ссылки в виде голосов. Кроме того, это ужасно устаревающая система, о чем я писал в своей предыдущей статье «Ссылки: сломанная «урна для голосования», используемая Google и Bing».

Что касается второго по важности сигнала, то я предполагаю, что это будут «слова», где слова охватывают все, от слов на странице до того, как Google интерпретирует слова, которые люди вводят в поле поиска вне анализа RankBrain.

Это оказалось во многом правильным. В марте 2016 года Google обнаружил, что первыми двумя факторами являются контент и ссылки. Или ссылки и контент, потому что нельзя сказать, что было первым. Подробнее читайте в нашей статье:

• Теперь мы знаем: вот 3 основных фактора ранжирования в поиске Google.

Что именно делает RankBrain?

Из переписки с Google я понял, что RankBrain в основном используется как способ интерпретации запросов, которые люди отправляют, чтобы найти страницы, которые могут не содержать точных слов, которые искали.

Разве у Google уже не было способов найти страницы помимо точного введенного запроса?

Да, Google уже очень давно находит страницы, выходящие за рамки точных терминов, которые кто-то вводит. Например, много лет назад, если бы вы вводили что-то вроде «обувь», Google мог не найти страницы со словом «обувь», потому что технически это два разных слова. Но «стемминг» позволил Google стать умнее, понять, что обувь — это разновидность обуви, точно так же, как «бег» — это разновидность слова «бег».

У Google также есть синоним smarts, так что если вы ищете «кроссовки», он может понять, что вы также имеете в виду «кроссовки». Он даже приобрел некоторую концептуальную смекалку, чтобы понять, что есть страницы о «Apple» как технологической компании по сравнению с «яблоком» как фруктом.

Как насчет Графика знаний?

График знаний, запущенный в 2012 году, позволил Google стать еще умнее в отношении связей между словами. Что еще более важно, он научился искать «вещи, а не строки», как это описал Google.

Строки означают поиск только строк букв, например страниц, которые соответствуют написанию слова «Обама». Дело в том, что вместо этого Google понимает, что когда кто-то ищет «Обама», он, вероятно, имеет в виду президента США Барака Обаму, реального человека, имеющего связи с другими людьми, местами и вещами.

Граф знаний — это база данных фактов о вещах в мире и отношениях между ними. Вот почему вы можете выполнить поиск типа «когда родилась жена Обамы» и получить ответ о Мишель Обаме, как показано ниже, даже не используя ее имя:

Как RankBrain помогает уточнять запросы?

Методы, которые Google уже использует для уточнения запросов, как правило, возвращаются к какому-то человеку, который где-то выполняет работу, либо создавая списки корней или списки синонимов, либо создавая связи между вещами в базе данных. Конечно, есть некоторая автоматизация. Но во многом это зависит от человеческого труда.

Проблема в том, что Google обрабатывает три миллиарда поисковых запросов в день. В 2007 году Google заявил, что от 20 до 25 процентов этих запросов никогда раньше не встречались. В 2013 году эта цифра снизилась до 15 процентов, что снова использовалось во вчерашней статье Bloomberg и что нам подтвердил Google. Но 15 процентов от трех миллиардов — это все еще огромное количество запросов, никогда не вводившихся ни одним поисковиком — 450 миллионов в день.

Среди них могут быть сложные запросы из нескольких слов, также называемые запросами с длинным хвостом. RankBrain разработан, чтобы помочь лучше интерпретировать эти запросы и эффективно перевести их, в некотором смысле за кулисами, чтобы найти лучшие страницы для искателя.

Как сообщил нам Google, он может видеть закономерности между, казалось бы, несвязанными сложными поисковыми запросами, чтобы понять, насколько они на самом деле похожи друг на друга.Это обучение, в свою очередь, позволяет ему лучше понимать будущие сложные поиски и то, связаны ли они с конкретными темами. Самое главное, из того, что нам сообщил Google, он может связать эти группы запросов с результатами, которые, по его мнению, понравятся пользователям больше всего.

Google не предоставил примеры групп запросов и не дал подробностей о том, как RankBrain угадывает, какие страницы являются лучшими. Но последнее, вероятно, связано с тем, что если он может преобразовать неоднозначный поиск во что-то более конкретное, он может затем дать лучшие ответы.

Как насчет примера?

Хотя Google не дал групп запросов, в статье Bloomberg был один пример поиска, где RankBrain предположительно помогает. Вот:

Каково звание потребителя на высшем уровне пищевой цепочки?

Для неспециалиста, такого как я, «потребитель» звучит как ссылка на того, кто что-то покупает. Тем не менее, это также научный термин для чего-то, что потребляет пищу. В пищевой цепи также есть уровни потребителей. Что потребитель на самом высоком уровне? Титул — имя — «хищник».

Ввод этого запроса в Google дает хорошие ответы, хотя сам запрос звучит довольно странно:

Теперь подумайте, насколько похожи результаты поиска типа «верхний уровень пищевой цепи», как показано ниже:

Представьте, что RankBrain соединяет исходный длинный и сложный запрос с гораздо более коротким, что, вероятно, делается чаще. Он понимает, что они очень похожи. В результате Google может использовать все свои знания о получении ответов на более распространенные запросы, чтобы помочь улучшить то, что он предоставляет для необычных запросов.

Подчеркну, я не знаю, связывает ли RankBrain эти два поиска. Я только знаю, что Google дал первый пример. Это просто иллюстрация того, как RankBrain можно использовать для соединения необычного поиска с обычным, чтобы улучшить ситуацию.

Может ли Bing сделать то же самое с RankNet?

Еще в 2005 году Microsoft начала использовать свою собственную систему машинного обучения под названием RankNet как часть того, что сегодня стало поисковой системой Bing. Фактически, главный исследователь и создатель RankNet недавно был награжден. Но на протяжении многих лет Microsoft почти не говорила о RankNet.

Вы можете поспорить, что это, вероятно, изменится. Также интересно, что, когда я ввел вышеуказанный поиск в Bing, приведенный в качестве примера того, насколько хорош Google RankBrain, Bing дал мне хорошие результаты, включая один список, который также вернул Google:

Один запрос не означает, что RankNet от Bing так же хорош, как RankBrain от Google, или наоборот. К сожалению, очень сложно составить список для такого сравнения.

Есть еще примеры?

Google дал нам один свежий пример: «Сколько столовых ложек в чашке?» Google сказал, что RankBrain предпочел разные результаты для этого запроса в Австралии и США, потому что измерения в каждой стране разные, несмотря на похожие названия.

Я попытался проверить это, выполнив поиск на Google.com по сравнению с Google Australia. Я не увидел большой разницы, сам. Даже без RankBrain результаты часто отличались бы таким образом только из-за «старомодных» способов отдавать предпочтение страницам с известных австралийских сайтов для тех, кто ищет в Google Australia.

Действительно ли RankBrain помогает?

Несмотря на то, что два приведенных выше примера недостаточно убедительны в качестве свидетельства величия RankBrain, я действительно верю, что он, вероятно, оказывает большое влияние, как утверждает Google. Компания довольно консервативна в том, что входит в ее алгоритм ранжирования. Он постоянно проводит небольшие тесты. Но он запускает большие изменения только тогда, когда у него есть большая степень уверенности.

Интеграция RankBrain до такой степени, что он считается третьим по важности сигналом, — это огромное изменение. Я не думаю, что Google сделал бы это, если бы действительно не верил, что помогает.

Когда появился RankBrain?

Google сообщил нам, что в начале 2015 года было постепенное развертывание RankBrain, и что он уже несколько месяцев полностью работает и работает по всему миру.

Какие запросы затронуты?

В октябре 2015 года Google сообщил Bloomberg, что «очень большая часть» из 15 процентов запросов, которые она обычно никогда раньше не видит, обрабатываются RankBrain. Короче говоря, 15 процентов или меньше.

В июне 2016 года стало известно, что RankBrain используется для каждого запроса, который обрабатывает Google. Смотрите наш сюжет об этом:

• Google использует RankBrain для каждого поиска, что влияет на ранжирование «многих» из них.

Всегда ли RankBrain учится?

Google сказал нам, что все обучение, которое делает RankBrain, происходит в автономном режиме. Ему даются серии исторических поисков, и он учится делать на их основе прогнозы.

Эти прогнозы проверяются, и, если они оказываются верными, запускается последняя версия RankBrain. Затем цикл обучения в автономном режиме и тестирования повторяется.

Делает ли RankBrain больше, чем уточнение запросов?

Как правило, способ уточнения запроса — будь то поиск корней, синонимов или теперь RankBrain — не считался фактором ранжирования или сигналом.

Сигналы обычно представляют собой факторы, связанные с контентом, такие как слова на странице, ссылки, указывающие на страницу, находится ли страница на защищенном сервере и так далее. Они также могут быть связаны с пользователем, например, где находится искатель или его история поиска и просмотров.

Итак, когда Google говорит о RankBrain как о третьем по важности сигнале, действительно ли это означает сигнал ранжирования? Да. Google подтвердил нам, что существует компонент, в котором RankBrain напрямую влияет на ранжирование страницы.

Как именно? Есть ли какой-то тип «рейтинга RankBrain», который может оценивать качество? Возможно, но гораздо более вероятно, что RankBrain каким-то образом помогает Google лучше классифицировать страницы на основе их содержания. RankBrain может лучше обобщить содержание страницы, чем существующие системы Google.

Или нет.Google не говорит ничего, кроме участия компонента ранжирования.

Как узнать больше о RankBrain?

Google сказал нам, что людям, которые хотят узнать о словах «векторы» — о том, как слова и фразы могут быть математически связаны, — следует прочитать этот пост в блоге, в котором рассказывается о том, как система (которая в посте не была названа RankBrain) изучила понятие столиц стран, просто просматривая новостные статьи:

Здесь есть более длинная исследовательская работа, на которой это основано. Вы даже можете поиграть со своим собственным проектом машинного обучения, используя инструмент Google word2vec. Кроме того, у Google есть целая область со своими документами по ИИ и машинному обучению, как и у Microsoft.

ПРИМЕЧАНИЕ: Эта история была изменена с момента ее первоначальной публикации в октябре 2015 года, чтобы отразить последнюю информацию.

Мнения, выраженные в этой статье, принадлежат приглашенному автору, а не обязательно поисковой системе. Штатные авторы перечислены здесь.