Алгоритм Королев — новый поиск Яндекса
Новый алгоритм Королев умеет обучаться, используя поисковую статистику и оценки миллионов людей. Таким образом, в поиске Яндекса появился искусственный интеллект, с одной задачей, дать правильный ответ.
Устанавливать алгоритм Королев не надо, он уже установлен на сервере Яндекса. И все миллионы запросов идут через новый алгоритм Королев. Основное направление алгоритма это микрочастотные запросы с длинным хвостом, которые задаются на разговорном языке. И практически не затрагивает коммерческую выдачу, что так сильно беспокоит владельцев интернет-магазинов. Новый поиск Яндекса выделяется тем, что он может найти релевантные документы, которые даже не содержат многие из слов, входящих в запрос. Что традиционные алгоритмы ранжирования не могут сделать, так как основаны на текстовой релевантности.
Также рекомендую посмотреть статью о новой технологии — печати солнечных панелей на любых поверхностях
Новый поиск Яндекса
По мере расширения Интернета, появлялись критерии отбора веб-страниц для поисковой выдачи. Поисковые системы начали учитывать ссылки на документы, научились определять регион, откуда поступил запрос, стали обращать внимание на поведение пользователей. Количество критериев (факторов ранжирования) становилось все больше и больше, и прописать их все в виде инструкций становилось невозможным. Решили научить программу самой принимать решения, какие признаки использовать и как их комбинировать.
И в Яндексе придумали алгоритм Матрикснет — это метод машинного обучения, с помощью которого строится формула ранжирования. Но Матрикснет учитывал только слова, смысловой поиск (или семантический) появился с приходом алгоритма Палех (2 ноября 2016 г).
В основе алгоритма Палех лежит искусственная нейросеть.
Искусственные нейронные сети представляют собой компьютерную модель, которая работает по тому же принципу, что и человеческий мозг. Она принимает решения исходя из множества факторов, а главное — самостоятельно устанавливает закономерности и учится на своих ошибках. Нейросети показали отличные результаты в задачах, с которыми люди традиционно справлялись лучше машин: скажем, распознавание речи или объектов на изображениях.
В алгоритме Палех, нейронная сеть преобразовывает поисковые запросы и заголовки веб-страниц в группы чисел — семантические векторы. Важное свойство таких векторов состоит в том, что их можно сравнивать друг с другом: чем сильнее будет сходство, тем ближе друг к другу по смыслу запрос и заголовок веб-страницы.
Алгоритм Королев — принцип работы
Поисковый алгоритм Королев также как и Палех, основывается на искусственной нейронной сети, только новый алгоритм учитывает всю страницу целиком, а не только её заголовок. В процессе индексации сайтов, Королев составляет семантические векторы веб-страниц целиком, помогает ему в этом искусственные нейронные сети. И когда человек вводит поисковый запрос, нейросеть создает семантический вектор поискового запроса и сравнивает его с уже имеющимися векторами веб-страниц.
Далее алгоритм анализирует поведение человека на странице поиска, на какие результаты реагирует, на каких страницах долго задерживается и, исходя из этого, корректирует свою работу. Также он учитывает, по каким поисковым запросам пользователи попадали на страницу.
Основное новшество такого поиска является понимание машиной смысла всего текста, картинки, видео. Это позволяет выйти на новый уровень понимания смысла.
Представьте, что вы впервые услышали о романе Льва Толстого «Война и мир». Безусловно, вы сможете извлечь смысл из названия — например, предположить, что в книге много батальных сцен. Но чтобы узнать все хитросплетения сюжета и давать исчерпывающие ответы на вопросы о романе, вам потребуется прочитать его полностью.
Умение понимать смысл особенно полезно при обработке редких и необычных запросов — когда люди пытаются описать своими словами свойства того или иного объекта и ожидают, что поиск подскажет его название: [фото где кошка прыгает] или [фильм про умную собаку].
Девиз нового поиска Яндекс — поиск, который мы сделали вместе
То, что нейросети имеют возможность обучения у пользователей, рано или поздно позволит научить новый поиск Яндекса оперировать смыслами на уровне человека. Но без помощи людей тут не обойтись. Чтобы машина поняла, как решать ту или иную задачу, необходимо показать ей огромное количество примеров: положительных и отрицательных. Такие примеры дают пользователи Яндекса.
Нейронная сеть, которую использует алгоритм Королев, обучается на обезличенной поисковой статистике. Системы сбора статистики учитывают, на какие страницы пользователи переходят по тем или иным запросам и сколько времени они там проводят. Если человек открыл веб-страницу и «завис» там надолго, вероятно, он нашёл то, что искал, — то есть страница хорошо отвечает на его запрос. Это положительный пример. Подобрать отрицательные примеры гораздо легче: достаточно взять запрос и любую случайную веб-страницу.
В основе современного поиска лежат сложные алгоритмы. Алгоритмы придумывают разработчики, а учат — миллионы пользователей Яндекса. Любой запрос — это анонимный сигнал, который помогает машине всё лучше понимать людей. Поэтому новый поиск Яндекса — это поиск, который мы сделали вместе.
