Алгоритм Яндекса YATI

С помощью поискового алгоритма система определяет релевантность страницы сайта, то есть соответствие контента страницы запросу пользователя. Иначе говоря, система распознает, имеется ли на странице та информация, которую пользователь ищет. Такая смысловая связь между поисковым запросом и результатом называется семантической. Ее механизм строится на системе математических формул и определяет, в том числе, рейтинг сайтов и порядок их ранжирования в поисковой выдаче.

С момента запуска поисковой системы Яндекс в 1997 году алгоритмы менялись многократно. В конце 2020 года анонсировали внедрение нового, последнего на сегодняшний день, поискового алгоритма YATI. Данная аббревиатура означает – Yet Another Transformer with Improvements, то есть «Еще Один Трансформер с Улучшениями». Его запуск называют одним из самых значимых событий в Яндексе за последнее время, поэтому общие сведения об алгоритме статут полезными как для владельцев бизнеса и агентств интернет-маркетинга, так и для обычных пользователей.

В основе построения алгоритма поисковых систем лежит использование нейронных сетей, которые постоянно усложняются и совершенствуются.

Первые нейросетевые структуры не учитывали порядок слов в предложении или учитывали его лишь частично. Также был ограничен набор слов, которые «знала» та или иная структура, а незнакомые слова она делила на знакомые частотные сочетания букв. Все слова в тексте представлялись в виде отдельных векторов, которые суммировались в один общий вектор, определяющий текст. В частности, в период до 2016 года поисковая система при подборе выдачи не учитывала более 90% всей информации, содержащейся в текстах на сайте.

В поисковом запросе может отсутствовать ключевое понятие, которое пользователь желает получить в результате выдачи. В качестве наглядного примера приводят запросы такого рода: «фильм, в котором [происходит то или иное событие]», «картина, на которой [тот или иной образ]». Таким образом юзер ищет название конкретного кинофильма или произведения искусства, и Яндекс «понимает», о чем идет речь.

Для нового трансформера YATI используется принцип обучения transfer learning. Это означает, что сначала собирается информация для решения одной задачи, а затем она способствует решению уже следующей задачи. На первом этапе трансформер обрабатывает большие объемы разнообразных, зачастую недостоверных данных, которые приходят от сервиса Яндекс.Толока. На следующем этапе ему дается уже экспертная, асессорская информация.

В ходе обработки поискового запроса и подбора результатов система учитывает как сам запрос, так и документы, которые пользователь уже открывал. На входе трансформер получает текст поискового запроса, синонимы к нему, релевантные фрагменты тексты и стримы, то есть запросный индекс и анкор-лист. Отличительной особенностью нового алгоритма является способность «предсказывать» клики пользователей на основе уже полученной информации.