10 лет эволюции нейросетей в Яндекс Поиске: как менялся сервис
В компании подвели итоги к юбилею
Яндекс начал развивать нейросетевые технологии ещё 2010-х годах. Этому предшествовала большая декада развития в области машинного обучения. Сегодня технологии Яндекса делают сервисы компании удобными, быстрыми и надёжными для пользователей, а люди, которые за ними стоят, меняют мир вокруг себя и жизни миллионов пользователей.
Впервые нейросети появились десять лет назад в Поиске по похожим картинкам, затем технологии помогли ранжировать сайты, переводить тексты, узнавать больше об объекте с помощью запроса по картинке и многое другое. Сейчас нейросети эволюционировали и многие пользователи и компании получили к ним удобный доступ. Например, генеративные нейросети помогают создавать изображения, тексты, видео и многое другое для своих задач и увлечений.
Ровно 10 лет назад — 5 декабря 2014 года — разработчики Яндекса впервые применили нейросети в Поиске по загруженной картинке. Поиск научился лучше понимать суть картинки и находить не просто такие же картинки в другом качестве, но и другие изображения, близкие по смыслу.
Это было не первое использование нейросетей в Яндексе. В 2012 году с помощью очень простой нейронной сети Яндекс предсказывал ситуацию с пробками, а в 2013 году использовал нейросети в распознавании речи в продукте SpeechKit.
В 2015 в Поиске по картинкам нейросети начинают помогать искать картинки и по текстовым запросам. Раньше основным фактором определения релевантности картинки запросу была не сама картинка, а окружающий её текст на сайте. В Яндексе разработали новую модель, которая оценивала релевантность непосредственно картинки, помещая её в одно семантическое пространство с текстовым запросом.
В 2016 году в поисковом алгоритме «Палех» разработчики Яндекса впервые применили нейросети для ранжирования сайтов. DSSM-подобная модель, разработанная в компании, использовалась для оценки семантической (смысловой) близости заголовков веб-страниц и запросов пользователей. В 2017 в обновлении «Королёв» нейросеть применили уже не только к заголовкам, но и к текстам страниц. Поиск стал лучше отвечать на длинном хвосте уникальных запросов, для ранжирования ответов на которые другой информации было просто недостаточно.
В 2020 для ранжирования сайтов в компании впервые применили тяжёлую нейронную сеть YATI (Yet Another Transformer with Improvements). Это действительно был «ещё один трансформер», архитектурно похожий на другие модели, но доработанный для работы в райнтайме Поиска. Это обновление принесло рекордные улучшения в качестве ранжирования сайтов со времён внедрения Матрикснета в 2009.
Яндекс впервые применил нейросети в машинном переводе в 2017 году. Так Переводчик научился лучше переводить фразы и предложения с учётом контекста. Кроме того, возможность переводить текст появилась и в Поиске: пользователь пишет запрос [translation перевод] и сразу видит результат.
А уже в 2021 в Яндексе запустили настоящий переводной поиск: если на русскоязычный запрос не находился хороший ответ в рунете, то Поиск находил его на англоязычных ресурсах и показывал пользователю, причём сразу в переводе. В том же году сервисы компании научились переводить видео в Поиске и Браузере. Нейросети в технологии машинного перевода помогают пользователям преодолевать языковой барьер и открывать для себя новую, полезную информацию
Миссия Поиска — помогать людям решать задачи. Поэтому Поиск может не просто показать список сайтов, но и подготовить быстрый ответ, подкреплённый ссылками на источники информации. Раньше для формирования коротких ответов на простые вопросы применялась языковая модель YaLM. Начиная с 2024 года Поиск с Нейро стал лучше понимать суть даже сложных вопросов и формулировать ответы с помощью нейросети нового поколения YandexGPT.
А ещё в 2024 году Яндекс впервые применил в Поиске с Нейро мультимодальную VLM-нейросеть, которая объединила опыт в разработке текстовых и картиночных моделей. Теперь пользователи могут задавать вопросы, комбинируя текст и картинку. Поиск поймёт и поможет.