Яндекс выложил в опенсорс YTsaurus Flow — технологию для непрерывной обработки больших потоков данных. Она обрабатывает клики, лайки и другие события в интернете сразу же — по мере их появления. Благодаря этому алгоритмы быстрее замечают, как изменились интересы пользователей и что происходит в сети. Это позволяет мгновенно распознавать действия мошенников, точнее рекомендовать товары, книги, фильмы и так далее и подбирать рекламу, которая действительно полезна.

Чтобы алгоритмы уловили смену интересов, им нужны свежие данные о действиях пользователя — что он покупал, какую музыку слушал, о чем спрашивал. Однако эти данные обычно обрабатывают не сразу, а сначала накапливают — примерно как посылки для отправки поездом. Из-за этого информация поступает в систему с задержкой, которая может составлять часы. YTsaurus Flow сводит эту задержку практически к нулю, поскольку обрабатывает данные в реальном времени — по мере поступления.

Технология будет полезна в самых разных проектах, где важна свежесть информации, — не только в рекламных и рекомендательных сервисах. Например, с её помощью можно готовить данные для обучения ML-моделей, обновлять информацию для сайтов и приложений, считать просмотры, клики и заказы. Технология рассчитана на высокую нагрузку и обрабатывает каждое событие ровно один раз, не теряя и не дублируя данные. Она продолжает работать даже в случае сбоев, перераспределяя нагрузку между доступными серверами.

YTsaurus Flow уже применяется во многих сервисах Яндекса. Например, Маркету она помогает быстрее собирать статистику, чтобы продавцы могли оперативно реагировать на изменение спроса, антифрод-системам — обнаруживать действия злоумышленников, а Рекламе — подбирать интересные людям предложения. Например, раньше на подготовку данных для дообучения некоторых моделей, отвечающих за подбор рекламы, уходило больше 10 часов. С помощью YTsaurus Flow эту задержку удалось почти полностью устранить. Каждую секунду YTsaurus Flow обрабатывает в Яндекс Рекламе более 100 ГБ данных и миллионы событий в интернете: кликов, показов, лайков, заказов и так далее.

Технология доступна под лицензией Apache 2.0, что позволяет использовать её в том числе в коммерческих проектах.