Яндекс Карты с помощью ИИ на треть увеличили базу точек питания, доступных для людей с особенностями мобильности. В основе решения — связка двух собственных моделей: мультимодальная Alice AI VLM анализирует фотографии, а текстовая Alice AI LLM обобщает данные и принимает финальное решение о доступности места, аргументируя выбор.

Раньше пользователи и владельцы бизнесов вручную отмечали места, доступные для людей на инвалидных колясках, но могли ошибаться в оценке, не учитывая высоту порога или уровень подъёма пандуса. При этом среди ресторанов и кафе фотографии в разделе «Доступность» были лишь у 14% заведений. Пользователям приходилось просматривать десятки снимков, чтобы найти подходящее место.

Идея автоматизировать этот процесс родилась на внутреннем хакатоне Яндекса, посвященном инклюзии. Чтобы решить проблему, команда выстроила двухступенчатую архитектуру.

Сначала фотографии из Карт загружаются в Alice AI VLM. Модель самостоятельно определяет снимки входа и если они релевантны, фото добавляется в специальный раздел «Доступность» в карточке заведения. Благодаря тому, что нейросеть уже проанализировала более 900 тысяч снимков, доля ресторанов и кафе, у которых этот раздел не пустует, выросла в 4,5 раза: с 14% до 62%. Затем VLM отвечает на вопросы по отобранным фотографиям: есть ли ступеньки, порог, пандус, достаточно ли широк проём. Примечательно, что для этого использовалась базовая версия модели — она не требовала дополнительного обучения и сразу показала хорошие результаты.

На следующем этапе Alice AI LLM анализирует ответы по фотографиям входа и на их основе принимает решение о доступности. Если место признано доступным, в карточке заведения появляется соответствующая отметка и генерируется описание для ИИ-чата в Картах. Теперь на вопрос, подойдёт ли заведение для посещения на коляске, вместо сухого «да» или «нет» нейросеть поясняет: «на входе высокий порог, пандуса нет» или «широкий проём, пандус с поручнями».

Если вывод нейросети расходится с пользовательской разметкой, объект отправляется на ручную проверку асессорам — это финальный контур контроля, который сводит ошибки к минимуму. Благодаря использованию ИИ число мест с отметкой «Доступный вход» выросло более чем на треть — с 39 до 52 тысяч. При этом качество ИИ-разметки превышает 80%.

Найти подходящие точки питания можно через ИИ-чат или поиск в Картах, включив фильтр «Доступность входа на инвалидной коляске». Проверить конкретное заведение — в разделе «Особенности» или в блоке фотографий «Доступность».

Сейчас система работает в постоянном режиме и в ближайшее время масштабируется на все категории организаций, делая город доступнее не только для людей с инвалидностью, но и для родителей с колясками или пожилых людей.