Яндекс Драйв обновил технологию фотоконтроля в сервисе. Ранее решения об операционных задачах принимал алгоритм с ML-фильтрацией и ручной модерацией. Сейчас процесс фотоконтроля стал почти полностью автоматизированным благодаря комплексу нейросетей для обработки визуальных данных: визуальному трансформеру (ViT) и визуально-языковой модели (VLM). Эти модели каждый день анализируют состояние 12 тысяч машин из автопарка сервиса.

При аренде приложение запрашивает у пользователя фотографии выбранной машины и просит ответить на несколько вопросов о её состоянии, после чего система анализирует полученные данные. Чтобы нейросети могли выявлять повреждения, например, царапины и вмятины, и фиксировать загрязнения, Яндекс Драйв обучил модели на специально размеченных наборах данных.

В случае загрязнений компьютерное зрение присваивает транспортному средству балл от 1 до 100: чем выше оценка, тем выше вероятность, что автомобиль в скором времени будет отправлен на мойку. При расчете показателя учитываются текущий сезон и история поездок конкретного автомобиля.

Точность работы системы повышает визуально-языковая модель (VLM). Она используется для подтверждения и уточнения результатов, полученных на более ранних этапах, — помогает различать типы повреждений и определять степень загрязнений, корректно классифицировать спорные случаи и обеспечивать стабильность качества проверки в сервисе. Полнота повреждений, определяемых технологией, равна 99,9%.

Внедрение комплекса нейросетей позволило ускорить операционный процесс, не теряя точности, и на 17% снизить негативный фидбек пользователей на чистоту автомобиля.