Над системой работали коллектив Adobe Research и Гонконгского университета науки и технологий. Инструмент преобразовывает картинки или текстовый запрос в ролики в формате RGBA.

ИИ превращает текст и изображения в видео с прозрачным фоном. Визуальные эффекты присутствуют, например, в виде дыма и взрывов, которые можно добавить в клип поверх существующего видеоряда.

Демоверсия доступна на Hugging Face, однако разработчики предупреждают, что для лучшего качества генерации инструмент лучше установить на устройство пользователя с GitHub.

Отличие технологии TransPixar от существующих состоит в том, что добавляет в видео прозрачные элементы. Современные инструменты для создания видео с помощью AI обычно генерируют только цельные изображения.

Новый подход расширяет существующие модели искусственного интеллекта для видео, а не создаёт их с нуля. При этом код общедоступен на GitHub с тем, чтобы разработчики и исследователи могли экспериментировать с технологией.

Авторы полагают, что система будет востребована небольшими студиями, которые не могут позволить себе дорогостоящие работы по созданию эффектов.

TransPixar может быть особенно полезен для использования в режиме реального времени. Видеоигры, приложения дополненной реальности и прямые трансляции могут мгновенно создавать прозрачные эффекты, для чего сегодня требуются часы или дни работы.