ByteDance выпустила OmniHuman-1 — генератор deepfake-видео
Он может «оживлять» изображения и синхронизировать видео с загруженным аудио
Китайская компания ByteDance (владеет TikTok) представила проект OmniHuman-1 — генеративный ИИ, который «оживляет» изображения и синхронизирует видео с загруженным аудио. Как отмечают в TechCrunch, ИИ-модель хорошо справляется с естественными человеческими движениями, и итоговые видео получаются «пожалуй, самыми реалистичными» среди конкурентов.
«В последние годы сквозная человеческая анимация претерпела заметные улучшения. Однако существующие методы по-прежнему с трудом масштабируются в качестве больших общих моделей генерации видео, что ограничивает их потенциал в реальных приложениях».
Нейросеть обрабатывает снимки с людьми крупным планом или в полный рост. OmiHuman-1 также взаимодействует с посторонними предметами на фото, если они имеются. При генерации видео можно регулировать соотношение сторон итогового видео и настраивать кадр.
В основе OmiHuman-1 лежит видеогенератор SeaWeed (также разработан ByteDance). У OmniHuman-1 есть бесплатная демоверсия, но в настоящее время она не работает.
Источник: Rozetked