Модели

SCAIL-2 — сквозная модель анимации персонажей: она управляет референсным персонажем по исходному видео и не использует промежуточные представления позы, такие как скелетные карты.

Утилита на основе FFMPEG для смешивания видео

Модель MultiTalk создаёт видео с разговором нескольких人 по изображению и аудиофайлам. Получается реалистичная сцена, где несколько человек говорят по очереди.

Изменение сцены, освещения и визуального стиля видео по отредактированным ключевым кадрам с сохранением внешности, мимики, взгляда и движений исходных персонажей. Разработка исследователей Eyeline Labs и Netflix.

Генерация реалистичного звука для видео с необязательным текстовым промптом и объединение с видеорядом

Редактирование видео по референсным изображениям с помощью Bernini-R: объект, материал, фон, стиль или погода из референса переносятся в ваше видео.

Определение поз по видео.

Модель Infinitalk создаёт видео с говорящим аватаром по изображению и аудиофайлу. Аватар синхронизирует губы с аудио и передаёт естественную мимику.

Добавляет к видео синхронизированные звуковые эффекты, свободные от лицензионных отчислений и безопасные для коммерческого использования. Возвращает готовое видео со сведённым сгенерированным звуком.

Удаление фона из видео, снятых на хромакее, с автоматическим подавлением зелёного отсвета для чистых профессиональных краёв.

Генерация коротких видеоклипов из изображений с помощью SVD v1.1 на молниеносной скорости.

Framepack — эффективная модель для генерации видео из изображения, которая создаёт видео авторегрессивно.

Ovi генерирует видео со звуком по изображению и тексту.

Модель DaVinci-MagiHuman: выразительная мимика, естественная согласованность речи и выражения лица, реалистичные движения тела и точная синхронизация аудио и видео

Генерация качественных видео с аватарами в стиле UGC по тексту.

Изменение освещения и ракурса камеры в видео с помощью lightx.

Редактируйте любое видео с помощью инструкции на естественном языке в Bernini-R: меняйте объекты, погоду, фон или ракурс камеры, не затрагивая остальную сцену.

API генерации видео по тексту VEED Fabric 1.0

Возможности tlightx для изменения освещения и перестройки камеры в видео.

SoulX-FlashHead — универсальный фреймворк на 1.3B параметров для потоковой генерации портретного видео в реальном времени: высокая детализация, неограниченная длина.

Меняет освещение в видео по референсному кадру с новым светом, сохраняя сцену, объекты и исходную игру. ID-V2V Relight распространяет новое освещение на всё видео.

Оживите свои идеи!

Интерполяция между кадрами видео

Автоматически создаёт текстовые субтитры к видео по аудиодорожке с учётом заданного цвета и шрифта текста.

Модель Infinitalk создаёт видео с говорящим аватаром по тексту и аудиофайлу. Аватар синхронизирует губы с заданным аудио и естественно передаёт мимику.

Генерирует реалистичное аудио к видео, при желании — по текстовому промпту.

Модель One-to-All Animation оживляет персонажей по одному референсному изображению с помощью управления позой. Она гибко переносит движение между разными стилями и сценами, без необходимости выравнивания.

EchoMimic V3 создаёт говорящий аватар по изображению, аудио и текстовому промпту.

Генерация коротких видеороликов по вашим промптам с помощью SVD v1.1.

Генерация качественных видео с UGC-аватарами по аудио

Framepack — эффективная модель для создания видео из изображения, которая генерирует видео авторегрессионно.

Редактирование видео по текстовым инструкциям с помощью модели Editto

Foley Control — модель для создания звука по видео: автоматически генерирует синхронизированные звуковые эффекты. Тип звука задаётся текстовым промптом, а тайминг и действие на экране модель учитывает сама.

Добавляет звуковые эффекты к видео.

Единый подход к генерации аудио и видео

Модель MultiTalk создаёт видео с говорящим аватаром по изображению и тексту. Автоматически превращает текст в речь, а затем генерирует аватар, который говорит с синхронизацией губ.