Imagen Video — исследовательская модель генерации видео по текстовому описанию, разработанная подразделениями Google Research и DeepMind. Она основана на каскадных диффузионных моделях, которые последовательно восстанавливают видеокадры высокой разрешающей способности, и использует дополнительные супервизоры по пространству и времени для улучшения согласованности кадров и сохранения деталей движущихся объектов. Модель позиционируется как пример подхода к созданию кратких видеороликов из текстовых подсказок с упором на фотореализм и семантическую соответствие заданному описанию.
Архитектура Imagen Video включает несколько этапов: генерация низкоразрешённых видеопредставлений из текста, последующая их поступенная суперразрешающая обработка и временная фильтрация для обеспечения гладкости движения. Применяются модификации стандартных методов диффузии для обработки как пространственной, так и временной информации, а также отдельные экспертные компоненты, обученные обеспечивать согласованность объектов в кадре и контролировать артефакты. В описаниях разработчиков подчёркивается баланс между качеством отдельных кадров и непрерывностью сюжета в коротких видеопоследовательностях.
- Тип модели: каскадные диффузионные модели для текст‑видео генерации.
- Входы: текстовые подсказки (натуральный язык) и опциональные условные сигналы для управления стилем или движением.
- Каскадная обработка: поэтапная генерация от низкого к высокому разрешению с применением суперразрешающих модулей.
- Пространственно‑временные супервизоры: механизмы обучения, учитывающие согласованность между кадрами и сохранение деталей движущихся объектов.
- Качество кадра: ориентирована на фотореалистичность и высокую детализацию при сохранении целостности сцены.
- Согласованность движения: методы для уменьшения мерцания и артефактов при переходе между соседними кадрами.
- Ограничения: как и другие текст‑видео модели, склонна к ошибкам в рендеринге сложных взаимодействий, может требовать значительных вычислительных ресурсов и имеет ограничения по длительности генерируемых роликов.
- Сценарии использования: прототипирование визуальных идей, генерация коротких иллюстративных клипов, исследовательские эксперименты в области синтеза видео на основе текста.