DeepMotion — технологическая платформа, специализирующаяся на создании 3D-анимации и системах захвата движения на основе методов компьютерного зрения и машинного обучения. Платформа предоставляет инструменты для преобразования видео с человеком или другим объектом в анимационные данные для применения в игровых движках, системах виртуальной и дополненной реальности, а также в анимационных и визуальных эффект-проектах. Основная цель решений DeepMotion — автоматизация процесса получения скелетной анимации без использования маркеров и специализированного оборудования.
Изначально разработка фокусировалась на исследовании алгоритмов познания позы и динамики тела в движении, с последующей интеграцией в коммерческие сервисы, включая веб-интерфейсы и программные интерфейсы (API) для автоматической генерации анимаций персонажей. Решения компании охватывают этапы от детекции и трекинга ключевых точек на кадре до ретаргетинга полученных данных на 3D-скелеты персонажей различной структуры и экспорта результатов в форматы, совместимые с современными игровыми и анимационными пайплайнами.
- Маркерлесс захват движения: конвертация 2D-видео в 3D-анимацию скелета без физической установки маркеров или специализированной аппаратуры.
- Автоматическое ретаргетинг: перенос движения с полученного скелета на разных по пропорциям и иерархии 3D-персонажей.
- API и интеграция: программные интерфейсы для массовой и автоматизированной обработки видеопотоков, интеграции в производственные конвейеры и игровые движки.
- Поддержка форматов экспорта: экспорт анимаций в стандартные форматы, пригодные для импорта в известные инструменты 3D-моделирования и движки.
- Инструменты для очистки и сглаживания: алгоритмы постобработки для устранения шумов, реста и коррекции артефактов захвата.
- Поддержка нескольких камер/видов: возможность обработки одиночных видеозаписей и многокамерных источников для повышения качества реконструкции.
- Оптимизация под игровые и интерактивные сценарии: адаптация анимаций под требования реального времени и ограничений производительности.
- Коммерческие и облачные сервисы: предложение как локальных инструментов, так и облачных сервисов для масштабируемой обработки.