faceshift — швейцарская компания, разработавшая коммерческое программное обеспечение для трекинга лиц и захвата мимики в реальном времени без использования маркеров (markerless facial motion capture). Продукт компании позволял в реальном времени анализировать видеопоток с камеры и преобразовывать выражения лица актёра в данные управления для 3D-аватаров и визуальных эффектов, ускоряя процессы анимации в кино, игровой индустрии и при создании виртуальных персонажей. Решения faceshift сочетали методы компьютерного зрения и машинного обучения для точного отслеживания ключевых точек лица, деформаций и передачи эмоциональной выразительности на цифровые модели.
Компания получила внимание отрасли благодаря удобству интеграции с распространёнными пакетами для 3D-анимации и игровыми движками, а также за возможность работать в режиме реального времени с относительно невысокими требованиями к оборудованию. В 2015 году технология faceshift была приобретена Apple; после приобретения продукт как самостоятельный коммерческий пакет прекратил развитие, а наработки компании были интегрированы в закрытые разработки покупателя. Подробные коммерческие и технические детали, доступные ранее в публичных источниках, после покупки стали менее доступны.
- Markerless tracking: трекинг лице‑вых движений без использования физических маркеров или макияжа для съёмки.
- Реальное время: захват и трансляция мимики в режиме реального времени для интерактивных приложений и живых трансляций.
- Калибровка и адаптация: автоматическая подстройка под разные лица и выражения с минимальной ручной калибровкой.
- Совместимость с 3D‑движками: экспорт данных для управления скелетной или морф‑таргетной анимацией в стандартных пайплайнах.
- Отслеживание подробной мимики: захват движений губ, бровей, век и щёк для передачи нюансов выражений.
- Оптимизация производительности: алгоритмы, ориентированные на работу в реальном времени на профессиональном и полупрофессиональном оборудовании.
- Инструменты для разработчиков: SDK и плагины для интеграции с приложениями для анимации и игровыми движками.
- Применение в VFX и играх: использование для создания реалистичных цифровых персонажей и ускорения рабочего процесса аниматоров.