Трекинг человека в луч
Автоматический follow-spot: от камеры до pan/tilt, со сглаживанием, ограничениями и планом Б.
Самое востребованное применение моделей в свете — и одно из немногих оправданных: луч, следующий за человеком без оператора. Сборка целиком — Головы следят за человеком.
Тракт
камера ──▶ модель ──▶ координаты в кадре ──▶ координаты в зале
│
цель в 3D-сцене
│
pan tilt CHOP ──▶ dmx
Ключевой шаг — третий: перевод из пикселей кадра в метры зала.
Чем следить
| Способ | Что даёт | Платформа |
|---|---|---|
| MediaPipe | Скелет, один-несколько человек | Windows и macOS, бесплатно |
| Body Track CHOP | 34 точки, до 8 человек | Windows + RTX |
| Камера глубины | Позиция в трёх измерениях | Отдельное железо |
| Радиомаяк на артисте | Надёжнее всего, но не нейросеть | Специализированные системы |
Для сцены с одним артистом достаточно MediaPipe. Для нескольких людей нужна устойчивая идентификация, которой модели не гарантируют.
Из кадра в зал
Камера видит двумерную проекцию. Чтобы получить точку в зале, нужна дополнительная информация:
- Предположение о плоскости. Человек стоит на полу — значит, точка опоры лежит в плоскости сцены. Зная положение и параметры камеры, считаем пересечение луча зрения с полом. Работает хорошо и требует калибровки камеры.
- Две камеры. Триангуляция даёт настоящие три координаты. Точнее, дороже, сложнее.
- Камера глубины. Расстояние приходит вместе с картинкой.
Калибровка камеры делается тем же способом, что калибровка приборов: несколько точек с известными координатами на полу, наведение, расчёт соответствия.
Обязательная обработка
Сырые координаты подавать на приборы нельзя.
| Шаг | Зачем |
|---|---|
| Порог достоверности | Точка с низкой уверенностью игнорируется |
| Фильтр | Убрать дрожание — Фейды и кривые |
| Ограничение скорости | Голова не телепортируется — Физика |
| Ограничение зоны | Луч не выходит за пределы сцены |
| Удержание | Человек пропал — держим последнюю позицию, не бросаем луч |
Что делать, когда трекинг потерялся
Решение принимается заранее:
- держать последнюю позицию — обычно лучший вариант;
- плавно уйти в центр сцены — предсказуемо;
- погасить луч — честно, но заметно;
- передать управление оператору — идеально, если оператор есть.
Чего делать нельзя: резко бросать луч в ноль координат. Это самое заметное проявление сбоя.
Свет мешает трекингу
Контровой свет, дым, стробоскоп, смена яркости — всё это разрушает работу моделей. Артист в контровом свете превращается в силуэт, который модель не распознаёт. Стандартное решение: инфракрасная подсветка и камера с ИК-фильтром. Для зрителя темно, для камеры светло, шоу трекингу не мешает.
План Б
Обязателен: ручное управление позицией с пульта или с планшета, переключаемое одной кнопкой. Автоматический follow-spot без возможности взять управление — не готовое решение.