Трекинг человека в луч
Автоматический пушкарь: от камеры до pan и tilt. Чем следить, как перевести пиксели кадра в метры зала, обязательная обработка, потеря трекинга и ИК против шоу-света.
Самое востребованное и одно из немногих оправданных применений модели в свете — луч, идущий за человеком без оператора. Сборка целиком — Головы следят за человеком.
камера ──▶ модель ──▶ координаты в кадре ──▶ координаты в зале
│
цель в 3D-сцене
│
pan tilt CHOP ──▶ dmx
Главный шаг — третий, перевод из пикселей кадра в метры зала.
| Способ | Что даёт | Платформа |
|---|---|---|
| MediaPipe | Скелет, один-несколько человек | Windows и macOS, бесплатно |
| Body Track CHOP | 34 точки, до восьми человек | Windows и RTX |
| Камера глубины или лидар | Позиция в трёх измерениях | Своё железо |
| Радиомаяк на артисте | Надёжнее всего, но не нейросеть | Специализированные системы |
Одному артисту хватит MediaPipe, нескольким нужна устойчивая идентификация, а модели её не обещают.
Камера видит плоскую проекцию, и чтобы получить точку в зале, нужны дополнительные данные. Предположение о полу: человек стоит на сцене, значит, точка опоры в её плоскости, и при известных положении и параметрах камеры луч зрения пересекают с полом — хорошо работает, но требует калибровки камеры. Две камеры: триангуляция даёт настоящие три координаты, точнее, дороже, сложнее. Камера глубины: расстояние приходит с картинкой. Калибруют камеру как приборы — несколько точек на полу с известными координатами и расчёт соответствия.
| Шаг | Зачем |
|---|---|
| Порог достоверности | Точка с низкой уверенностью не в счёт |
| Фильтр | Убрать дрожь — Фейды и кривые |
| Предел скорости | Голова не телепортируется — Физика |
| Предел зоны | Луч не уходит со сцены |
| Удержание | Человек пропал — держим последнее место |
Сырые координаты на приборы не подают никогда. Потерялся трекинг — что делать, решают заранее: держать последнюю позицию, обычно лучшее; плавно уйти в центр, предсказуемо; погасить, честно, но заметно; отдать оператору, идеально, если он есть. Резко бросить луч в ноль координат нельзя — так сбой заметнее всего.
Контровой, дым, строб, прыгающая яркость — артист в контровом становится силуэтом, которого модель не узнаёт. Обычный выход — ИК-подсветка и камера с ИК-фильтром: зрителю темно, камере светло.
План Б обязателен: ручная позиция с пульта или планшета, включаемая одной кнопкой. Автоматический пушкарь, у которого нельзя отнять управление, готовым решением не считается.
Нашли в статье ошибку, устаревшее или непонятное место?