Интерактив с камерой

Интерактив ломается не в коде, а в физике: свет, расположение камеры и поведение людей решают больше, чем алгоритм.

Порядок сборки#

1. Определите зону. Где стоит человек, откуда смотрит, что видит.
2. Поставьте камеру так, чтобы зона была видна целиком и без бликов.
3. Обеспечьте свет в зоне — ровный, постоянный, независимый от шоу.
4. Выберите способ трекинга — таблица ниже.
5. Сгладьте данные — Сглаживание.
6. Свяжите с картинкой — и только теперь занимайтесь красотой.

Чем следить#

Начинайте с простого. Разница кадров решает больше задач, чем кажется, и не падает.

Свет — половина успеха#

Задержка#

Складывается: камера + захват + обработка + рендер + вывод + экран. Ориентиры:

• до 100 мс — связь ощущается прямой;
• 100–200 мс — заметно, но работает;
• больше 200 мс — человек перестаёт понимать, что влияет он.

Уменьшать надо в первую очередь захват (плата вместо USB) и обработку (меньшее разрешение для трекинга) — Камеры.

Когда людей много#

Инсталляция рассчитана на одного, а приходят пятеро. Заранее решите:

• берём ближайшего — стабильно и понятно;
• усредняем — плавно, но никто не чувствует влияния;
• каждому своё — красиво и требует устойчивой идентификации, которой трекинг не гарантирует;
• общая масса — количество и суммарное движение как параметры. Часто лучший вариант для толпы.

Обратная связь зрителю#

Человек должен понять за три секунды, что он влияет. Что помогает:

• мгновенная реакция на движение, пусть небольшая;
• заметный отклик именно на его действие, а не на общее состояние;
• «приглашение»: заметная реакция, когда человек только вошёл в зону.

Отладка#

Держите служебный вид: картинка с камеры, поверх — то, что видит алгоритм (точки, маска, пороги), рядом — числа. Без этого отладка на площадке превращается в гадание.