Интерактив с камерой

Интерактив чаще ломается на физике: свет, место камеры и люди значат больше алгоритма. Порядок такой: зона (где стоит человек и что видит); камера, которой зона видна целиком и без бликов; свой ровный свет, не зависящий от шоу; способ трекинга; сглаживание (Сглаживание и честная реактивность); связь с картинкой. Красота потом.

Начинают с простого: разница кадров умеет больше, чем кажется, и не падает.

Задержка складывается из камеры, захвата, обработки, рендера, вывода, экрана. До 100 мс связь кажется прямой, до 200 заметно, но работает, дальше человек перестаёт понимать, что влияет он. Режут прежде всего захват (плата вместо USB) и обработку (меньшее разрешение для трекинга), Камеры и платы захвата.

Проект рассчитан на одного, а пришли пятеро. Можно следить за ближайшим: стабильно и понятно. За средним: плавно, но никто не узнаёт в отклике себя. Каждому свой отклик: красиво, но нужна идентификация, которой трекинг не обещает. Общая масса, то есть число людей и суммарное движение, для толпы часто лучше всего.

За три секунды человек должен понять, что это он: мгновенный, пусть маленький отклик, ответ именно на его жест, приглашение, когда он только вошёл в зону.

Служебный вид обязателен: камера, поверх то, что видит алгоритм (точки, маска, пороги), рядом числа. Без него отладка на площадке превращается в гадание.