Камеры, платы захвата и NDI

Живой вход нужен интерактиву, IMAG и тому, чтобы показать зал залу. Работают с ним два оператора, Video Device In TOP и NDI In TOP, и задержка с требованиями у них очень разная.

Video Device In#

Через него приходят веб-камеры, платы захвата и промышленные камеры. Driver выбирает, как работать с устройством: универсальные Media Foundation и DirectShow на Windows, AVFoundation на macOS, а для профессионального железа свои пункты — Blackmagic, AJA, BlueFish444, Deltacast, DataPath и камеры FLIR, Allied Vision, IDS, Ximea. Драйвер производителя обычно работает лучше универсального.

Дальше Device, Signal Format с разрешением и частотой — его ставят явно, чтобы знать, что пришло, — Input Pixel Format на 8, 10, 12 или 16 бит для плат, которые это умеют, и Deinterlace для чересстрочного сигнала. Неиспользуемые входы выключают Active: устройство занято, даже когда картинка никуда не идёт. На странице Options настраивается сама камера; для трекинга экспозицию и усиление фиксируют руками, иначе камера подстроится под человека в светлом.

Задержка#

Она складывается из камеры, захвата, вашей обработки, вывода и экрана. Когда человек видит себя, 100 мс уже заметны, 200 мс разрушают ощущение.

Точные цифры зависят от железа, и мерить их проще всего так: камера снимает экран с бегущим счётчиком кадров, а вы сравниваете число на экране с числом в кадре.

NDI#

NDI In TOP и NDI Out TOP передают видео со звуком по обычной сети. Источники находятся сами через mDNS, а тот, что в другой подсети, вписывают в Extra Search IPs. Картинка идёт в YUV 4:2:2 со сжатием SpeedHQ на процессоре, в 8 или 16 бит, с альфой по желанию (Include Alpha), звук — из Audio CHOP передатчика. У приёмника есть Bandwidth с лёгким потоком Low для превью и Hardware Decode.

Полоса зависит от картинки: по замеру Derivative один 4K-поток с RGB-шумом тянет около 900 Мбит/с, то есть весь гигабитный порт, поэтому полосу проверяют на самом тяжёлом контенте. NDI держат в отдельном от Art-Net и sACN сегменте (Сеть); на гигабите Derivative получала заметный выигрыш от jumbo frames (9014 байт), если их понимает коммутатор. Между двумя TouchDesigner держите одну и ту же сборку. Обратная сторона — Вывод по сети.

Куда его потом#

В трекинг и интерактив — MediaPipe и NVIDIA-операторы. В ключ — Chroma Key или NVIDIA Background (Ключ). В фидбэк, когда камера смотрит на экран. В IMAG — с минимумом обработки.