К содержанию
fohbook/ TouchDesigner
уверенный

Камеры, платы захвата и NDI

Живая картинка в патче: веб-камера, SDI/HDMI-захват, NDI и задержка, которую они добавляют.

Живой вход нужен для интерактива, для IMAG и для того, чтобы показать зал залу. Операторов три, и они очень разные по задержке.

Video Device In TOP

Универсальный вход: веб-камеры, платы захвата, USB-устройства.

Ключевые параметры:

  • Library — драйверный слой. На Windows это чаще всего Media Foundation или специализированные SDK; для плат Blackmagic и AJA есть отдельные режимы, и они работают лучше универсальных.
  • Device / Format / Resolution / FPS — выбирайте явно; «авто» любит взять MJPEG 15 кадров вместо нормального режима.
  • Deinterlace — для вещательных источников.
  • Active — не забывайте выключать неиспользуемые входы: устройство занимается даже без вывода.

Что выбрать по задержке

Источник Типичная задержка Комментарий
SDI/HDMI-плата (Blackmagic, AJA) 1–2 кадра Единственный вариант для IMAG
USB 3.0 захват 2–4 кадра Приемлемо для интерактива
Веб-камера USB 3–6 кадров Для трекинга годится
NDI (полный) 3–8 кадров Зависит от сети и настроек
NDI HX больше Сильнее сжатие, больше задержка

Задержка складывается: камера + захват + ваша обработка + вывод + экран. Для интерактива, где человек видит себя, суммарные 100 мс — заметны, 200 мс — уже разрушают ощущение.

NDI

NDI In TOP и NDI Out TOP — видео по обычной сети между приложениями и машинами. Работает без настройки: источники находятся сами.

Что стоит знать:

  • Полоса. Полный NDI в FullHD 60p — примерно 120–140 Мбит/с на поток. Гигабитная сеть держит несколько потоков, но не десяток.
  • Отдельная сеть. Не смешивайте NDI с Art-Net и sACN в одном физическом сегменте — Сеть.
  • Альфа. NDI умеет передавать альфу; проверьте, что принимающая сторона её ждёт.
  • Звук передаётся вместе с картинкой.

Обратная сторона — Вывод по сети.

Что делать с живым входом

  • Трекинг и интерактивMediaPipe, Nvidia-операторы.
  • КейингChroma Key TOP или нейросетевой Background TOP.
  • Обратная связь — камера смотрит на экран, картинка идёт в фидбэк.
  • IMAG — просто прокинуть на экран, желательно с минимумом обработки.
Камера отключилась — что покажет проект?

На площадке кабель выдёргивают. Держите Switch TOP, который подставляет заглушку, когда Info CHOP на входе говорит, что сигнала нет. Чёрный экран лучше, чем зависший последний кадр с чьим-то затылком.

Проверьте формат, а не только картинку

Плата может отдавать 1080i вместо 1080p, YUV вместо RGB, 25 кадров вместо 30. Картинка при этом выглядит нормально, а рывки появляются через час. Info DAT на входе показывает, что пришло на самом деле.

рядом по смыслу