Встроенные нейросетевые операторы

Часть моделей встроена в TouchDesigner как обычные операторы: создали узел — работает. Плата за это — жёсткие требования к железу.

Что есть#

Требования — читать до того, как строить проект#

Дополнительно: модели для Maxine-операторов скачиваются отдельно — Video Effects SDK и AR SDK с сайта NVIDIA, под вашу видеокарту. Без них узел будет создан, но не заработает.

Ещё один нюанс из документации: Maxine-операторы конфликтуют с камерой ZED в одном проекте из-за разных версий TensorRT.

Background TOP вместо хромакея#

Самое практичное применение. Отделяет человека от произвольного фона — без зелёного экрана, без света на фон, в реальном зале.

Что учитывать:

• работает по человеку, не по произвольным объектам;
• край маски мягкий и слегка «дышит» — почти всегда нужен Blur и порог по маске;
• один человек в кадре обрабатывается стабильнее группы.

Body Track CHOP#

Отдаёт 34 точки скелета на человека, в 2D или 3D, с опциональными углами суставов. Текущая версия SDK ограничена восемью людьми одновременно.

Каналы дальше идут как обычный CHOP: сглаживание, нормализация, привязка к геометрии, инстансинг.

Optical Flow TOP#

Считает, куда сместился каждый участок кадра. Не нейросеть в строгом смысле — аппаратный блок NVIDIA, — но решает ту же задачу «понять движение». Из векторов движения делают смазы, деформации, «жидкость» из живого видео.

Denoise и Upscaler#

Denoise полезен не только для рендера: он вычищает шумную картинку с камеры при слабом свете. Upscaler и RTX Video дают увеличение разрешения там, где исходник мал, — например, старый архивный материал на большом экране.