Зачем нейросети в TouchDesigner
Модель берут, когда арифметика над пикселями не справляется. Четыре таких задачи, четыре ложных, и три ограничения — задержка, дрожь, платформа.
Нейросеть в реальном времени — инструмент под свои задачи, и сначала стоит понять, где она незаменима, а где её берут ради слова в описании.
Выигрывает модель в четырёх местах. Понять, что в кадре: человек, руки, лицо, граница фигуры, расстояние — классике для этого нужен свой свет или железо, а модели хватает обычной камеры в обычном зале, MediaPipe, Глубина и сегментация. Сделать изображение, которого нет: стилизация, генерация по описанию, дорисовка — диффузия и ComfyUI. Улучшить сигнал: убрать шум, отделить человека от фона, поднять разрешение — Встроенные операторы. Понять текст и речь — Речь, текст и языковые модели.
| Хочется | Нужно на деле |
|---|---|
| «Реакция на музыку через ИИ» | Анализ звука: точнее, стабильнее, бесплатно |
| «Движение в кадре» | Разница кадров с Analyze TOP или Optical Flow TOP — Фильтры |
| «Яркое пятно» | Порог и Blob Track TOP |
| «Красивая генеративка» | Шум, feedback, палитра |
Решается арифметикой над пикселями — решайте арифметикой. Модель приносит задержку, требования к железу и новый способ всё сломать.
Три ограничения
Задержка: от единиц до сотен миллисекунд на кадр плюс подготовка и передача, и даже встроенный NVIDIA Background TOP отстаёт от видео на несколько кадров. Где человек видит себя, это заметно сразу.
Стабильность: диффузия считает каждый кадр заново, и картинка кипит, маски и скелеты дрожат. Помогает сглаживание во времени, мощность карты тут ничего не решает.
Платформа: встроенные NVIDIA-операторы — только Windows и RTX, диффузия — практически только NVIDIA. На macOS остаются MediaPipe, часть моделей через PyTorch на Metal и внешние сервисы.
Поэтому модель в TouchDesigner обычно источник данных, а не картинки: она говорит, где человек и что как далеко, а рисуете вы обычными средствами. Быстрее, стабильнее, красивее сырого выхода.
Сырой выход модели — скелет, маска, карта глубины — интересен разработчику. Зрителю интересно то, что из него сделали.
Начать: как модель запускается, что уже встроено, MediaPipe без установки, и до выезда — Нейросеть на площадке.
Нашли в статье ошибку, устаревшее или непонятное место?