Зачем нейросети в свете
Три задачи, где модель даёт свету то, чего не даёт ни пульт, ни алгоритм — и где она только мешает.
Свет — цех, где нейросети применяются реже, чем в видео, и почти всегда в одной роли: источник данных о реальном мире.
Три задачи, где это работает
1. Понять, где человек. Трекинг тела и лица позволяет лучу следовать за артистом без follow-spot-оператора, а инсталляции — реагировать на посетителей. Это самое частое и самое полезное применение — Трекинг в луч.
2. Разобрать музыку глубже, чем полосы. Отделить барабаны от вокала, определить структуру трека, распознать смену части. Обычный анализ даёт громкость по частотам; модель даёт смысл — Разбор музыки.
3. Проверить результат. Камера смотрит в зал, модель сравнивает происходящее с ожидаемым: горит ли то, что должно, куда попал луч, не погас ли участок ленты — Камера как обратная связь.
Четвёртая, спорная
Генерация картин света. Модель предлагает наборы значений, переходы, цветовые сочетания. Работает как подсказка на этапе подготовки, но не как источник шоу — Генерация looks.
Где нейросеть лишняя
| Хочется | Нужно на самом деле |
|---|---|
| «Свет реагирует на музыку через ИИ» | audioAnalysis: точнее и надёжнее |
| «Определить, есть ли движение» | Разница кадров, порог |
| «Красивый генеративный пиксель» | Шум и палитра |
| «Автоматически расставить приборы» | Голова и рулетка |
Правило простое: если задача решается арифметикой — решайте арифметикой. Модель приносит задержку, требования к железу и новый способ всё сломать.
Три ограничения
Задержка. Модель считается 10–100 мс, плюс камера, плюс обработка. Луч, следящий за человеком с задержкой в 200 мс, заметно отстаёт при быстром движении.
Надёжность. В свете отказ виден всему залу мгновенно. Любая модель в тракте требует плана Б — Риски и регламент.
Платформа. Значительная часть готовых решений — только Windows и только NVIDIA RTX. Встроенные операторы TouchDesigner на базе NVIDIA Maxine требуют RTX 20-й серии и выше — Встроенные операторы.
Как это устроено технически
Механика запуска моделей одинакова для видео и для света и подробно разобрана в видеогайде — Как нейросеть запускается в TD. Здесь важно другое: выход модели почти никогда не идёт прямо в DMX. Между ними всегда стоит сглаживание, ограничение и проверка достоверности.
В свете нейросеть незаметна по определению: зритель видит луч, идущий за человеком, а не технологию. Если про инсталляцию рассказывают через название модели, скорее всего, работа ещё не закончена.