Зачем нейросети в свете
В свете нейросеть почти всегда источник данных о мире. Три задачи, где она нужна, одна спорная, где она лишняя, и три ограничения — задержка, надёжность, платформа.
В свете нейросети работают реже, чем в видео, и почти всегда в одной роли — источник данных о реальном мире.
Первое — понять, где человек: трекинг тела и лица ведёт луч за артистом без пушкаря, а инсталляцию заставляет отвечать посетителям; это самое частое и полезное, Трекинг в луч. Второе — разобрать музыку глубже полос: отделить барабаны от вокала, понять структуру трека, услышать смену части; обычный анализ даёт громкость по частотам, модель — смысл, Разбор музыки. Третье — проверить результат: камера смотрит в зал, а модель сверяет — горит ли нужное, куда попал луч, не погас ли кусок ленты, Камера как обратная связь. Спорная четвёртая — генерация картин света: модель предлагает наборы значений, переходы, сочетания цвета. Как подсказка на подготовке годится, как источник шоу — нет, Генерация looks.
| Хочется | Нужно на деле |
|---|---|
| «Свет реагирует на музыку через ИИ» | Анализ звука: точнее и надёжнее |
| «Есть ли движение» | Разница кадров и порог |
| «Красивый генеративный пиксель» | Шум и палитра |
| «Расставить приборы автоматически» | Голова и рулетка |
Если задача решается арифметикой, решайте её арифметикой: модель приносит задержку, требования к железу и новый способ всё сломать.
Задержка: 10–100 мс модели плюс камера и обработка, и на быстром движении задержка луча в 200 мс уже заметна. Надёжность: отказ света видит весь зал сразу, и у любой модели в тракте есть план Б, Риски и регламент. Платформа: многое готовое — только Windows и NVIDIA RTX, так устроены и встроенные операторы на SDK NVIDIA Maxine, Встроенные операторы, а на любой платформе работает MediaPipe. Запускаются модели в свете так же, как в видео, — Как нейросеть запускается в TD. Важно другое: выход модели почти никогда не идёт в DMX напрямую, между ними всегда сглаживание, ограничение и проверка достоверности.
В свете нейросеть незаметна по определению: зритель видит луч за человеком, а не технологию. Если об инсталляции рассказывают через название модели, работа, скорее всего, не закончена.
Нашли в статье ошибку, устаревшее или непонятное место?