К содержанию
fohbookбета/ TouchDesigner

Нейросеть на площадке

Модель на шоу — новый класс отказов. Шесть пунктов регламента, вопросы к себе, на которые нужен ответ до выезда, и разговор с заказчиком о правах, ожиданиях и данных зрителей.

Ветка вашего пульта:
Быстрый выбор:

Модель приносит новые возможности и новые способы сломаться. Регламент пишут до выезда.

Модель работает отдельным процессом или в Engine COMP с Reload on Crash, и её падение не останавливает вывод. В шоу есть тумблер «нейросеть выключена» и законченная альтернативная графика — это часть проекта, а не строчка в плане. Прогрев идёт при запуске, до открытия вывода: первый проход медленный, движок TensorRT собирается минутами, Кэш и предзагрузка. Драйвер, CUDA, PyTorch или ONNX Runtime, Python, сборка TouchDesigner и веса записаны и заморожены, перед шоу ничего не обновляют. На служебном экране — «модель отвечает, задержка N мс», чтобы отказ увидели раньше зрителя, Мониторинг. И модель считается реже картинки, с интерполяцией.

Вопрос Нет ответа —
Что покажет шоу, если модель не встала? Не брать её в шоу
Сколько длится холодный старт? Измерить, вписать в регламент
Кто перезапустит в 23:40? Watchdog
Что видит зритель во время сбоя? Спроектировать это состояние
Работает ли на площадочном железе? Проверить на нём
Нужен ли интернет? Проверить, что будет без него

Заказчик

Модель учили на чужих работах, у весов своя лицензия, и коммерческое использование разрешает не каждая. Заказчик знает, что в шоу генеративная модель, и соглашается осознанно; для брендов лицензию разбирают юристы.

«Нейросеть» в брифе обычно значит «что-то удивительное». Реальный результат на реальном материале показывают до подписания — ролики из интернета сняты не в вашем зале и не вашей камерой.

Снимает посетителей или слушает их голос — значит, обрабатывает персональные данные. Без основания ничего не сохраняют, посетителей предупреждают, табличка на входе — минимум, а требования закона уточняют до запуска.

Публичный ввод

Текст, голос или картинка от зрителей — и в первый же день кто-то попробует добиться неприемлемого. Фильтр на входе и выходе обязателен.

Модель в реальном времени пока дорогая и хрупкая. Она оправдана, когда без неё задачу не решить — где человек, как далеко, где край фигуры, — и редко оправдана ради слова в описании.

Художнику

Хорошую работу с моделью не видно: зритель видит результат. Если главное слово в описании проекта — название модели, работа, скорее всего, не закончена.

Нашли в статье ошибку, устаревшее или непонятное место?

рядом по смыслу