пул 12
Нейросети
Зачем, как запускать и что уже работает в реальном времени
уровень
- 01Зачем нейросети в TouchDesignerуверенныйМодель берут, когда арифметика над пикселями не справляется. Четыре таких задачи, четыре ложных, и три ограничения — задержка, дрожь, платформа.
- 02Как нейросеть запускается в TouchDesignerпрофиГде считать модель: встроенный оператор, Python в процессе TouchDesigner с tdPyEnvManager и Thread Manager, отдельный процесс или сервис. Цена каждого и официальный TDDepthAnything как шаблон.
- 03Встроенные нейросетевые операторыуверенныйНейросети, которые уже есть в OP Create: маска человека, шумоподавление, апскейл, скелет, лицо, оптический поток. Требуют Windows и RTX, модели качают отдельно.
- 04MediaPipe: тело, руки, лицоуверенныйОткрытый плагин Torin Blankensmith и Dom Scott: модели MediaPipe в Chromium внутри TouchDesigner. Как подать картинку через виртуальную камеру, что приходит на выходе и как не дать точкам дрожать.
- 05Глубина и сегментацияпрофиСколько до объекта и где кончается фигура. Depth Anything V2 по примеру Derivative, камеры глубины, сегментация от хромакея до SAM, и как маску успокоить.
- 06Диффузия в реальном временипрофиStreamDiffusion в патче: TouchDiffusion и StreamDiffusionTD, сколько кадров даёт какая карта, почему картинка кипит и как держать диффузию так, чтобы шоу без неё выжило.
- 07ComfyUI и офлайн-генерацияпрофиКогда реального времени мало: граф ComfyUI, вызванный из TouchDesigner. Экспорт в API, мосты ComfyUI-TD и ComfyTD, очередь и кэш, и почему ComfyUI лучше держать на другой машине.
- 08Речь, текст и языковые моделипрофиГолос, текст и языковые модели — слой, который работает в масштабе секунд. Web Client DAT или Python в потоке, ключ вне проекта, модерация, запасной ответ и локальные модели для долгих инсталляций.
- 09Нейросеть на площадкепрофиМодель на шоу — новый класс отказов. Шесть пунктов регламента, вопросы к себе, на которые нужен ответ до выезда, и разговор с заказчиком о правах, ожиданиях и данных зрителей.