Встроенные нейросетевые операторы
Нейросети, которые уже есть в OP Create: маска человека, шумоподавление, апскейл, скелет, лицо, оптический поток. Требуют Windows и RTX, модели качают отдельно.
Часть моделей — обычные операторы: создал узел, работает. Платят за это жёсткими требованиями к железу и отдельной загрузкой моделей.
| Оператор | Что делает | Основа |
|---|---|---|
| NVIDIA Background TOP | Маска человека без хромакея | Maxine Video Effects SDK |
| NVIDIA Denoise TOP | Шум или артефакты сжатия | Maxine Video Effects SDK |
| NVIDIA Upscaler TOP | Апскейл: быстрый Upscale или качественный Super Resolution | Maxine Video Effects SDK |
| NVIDIA RTX Video TOP | Апскейл с подавлением артефактов (VSR), SDR → HDR (TrueHDR) | RTX Video SDK |
| Face Track CHOP | Ключевые точки лица, взгляд | Maxine AR SDK |
| Face Track SOP | Сетка лица по Face Track CHOP | Maxine AR SDK |
| Body Track CHOP | Рамки и 34 точки тела, суставы, 2D или 3D | Maxine AR SDK |
| Optical Flow TOP | Векторы движения | NVIDIA |
Background, Denoise и Face Track по требованиям Derivative работают только на Windows с RTX, Upscaler и Body Track стоят на тех же SDK и требуют того же. Optical Flow — Windows и NVIDIA 3000-й серии и новее. На macOS и AMD их нет.
Модели в комплект не входят. Background, Denoise и Upscaler требуют Video Effects SDK, Face Track и Body Track — AR SDK 0.8.7, оба со страницы NVIDIA Broadcast SDK под вашу карту. Без них узел создаётся, но ничего не выдаёт. И с камерой ZED операторы на Video Effects SDK в одном проекте не работают — разные версии TensorRT.
Background и Body Track
Background TOP отделяет человека от любого фона без зелёного экрана
и света на фон: белое — человек, чёрное — фон, дальше Matte TOP. Учили
его на человеке перед веб-камерой, так что со странным ракурсом и не с человеком
он справляется хуже кеинга. Маска отстаёт на несколько кадров, и исходник
задерживают
так же — Cache TOP с отрицательным Output Index перед композитингом.
Край мягкий и дышит, его доводят размытием и порогом, Фильтры.
Body Track CHOP даёт 34 точки на человека: в 2D от левого нижнего угла
кадра или в 3D (Body 3D и угол обзора в Field of View), по желанию
с поворотами суставов и уверенностью каждой точки. People Tracking
ведёт нескольких с постоянными номерами, но SDK держит не больше восьми.
Probation Age — сколько кадров продержаться до номера, против ложных
срабатываний, Shadow Tracking Age — сколько помнить пропавшего,
High Performance ускоряет ценой качества. Дальше обычный CHOP:
сглаживание, нормализация, инстансинг.
Лицо, поток, апскейл
Face Track CHOP ведёт самое крупное лицо в кадре: точки и взгляд,
а с Aspect Correct — координаты с верными пропорциями для 3D. Сетку
лица Face Track SOP подгоняет только с моделью лица NVIDIA .nvf, которой
в комплекте нет; как её сделать, сказано на странице Face Track CHOP,
примеры — в OP Snippets.
Optical Flow TOP записывает движение по X в красный канал, по Y в зелёный,
32-битными числами; 1,0 — ширина экрана в секунду. Из векторов делают
смазы, деформации, «жидкость» из видео, ими же толкают частицы
particlesGpu.
Denoise чистит шумную камеру и артефакты сжатия, но шумоподавление берёт кадр от 80 до 1920 по ширине и от 80 до 1080 по высоте. Upscaler и RTX Video поднимают маленький исходник — архив на большой экран. Код RTX Video TOP открыт на GitHub Derivative.
macOS или нет RTX — трекинг и сегментацию закрывает MediaPipe: бесплатно, на обеих системах, без SDK. Местами менее точно, зато везде.
Нашли в статье ошибку, устаревшее или непонятное место?