Портрет через нейросеть

Зритель подходит и видит себя другим. Ниже сборка и то, что в ней обычно забывают.

камера ──▶ подготовка ──▶ [сегментация] ──▶ [диффузия] ──▶ композит ──▶ экран
                │                                              ▲
            есть ли человек ──────────────────────────────────┘
                                                        (запасная графика)

Камера через плату захвата отстаёт меньше USB-камеры (Камеры и платы захвата), свет в зоне свой и ровный. Модель не гоняют вхолостую: разница кадров или MediaPipe говорят, есть ли человек, и только тогда включается тяжёлое. Кадр режут по фигуре и ужимают до входа модели — для диффузии в реальном времени это около 512 × 512 — с контрастом. Сегментация даёт маску для замены фона или эффекта только на человеке, а маска NVIDIA Background TOP отстаёт на кадры, и исходник задерживают так же. Дальше диффузия или обычная стилизация: силу подбирают между «похоже на меня» и «интересно». В конце смесь с оригиналом, цвет, зерно, рамка, Композитинг, потому что чистый выход модели почти всегда хуже смеси.

Задержка#

Человек смотрит на себя, и больше 150–200 мс читается как поломка. Модель считают 15–20 раз в секунду с интерполяцией; показывают живое отражение с лёгким эффектом, а поверх медленнее обновляется результат модели; уменьшают разрешение; выносят модель в процесс, следя, чтобы передача не добавила кадров, Несколько процессов.

План Б#

Модель не встала, карта перегрелась, драйвер обновился ночью — инсталляция работает и так: постеризация, палитра через Lookup, feedback по маске. Переключение автоматическое: проект смотрит, идут ли новые кадры и не выросла ли задержка, и сам уходит на запасную графику и обратно.

Модель может неприятно исказить человека. До открытия её проверяют на людях разной внешности, возраста и цвета кожи — инсталляции закрывают именно из-за этого.