Портрет через нейросеть
Инсталляция, где зритель видит себя преобразованным: сборка, задержка, план Б и этика.
Классический сценарий: человек подходит, видит себя — но другим. Разберём сборку целиком, включая то, что обычно забывают.
Схема
камера ──▶ подготовка ──▶ [сегментация] ──▶ [диффузия] ──▶ композит ──▶ экран
│ ▲
детект человека ──────────────────────────────────┘
(запасная графика)
Шаг за шагом
1. Камера. Плата захвата, а не USB-камера: меньше задержка — Камеры. Свет в зоне — ровный и независимый от шоу.
2. Есть ли человек. Не гоняйте модель впустую: детект присутствия (разница кадров, MediaPipe) включает тяжёлую часть только когда есть кого обрабатывать.
3. Подготовка кадра. Кроп по фигуре, приведение к разрешению модели (обычно 512), контраст. Модель не должна получать полный кадр зала.
4. Отделение фигуры. Сегментация даёт маску: можно заменить фон, можно применять эффект только к человеку.
5. Преобразование. Диффузия в реальном времени или более лёгкая стилизация. Сила преобразования — компромисс между «похоже на меня» и «интересно».
6. Композит. Смешивание с оригиналом (обычно 60–80 % результата модели), цвет, зерно, рамка. Чистый выход модели почти всегда выглядит хуже смеси — Композитинг.
Задержка — главный враг
Человек смотрит на себя. Всё, что больше 150–200 мс, читается как «сломалось». Что помогает:
- считать модель реже (15–20 раз в секунду) и интерполировать;
- показывать «живое» отражение с наложенным эффектом, а поверх — результат модели, обновляющийся медленнее;
- уменьшить разрешение модели;
- вынести модель в отдельный процесс, но следить, что передача не добавляет ещё кадров — Несколько процессов.
План Б
Модель не запустилась, карта перегрелась, драйвер обновился ночью. Инсталляция обязана работать без неё: стилизация обычными средствами (постеризация, палитра, фидбэк по маске) выглядит достойно и не требует ничего.
Переключение — автоматическое, по признаку «модель отвечает».
Этика и данные
Кадры не сохраняются, если это прямо не согласовано и не объявлено. Табличка на входе с понятным текстом — минимум. Если инсталляция позволяет сохранить или отправить портрет — это отдельное явное действие зрителя, а не поведение по умолчанию.
Отдельно: модель может исказить человека неприятным образом. Проверьте работу на людях разной внешности, возраста и цвета кожи до открытия. Это не формальность — это то, из-за чего инсталляции закрывают.
Сильные работы этого жанра обычно не «делают красиво», а показывают человеку что-то неожиданное о нём самом. Стилизация под известного художника — самое очевидное и самое быстро надоедающее решение.