Глубина и сегментация
Сколько до объекта и где кончается фигура. Depth Anything V2 по примеру Derivative, камеры глубины, сегментация от хромакея до SAM, и как маску успокоить.
Модели незаменимы в двух вопросах: как далеко и где кончается фигура.
Глубина
Монокулярная модель рисует карту расстояний по одному кадру; ходовой выбор сейчас — Depth Anything V2. У базовых моделей карта относительная, «ближе — дальше», а метры дают отдельные метрические версии.
Готовый путь — TDDepthAnything, пример разработчика Derivative на их сайте: Depth Anything V2 Small с Hugging Face через PyTorch и Transformers, tdPyEnvManager, Thread Manager, ветка 2025.30000 и новее, Windows с CUDA и macOS на процессоре или Metal, Как нейросеть запускается. Его v2 RT на TensorRT, выросший из компонента Oleg Chomp, быстрее, но только на NVIDIA и с движком под конкретную карту. А если можно поставить железо, камера глубины — Orbbec, Kinect Azure, ZED, RealSense — даст настоящие расстояния и стабильнее модели, Датчики.
| Приём | Как |
|---|---|
| Слои по расстоянию | Порог по глубине — маска переднего плана |
| Параллакс | Сдвиг по глубине, «оживший» кадр |
| Частицы по форме | Глубина и цвет в облако точек — POP, Облака точек |
| Свет на 2D | Нормали из глубины |
| Замена фона | Порог вместо хромакея |
| Взаимодействие | Человек ближе порога — событие |
С картой глубины работают как с буфером глубины рендера, Камеры, глубина и проходы.
Маска
| Способ | Край | Скорость |
|---|---|---|
| Chroma Key TOP, RGB Key TOP | Отличный при ровном зелёном | Мгновенно |
| Порог по глубине | Средний | Быстро |
| NVIDIA Background TOP | Хороший по людям | Быстро, отстаёт на кадры |
| MediaPipe Segmentation | Средний, везде | Быстро |
| Robust Video Matting и родня | Хороший, ровный во времени | Средне, через Python |
| SAM и родня | Отличный по чему угодно | Медленно |
В реальном времени берут Background TOP на Windows с RTX или MediaPipe где угодно, а SAM гоняют заранее на подготовке материала. Кеинг — Ключ: отделить объект от фона.
Сырую маску доводят: размытие для мягкого края, Level для порога. И сглаживают во времени, потому что маска дышит, — смесь с прошлым кадром через Feedback с малым коэффициентом.
маска ──▶ blur (мягкий край) ──▶ level (контраст порога) ──▶ использовать
Слова «сегментация» зритель не знает. Дрожащий контур он видит сразу. Мягкий край, свечение по границе и сглаживание во времени дают больше правдоподобия, чем модель потяжелее.
15–20 раз в секунду с интерполяцией выглядят почти как 60 и освобождают видеокарту, Что не должно кукаться.
Нашли в статье ошибку, устаревшее или непонятное место?