MediaPipe: тело, руки, лицо
Бесплатный плагин, работающий на Mac и PC без установки: скелет, кисти, лицо, жесты и сегментация.
MediaPipe для TouchDesigner — открытый GPU-ускоренный плагин от Torin
Blankensmith и Dom Scott. Ставится как .tox, работает на Windows и macOS,
ничего дополнительно устанавливать не нужно.
Для большинства интерактивных задач это правильная первая попытка: он кросс-платформенный, бесплатный и покрывает почти весь набор моделей MediaPipe.
Что умеет
| Модель | Что даёт |
|---|---|
| Pose | Скелет человека, ключевые точки тела |
| Hands | Кисти: 21 точка на руку, обе руки |
| Face Landmark | Плотная сетка лица, мимика |
| Face Detection | Несколько лиц в кадре |
| Gesture | Распознавание жестов |
| Object Detection | Объекты в кадре |
| Image Segmentation | Маска фигуры, удаление фона |
Отдельно удобны производные величины: положение и поворот щипка (пальцы вместе), расстояние между пальцами — готовые «ручки» для интерактива.
Как встроить
- Скачайте
.toxиз репозитория проекта и положите рядом с проектом. - Перетащите в сеть, подайте на вход картинку с камеры — Камеры.
- Выберите нужные модели (лишние выключите — каждая стоит времени).
- Выход — CHOP с координатами точек и DAT с дополнительными данными.
Что делать с точками
Координаты приходят нормализованными (0…1 по кадру). Дальше:
mediapipe ──▶ select (нужные точки) ──▶ math (в координаты сцены)
──▶ lag / filter ──▶ null ──▶ инстансинг / параметры
- Сглаживание обязательно — Сглаживание. Сырые точки дрожат даже у неподвижного человека.
- Мёртвая зона — иначе инсталляция «шевелится» в пустом зале.
- Проверка достоверности: у большинства точек есть значение уверенности; ниже порога — не используйте.
Типовые связки
| Что | Как |
|---|---|
| Рука управляет параметром | Позиция кисти → Math → параметр, с фильтром |
| «Щипок» как кнопка | Расстояние между пальцами < порога → Trigger CHOP |
| Частицы летят за человеком | Точки скелета → эмиттеры — Частицы |
| Силуэт как маска | Segmentation → маска → композит |
| Лицо управляет объектом | Face landmarks → поворот геометрии |
Ограничения
- Один человек — надёжно, толпа — нет. Для нескольких людей нужен отбор и стабильная идентификация: MediaPipe не гарантирует, что «человек №1» останется тем же между кадрами.
- Свет решает. Контровой свет, дым и стробоскоп ломают трекинг. Для интерактивных зон нужен собственный ровный свет — часто инфракрасный.
- Задержка складывается с задержкой камеры. Считайте суммарно.
Трекинг, идеально работающий на разработчике за столом при дневном свете, регулярно разваливается в тёмном зале на человеке в чёрной куртке. Тестируйте в условиях площадки, до монтажа.
Скелет поверх видео впечатляет разработчика. Зрителя впечатляет то, что происходит, когда он поднимает руку. Точки — данные, а не картинка — Зачем нейросети. Сборка интерактивной зоны целиком — Интерактив с камерой.