К содержанию
fohbook/ TouchDesigner
новичок

Анализ звука

Компонент audioAnalysis из палитры: низ, середина, верх, кик, снейр — и что с ними делать.

Не пишите анализ звука сами. В палитре TouchDesigner есть компонент audioAnalysis, который делает это правильно и быстро.

Что он выдаёт

Компонент разбирает входной звук и отдаёт CHOP с каналами:

Канал Что это
Low / Mid / High Level Уровень в трёх полосах
Kick Детект бочки
Snare Детект малого барабана
Rhythm Ритмическая активность
Spectral Centroid «Яркость» тембра: где центр масс спектра
Spectral Density (slow/fast) Насыщенность спектра в двух скоростях

Плюс сам спектр, если он нужен.

Как подключить

  1. Перетащите audioAnalysis из палитры (раздел Audio).
  2. Подайте на вход звук — Audio Device In.
  3. Возьмите выход в Null CHOP и от него ссылайтесь на параметры.
Выключайте то, чем не пользуетесь

У компонента есть переключатели по каждой характеристике. Считать всё сразу дорого. Официальная рекомендация прямая: включайте только те величины, которые действительно используете.

Что с чем связывать

Это вопрос вкуса, но есть работающие связки:

Канал Хорошо управляет
Low Масштаб, яркость крупных форм, толщина линий
Mid Движение, скорость, деформации
High Мелкие детали, искры, зерно, дрожание
Kick Импульсы: вспышка, толчок частиц, смена кадра
Snare Акценты: цвет, сдвиг, глитч
Centroid Оттенок цвета (Hue Offset)
Художнику

Самая частая ошибка аудиореактивной графики — связать громкость с яркостью всего. Получается мигание. Работает обратное: пусть звук управляет одним понятным свойством — направлением, плотностью, цветом, — а остальное живёт своей жизнью.

Обязательный этап — сглаживание

Сырые каналы дёргаются. Между анализом и картинкой всегда стоит пара Lag + Filter, причём с разными временами на нарастание и спад: быстрый подъём и медленный спад читаются как «удар», обратное — как каша. Подробно — Сглаживание.

Нормализация

Уровень на площадке не тот, что дома. Чтобы патч не пришлось перенастраивать:

  1. Возьмите медленное скользящее среднее уровня (Filter CHOP с большим окном).
  2. Делите текущее значение на него — получите относительную громкость.
  3. Ограничьте Limit CHOP, чтобы тишина не давала бесконечность.

Так реакция остаётся живой и при тихом сет-апе, и на полном зале.

Аудиоанализ нейросетью

Если нужно больше, чем полосы и кик — разделение на инструменты, темп, тональность, распознавание речи — это уже задача для моделей: Звук, речь и текст.

Сборка целиком, на вечер работы — Аудиореактивный сет.

рядом по смыслу