Разбор музыки нейросетью

Обычный анализ звука даёт громкость по частотам, а модели показывают, что именно играет и в каком месте композиции мы находимся.

Стемы для света заманчивее всего: бочка ведёт вспышки, вокал — цвет, и друг другу они не мешают. Только качественное разделение вживую требует серьёзной карты и добавляет задержку. Поэтому разделяют заранее: трек на шоу под фонограмму известен, его прогоняют через модель дома, анализируют стемы обычными средствами и сохраняют результат данными, а на шоу читают готовое по таймкоду — без задержки и без риска. Главное: для шоу под фонограмму анализ делают офлайн.

tc          low   mid   high  kick  vocal  section
00:00:00    0.12  0.30  0.10  0     0      intro
00:00:01    0.15  0.32  0.11  1     0      intro
...

Таблица, синхронная с таймкодом, — обычные данные: ноль задержки и ноль нагрузки на шоу, одно и то же от прогона к прогону, и ошибку модели правят руками. Последнее ценнее всего: поправить строку проще, чем настроить модель.

Импровизации и живому звуку офлайн не подходит. Там работает обычный анализ звука, быстрый и надёжный, поверх него лёгкие модели бита и ручной тап как страховка, Темп и бит. Тяжёлое разделение вживую на концерте пока не оправдано. Whisper распознаёт слова с задержкой в секунды: для инсталляции со словом-триггером это годится, для концерта нет.

Одно понятное свойство на источник, а между ним и приборами сглаживание: асимметричный Lag делает из удара вспышку с мягким спадом.