Мониторинг и логи
Без мониторинга о поломке узнаёте от заказчика через неделю. Служебная панель, Error DAT, лог с ротацией, опрос железа и уведомления, которые не перестанут читать.
Инсталляция без мониторинга — та, о поломке которой вы узнаёте от заказчика через неделю.
| Показатель | Зачем |
|---|---|
| Текущее и следующее кью | Где мы в шоу |
| Таймкод и признак сигнала | Идёт ли время |
| Мастер и режим | Кто управляет |
| DMX уходит или нет | Жив ли выход |
| DMX in приходит или нет | Слышим ли пульт |
| Кадры и пропуски | Успевает ли машина |
| Память CPU и GPU | Нет ли утечки |
| Контроллеры отвечают или нет | Живо ли железо |
| Последние ошибки | Что сломалось |
Служебная панель — свой Container COMP на служебном мониторе, крупно, чтобы читалось с двух метров в тёмном зале.
op('null_errors').numRows
op('some_op').errors()
op('some_op').warnings()
Error DAT собирает ошибки всего проекта — его кладут на панель и в лог. Молча проглоченная ошибка — худший вид отказа, упавшее должно быть видно.
import datetime
def log(msg):
ts = datetime.datetime.now().isoformat(timespec='seconds')
with open(f"D:/show/logs/{ts[:10]}.log", 'a', encoding='utf8') as f:
f.write(f"{ts} {msg}\n")
В лог по дате пишут старт и остановку проекта, смены кью и режимов, потерю и возврат таймкода, DMX и сети, ошибки и исключения, а раз в минуту — сводку кадров, памяти и состояния. Ротация обязательна: файл, растущий год, однажды заполнит диск.
Многие пиксель-контроллеры и узлы Art-Net отвечают на ping или на опрос протокола — раз в минуту проверяют, кто молчит, и пишут в лог. А камера проверяет даже не «отвечает ли контроллер», а «горит ли свет».
Обслуживаемой инсталляции нужны письмо или сообщение при падении и при восстановлении, утренняя сводка — сколько работала, сколько перезапусков, были ли ошибки, — и предупреждение при росте памяти или падении кадров. Шлёт их Web Client DAT, Веб.
Двести сообщений в день перестают читать на третий день. Уведомляют о том, на что действительно будут реагировать.
Раз в час сохраняют снимок служебной панели или картинку с камеры, и через месяц «что было в прошлый вторник» решается без догадок.
Нашли в статье ошибку, устаревшее или непонятное место?