Все уровни мониторинга в on-call

Отправляйте в on-call только то, что достойно внимания дежурного.

Антипаттерн

Отправлять в on-call все уровни важности системы мониторинга от disaster до information. Мониторинг следит за метриками, а on-call должен достучаться до инженера, когда без него действительно не обойтись. Если в него попадает всё подряд, дежурный быстро учится не реагировать.

Как надо

Отбирайте события на стороне источника и отправляйте только то, ради чего стоит проснуться ночью или бросить дела днём. В Zabbix для этого добавьте в trigger action условие Trigger severity is greater than or equals High, а в AlertManager направляйте на receiver Incident Garden только маршруты с нужной severity.

Маппинг важности не фильтр. Уровень, убранный из Critical values и Warning values, не отбросится, а получит Default severity, то есть critical. Так он будет будить ещё настойчивее.

На этой странице