Конвейер обработки алертов

Конвейер это путь, который проходит каждый входящий сигнал, прежде чем дежурный получит уведомление.

Приём

По API-ключу из адреса система находит интеграцию, а вместе с ней команду, которой принадлежит алерт, политику эскалации и правила определения важности.

Проверка на дубль

Пока по проблеме есть незакрытый алерт, повторные сигналы нового не создают (у существующего просто растёт счётчик). Важность, лейблы и решения политик при этом остаются прежними. После закрытия алерта (статус resolved), очередной сигнал той же проблемы заведёт свежий алерт, который пройдёт конвейер с начала.

Отброшенные сигналы одной проблемы тоже собираются в одну запись.

Лейблы

Лейблы алерта запоминаются в момент его создания и повторные сигналы их не меняют. Обновляются только счётчик, тексты в Annotations и список экземпляров в Instances.

Важность

Интеграция переводит лейблы алерта в один из двух уровней, critical или warning, по своим правилам severity mapping.

Политики

Дальше алерт проходит политики команды сверху вниз. Они могут отбросить его, придержать, сменить важность или добавить лейблы.

Сайленсы

Сайленсы видят алерт таким, каким его оставили политики (с измененными лейблами, если политика их меняла). Проверяются они и у алертов, которые политика уже придержала.

Пауза

Придержанный алерт появляется в списке, но никого не будит. Он ждёт, пока его держит хотя бы одна политика или сайленс. Как только их не осталось, алерт при ближайшей проверке сам переходит в firing и с этого момента начинается эскалация.

Если алерт на паузе нужен прямо сейчас, закройте его (кнопка Resolve). Следующий сигнал той же проблемы заведёт новый алерт уже по текущим правилам.

Эскалация и уведомления

Алерт в firing уходит по политике эскалации интеграции и получатели каждого шага принимают уведомления по своим каналам. От важности зависит, сколько шагов пройдёт сам.