Типовые сценарии

Каждый сценарий собирается вручную в форме New Policy, как описано в статье Создание.

Не будить ночью

warning, пришедшие с 22:00 до 06:00, ждут утра; critical будит сразу.

• When: Severity = warning.
• Then: Hold outside window, From 06:00, To 22:00, все дни.

В окно вносится время, когда отправлять уведомления дежурным можно. С To 00:00 алерт в 23:30 попадёт в окно и уведомления будут отправлены.

Получать алерты только в рабочее время

Всё, что пришло вне рабочего окна, ждёт его начала.

• When: пусто или Severity = warning, если critical должен будить всегда.
• Then: Hold outside window, From 09:00, To 18:00, Days Пн–Пт.

Тишина на все выходные

• When: Time window, флажок All day, Days Сб и Вс.
• Then: Suppress.

Для московского пояса окно идёт с 00:00 субботы до 00:00 понедельника без разрыва. Накопленные алерты уходят в эскалацию в полночь понедельника.

Тишина с вечера пятницы до утра понедельника

Алерты, пришедшие с 18:00 пятницы до 09:00 понедельника, ждут начала рабочего дня. Окно в одной политике не длиннее суток, поэтому нужны две политики, порядок любой.

Политика 1 (вечера и утра):

• When: Time window From 18:00, To 09:00, Days Пт, Сб, Вс.
• Then: Suppress.

Политика 2 (дни выходных):

• When: Time window, флажок All day, Days Сб и Вс.
• Then: Suppress.

Окно, начатое в воскресенье в 18:00, заканчивается в понедельник в 09:00. Вместе политики дают тишину без разрывов.

Всё накопленное уходит в эскалацию в понедельник в 09:00 одной пачкой.

Отсечь шум по лейблу

• When: Label matchers alertname = Watchdog.
• Then: Drop.

Отбросить всё, что не из production: Label matchers env exists и env != production, затем Drop. Без exists отбросятся и алерты, у которых лейбла env нет вовсе.

Поднять важность для значимого сервиса

• When: Label matchers team = payments; Severity = warning.
• Then: Override severity → critical.

Политики ниже этой увидят алерт уже как critical, их условие Severity = warning перестанет совпадать.

Вывести сервис из-под тихих часов

Тихие часы для всей команды, кроме api в prod. Порядок политик обязателен.

Политика 1 (выше):

• When: Label matchers service = api и env = prod.
• Then: Add labels exempt = 1.

Политика 2 (ниже):

• When: Time window From 22:00, To 06:00, все дни; Label matchers exempt absent.
• Then: Suppress.

Помеченный алерт проходит мимо второй политики, остальные ночью молчат. Лейбл exempt остаётся на алерте и виден в интерфейсе. Ещё один сервис в исключение добавляется правкой только первой политики.