IncidentGarden

Обзор

Что такое политики, где они стоят в обработке алертов и как устроены порядок и область.

Policy (Политика) — это правило обработки вида «если алерт подходит под условия — сделать с ним то-то»: отбросить, отложить (в том числе до начала рабочего окна), заглушить, поднять важность или дополнить метками. Политики позволяют отсеять шум и подправить поток алертов до того, как он дойдёт до эскалации и уведомлений.

Место в обработке

Политики команды применяются на строго определённом месте конвейера: после того как по severity mapping вычислена важность алерта, но до сайленсов. Полная картина обработки — Конвейер обработки алертов.

Важно: политики работают уже после определения важности, поэтому в условиях можно опираться на severity, а действие Override severity меняет именно ту важность, которая пойдёт дальше — к эскалации.

И симметрично — с другой стороны: сайленсы стоят после политик и смотрят на метки уже в изменённом виде. Метка, добавленная действием Add labels, участвует в отборе наравне с метками от источника и может включить сайленс, который к исходному алерту не подошёл бы. Подробнее — в Обзоре сайленсов.

Когда применяется

Политика оценивается один раз — в момент создания алерта, по первому сигналу о проблеме. Пока этот алерт активен, повторные сигналы той же проблемы дедуплицируются в него же, и решение политики не пересматривается: важность, заглушение и задержка остаются такими, какими их определил первый сигнал.

Поэтому условие Time window проверяется по времени первого сигнала этого алерта, а не «прямо сейчас». Если первый сигнал пришёл до тихих часов, последующие сигналы той же проблемы — пока алерт жив — в тишину не уйдут.

Когда алерт закрывается (статус resolved) и та же проблема возникает снова, создаётся новый алерт — и политики оцениваются заново, по текущему моменту и текущим настройкам. Решение привязано к жизни конкретного алерта, а не к проблеме навсегда.

Область применения (scope)

Политика принадлежит конкретной команде и действует только на её интеграции. Область применения (scope) выбирается одним из двух способов:

  • Все интеграции команды — политика применяется к каждой интеграции команды, включая те, что будут добавлены позже. Удобно для общих правил («ночью тише по всей команде»).
  • Одна конкретная интеграция — политика применяется только к выбранной интеграции.

Выбрать произвольное подмножество интеграций нельзя — либо одна, либо все. Если правило нужно для нескольких, но не для всех интеграций, заведите его отдельной политикой на каждую из них.

Порядок оценки и продолжение цепочки

Политики команды упорядочены — у каждой есть позиция в списке. Алерт проверяется по ним сверху вниз, и применяется первая совпавшая.

По умолчанию совпадение останавливает дальнейшую проверку: как только алерт подошёл под одну политику, ниже-приоритетные уже не рассматриваются. Это поведение меняет флаг Continue evaluating next policies: с ним алерт после применения политики продолжает идти по цепочке и может попасть под следующую подходящую.

Отдельно стоят терминальные действияdrop, suppress, delay_until и Hold outside window (когда алерт пришёл вне рабочего окна). Они завершают обработку алерта: после терминального действия цепочка останавливается, и флаг продолжения уже не действует. Не-терминальные действия (override_severity, add_labels) меняют алерт, но сами по себе не прерывают цепочку.

Политики не маршрутизируют алерты. Куда уйдёт алерт — какая политика эскалации, какая команда, кто получит уведомление — определяет интеграция, а не политика. Политики работают раньше выбора маршрута: переписывают важность, обогащают метки, придерживают, заглушают или отбрасывают алерты, но не передают его другой команде. Косвенно смена важности влияет на агрессивность эскалации (critical проходит всю лестницу автоматически, warning — только первый шаг — см. Как работает эскалация), но на сам маршрут — нет.

С чего начать

Политики и сайленсы решают похожую задачу — убрать лишний шум, — но по-разному. Политика встроена в конвейер и срабатывает на каждом подходящем алерте постоянно, по заданным условиям. Сайленс — это точечное подавление на ограниченный срок (например, на время работ), которое заводят вручную под конкретную ситуацию. Подробнее — в разделе Сайленсы.

На этой странице