Политики мониторинга

Данные о частоте и количестве поступающих событий являются показателем состояния системы. Например, можно обнаружить, когда поток событий стал аномально большим, слишком слабым или вообще прекратился. Политики мониторинга предназначены для отслеживания таких ситуаций. В политике вы можете задать нижнее пороговое значение, дополнительно задать верхний порог, и каким образом будут считаться события: по частоте или по количеству.

Политику нужно применить к источнику события. Вы можете применить к источнику одну или несколько политик мониторинга. После применения политики вы можете отслеживать статус источника на вкладке Список источников событий.

Политики мониторинга источников событий отображаются в таблице в разделе Состояние источников → Политики мониторинга. Таблицу можно сортировать, нажимая на заголовок столбца нужного параметра. Максимальный размер списка политик не ограничен.

В столбце Источники вы можете нажать на кнопку Показать, чтобы просмотреть все источники событий, к которым применена политика. При нажатии на эту кнопку вы будете перенаправлены в раздел Список источников событий, и таблица источников будет отфильтрована по выбранной политике.

Алгоритм работы политик мониторинга

Политики мониторинга применяются к источнику события по следующему алгоритму:

Поток событий подсчитывается на коллекторе.
Сервер Ядра KUMA с интервалом в 15 секунд собирает с коллекторов информацию о потоке.
Собранные данные хранятся на сервере Ядра KUMA в СУБД временных рядов Victoria Metrics, и глубина хранения данных на сервере Ядра KUMA составляет 15 суток.
Один раз в минуту выполняется инвентаризация источников событий.
Поток подсчитывается отдельно для каждого источника событий по следующим правилам:
- Если к источнику событий применяется политика мониторинга, то отображаемое отображается максимальное число потока событий считается согласно работающим в текущий момент политикам мониторинга за интервал времени, указанный в политике.
  В зависимости от типа политики число потока событий подсчитывается в количестве событий (для типа политики byCount) или в количестве событий в секунду (EPS, для политики типа byEPS). Вы можете узнать, в чем считается поток для назначенной политики, в столбце Поток на странице Список источников событий.
- Если к источнику событий не применяется политика мониторинга, число потока событий отображает последнее значение.
Один раз в минуту проверяется, есть ли политики мониторинга, которые должны примениться к источникам событий или остановиться в соответствии с расписанием политики мониторинга.
Один раз в минуту поток событий проверяется на соответствие параметрам политики.

Если поток событий от источника выходит за пределы значений, указанных в политике мониторинга, информация об этом будет зафиксирована следующим образом:

Уведомление о срабатывании политики мониторинга будет отправлено на адреса электронной почты, указанные в политике. Для каждой политики вы также можете задать шаблон уведомления.

Будет сформировано информационное событие мониторинга потоков типа 5 (Type=5). Событие имеет поля, описанные в таблице ниже.

Поля события мониторинга

Название поля события	Значение поля
ID	Уникальный идентификатор события.
Timestamp	Время события.
Тип.	Тип события аудита. Событию аудита соответствует значение `5` (мониторинг).
Name	Имя политики мониторинга.
DeviceProduct	`KUMA`
DeviceCustomString1	Значение из поля `value` в уведомлении. Отображает значение метрики, по которой отправлено уведомление.

Сформированное событие мониторинга будет отправлено в следующие ресурсы:

все хранилища тенанта Main;
все корреляторы тенанта Main;
все корреляторы тенанта, в котором находится источник событий.

Добавление политики мониторинга

Чтобы добавить новую политику мониторинга:

В веб-интерфейсе KUMA в разделе Состояние источников → Политики мониторинга нажмите Добавить политику и в открывшемся окне укажите параметры политики мониторинга.
В поле Название политики введите уникальное имя создаваемой политики. Название должно содержать от 1 до 128 символов в кодировке Unicode.
Рекомендуется отразить расписание работы политики мониторинга, которое вы настроили в параметрах, в названии политики.
В раскрывающемся списке Тенант выберите тенант, которому будет принадлежать политика. От выбора тенанта зависит, для каких источников событий можно будет включить политику мониторинга.
В поле Тип выберите один из следующих вариантов типа политики мониторинга:
- количество поступивших событий – по количеству событий за определенный промежуток времени.
- частота поступления событий – по количеству событий в секунду за определенный промежуток времени (EPS). Считается среднее значение за весь промежуток. Можно дополнительно отслеживать скачки в определенные периоды.
В поле Период подсчета укажите, за какой период в политике мониторинга должны учитываться данные из источника мониторинга. Вы можете выбрать значение в минутах, часах или днях с помощью раскрывающегося списка справа. Максимальное значение: 14 дней.
Если вы выбрали тип политики частота поступления событий, в поле Регулярность замеров, мин укажите контрольный интервал времени в минутах, в течение которого проверки должны фиксировать отклонение числа потока событий от нормы для срабатывания политики мониторинга:
- Если в течение этого времени все проверки, проводимые один раз в минуту, зафиксировали отклонение потока от нормы, сработает политика мониторинга.
- Если в течение этого времени одна из проверок, проводимых один раз в минуту, зафиксировала, что поток соответствует норме, политика мониторинга не сработает и подсчет результатов проверок начнется заново.
Если вы не укажете регулярность замеров, политика мониторинга сработает сразу после того, как будет зафиксировано отклонение потока от нормы.
В поле Нижний порог и Верхний порог определите, выход за какие границы будет считаться отклонением от нормы, при котором политика мониторинга будет срабатывать, создавая алерт и рассылая уведомления.
Параметр Нижний порог является обязательным.
В поле Интервал оценки укажите частоту, с которой сервис VMalert будет делать запрос в VictoriaMetrics на получение данных по политике, пока она применяется к источнику событий. Вы можете выбрать значение в минутах, часах или днях с помощью раскрывающегося списка справа. По умолчанию выбран интервал 5 минут.
При указании интервала оценки учитывайте расписание применения политики. Например, если вы указали применение политики ежедневно раз в несколько часов, мы не рекомендуем устанавливать частый интервал оценки, чтобы не перегружать VictoriaMetrics.
При необходимости в поле Отправлять уведомления укажите электронные адреса, на которые следует отправить уведомления о срабатывании политики мониторинга KUMA. Для добавления каждого адреса введите его в поле и нажмите Enter или Добавить. Вы можете указать несколько адресов электронной почты.
Для рассылки уведомлений необходимо настроить подключение к SMTP-серверу.
В раскрывающемся списке Шаблон уведомлений выберите шаблон, который будет использоваться для отправляемых уведомлений. При необходимости нажмите на кнопку Создать, чтобы перейти к созданию нового шаблона уведомления.
По умолчанию выбран базовый шаблон уведомлений. Вы можете сбросить выбранный шаблон и переключиться на базовый шаблон, нажав на значок крестика.
В разделе параметров Расписание настройте регулярность применения политики мониторинга к источникам событий. По умолчанию политика применяется еженедельно каждый день с 00:00 до 23:59. Для настройки расписания применения политики мониторинга выполните одно или несколько следующих действий:
- Если вы хотите применять политику мониторинга еженедельно в конкретные дни недели:
  1. Включите переключатель Настроить расписание по дням недели.
  2. В раскрывающемся списке Дни недели выберите дни недели, в которые политика будет применяться к источнику.
    Если вы хотите очистить выбор, нажмите на значок крестика.
  3. В поле Время укажите время начала и окончания работы политики с точностью до минуты.
    Границы указанного промежутка включаются, например, если время окончания применения политики указано 23:59, политика будет работать до 23:59:59.999. По умолчанию указано время с 00:00 до 23:59. Время начала должно быть меньше окончания.
  4. Если вы хотите добавить еще один период срабатывания политики, нажмите на кнопку Добавить период и повторите шаги b и c.
    Вы можете добавить неограниченное количество периодов.
- Если вы хотите применять политику мониторинга в конкретные календарные дни:
  1. Включите переключатель Настроить расписание по конкретным дням.
  2. Нажмите на поле Дни месяца и выберите в календаре дни, в которые политика будет применяться к источнику. Вы можете выбрать период в несколько дней или только один день. Дата начала периода должна быть меньше даты окончания периода.
    Дни не привязаны к году, поэтому политика будет применяться ежегодно в указанные дни, пока вы не удалите этот период. Если вы хотите очистить выбор, нажмите на значок крестика.
  3. В поле Время укажите время начала и окончания работы политики с точностью до минуты.
    Границы указанного промежутка включаются, например, если время окончания применения политики указано 23:59, политика будет работать до 23:59:59.999. По умолчанию указано время с 00:00 до 23:59. Время начала должно быть меньше окончания.
  4. Если вы хотите добавить еще один период срабатывания политики, нажмите на кнопку Добавить период и повторите шаги b и c.
    Вы можете добавить неограниченное количество периодов.
  Если вы применили расписание по дням недели и по конкретным дням месяца одновременно, то в первую очередь применяется политика по дням месяца.
Нажмите Добавить.

Политика мониторинга добавлена.

Изменение политики мониторинга

В разделе Состояние источников → Политики мониторинга отображаются добавленные политики мониторинга и их параметры, которые вы задали при создании политики. Вы можете нажать на политику, чтобы просмотреть все параметры этой политики в открывшейся боковой панели. При необходимости в этой панели вы можете изменить параметры политики.

Если политика мониторинга применена к источнику событий, при изменении некоторых параметров политики может потребоваться ее обновить, чтобы применить изменения. Каждые 30 минут KUMA проверяет, есть ли политики мониторинга, требующие обновления, и если да, автоматически запускает задачу обновления этих политик мониторинга. Вы также можете запустить задачу обновления вручную, нажав на кнопку Обновить политику в верхней части таблицы. Все политики, которые требуют обновления, будут обновлены в рамках одной задачи.

Кнопка Обновить политику становится активна, только если есть политики мониторинга, требующие обновления. Информация о необходимости обновления политики отображается в таблице политик мониторинга в столбце Статус обновления политики в виде одного из следующих статусов:

Требуется обновить – один из следующих параметров политики мониторинга был изменен, но изменения не были применены к источникам событиям:
- Название политики.
- Тип.
- Нижний порог.
- Верхний порог.
- Период подсчета.
- Регулярность замеров.
- Интервал оценки.
Обновлена – отображается в одном из следующих случаев:
- После изменения политики запускалась задача применения политики и изменения были применены к источникам событий.
- Вы изменили один из следующих параметров политики, который не требует запуска задачи обновления:
  - Отправлять уведомления.
  - Шаблон уведомлений.
  - Расписание.
  В этом случае измененные параметры политики будут применены к источникам событий через минуту. Изменения в параметре Шаблон уведомлений применяются сразу.
- Измененная политика мониторинга не применяется к источникам событий.

Дата и время, когда политика последний раз была применена к источникам событий, отображаются в столбце Дата последнего применения политики.

Пока запущена задача обновления политики, кнопка Обновить политику недоступна для всех пользователей. Если другой пользователь изменил параметры политики, требующие ее обновления, кнопка Обновить политику будет активна для вас только после того, как вы обновите страницу или измените политику или источник событий.

Применение политики мониторинга

Чтобы применить политики мониторинга к источникам событий:

В Консоли KUMA в разделе Состояние источников → Список источников событий выберите в таблице один или несколько источников событий, установив флажки в первом столбце напротив нужных источников. Вы можете выбрать сразу несколько источников событий в списке, нажав на флажок в первом столбце в заголовке таблицы и выбрав одно из следующих значений:
- Выбрать все – выберите все источники событий на всех страницах таблицы. Если вы отфильтровали источники с помощью поиска, будут выбраны все источники, удовлетворяющие условию поиска.
- Выбрать все на странице – выбрать все источники событий, прогрузившиеся на открытой странице. Если вы отфильтровали источники с помощью поиска, будут выбраны все источники на открытой странице, удовлетворяющие условию поиска.
В левой нижней части таблицы отображается количество выбранных источников и общее количество источников в таблице.

После того как вы выберете в списке источники событий, к которым хотите применить политику мониторинга, на панели инструментов станет доступна кнопка Включить политику.
Нажмите Включить политику.
В открывшемся окне Включить политику выберите одну или несколько политик мониторинга, которые вы хотите применить к выбранным источникам событий. В таблице отображаются только политики мониторинга, которые вы можете назначить для выбранных источников: принадлежащие тому же тенанту или Общему тенанту, если у вас есть к нему доступ. Если для выбранных источников событий нет общих политик и у вас нет доступа к Общему тенанту, таблица политик будет пустой.
Вы можете выбрать все доступные политики, установив флажок в первом столбце в заголовке таблицы. Вы также можете воспользоваться контекстным поиском по названию политик или отсортировать политики, нажав на заголовок столбца, по которому вы хотите отсортировать таблицу, и выбрав По возрастанию или По убыванию.

Поиск и сортировка недоступны для столбцов Источники, Расписание, Статус обновления политики, Дата последнего применения политики.
Нажмите Применить.
В таблице источников нажмите Обновить политику, чтобы применить изменения к источникам событий.

Политики мониторинга будут применены к выбранным источникам событий, статус этих источников изменится на зеленый. Названия примененных к источникам политик отобразятся в столбце Политика мониторинга. Также отобразится сообщение о количестве источников, к которым были применены политики. Если политика мониторинга сработает на источнике событий, изменение статуса этого источника отобразится после того, как вы обновите страницу вручную или она обновится автоматически. Рекомендуется настроить период автоматического обновления данных для отслеживания изменений в списке источников.

Если вы выбрали более 100 000 источников событий и применили к ним одну или несколько политик, эти политики будут применены только к первым 100 000 источникам, к которым эти политики еще не были применены. Если вам нужно применить политики к оставшимся источникам, вы можете выполнить одно из следующих действий:

Еще раз выбрать все источники и применить к ним нужные политики.
Отфильтровать таблицу источников по какому-либо параметру таким образом, чтобы в таблице отобразилось не более 100 000 источников, и применить к ним нужные политики.

Повторите выбранное действие до тех пор, пока политики не будут применены ко всем нужным источникам.

Отключение политики мониторинга

Чтобы отключить политики мониторинга от источников событий:

В Консоли KUMA в разделе Состояние источников → Список источников событий выберите в таблице один или несколько источников событий, установив флажки в первом столбце напротив нужных источников.
В левой нижней части таблицы отображается количество выбранных источников и общее количество источников в таблице. После того как вы выберете в списке источники событий, для которых применены политики мониторинга, в панели инструментов станет доступна кнопка Отключить политику.

Вы можете выбрать сразу несколько источников событий в списке, нажав на флажок в первом столбце в заголовке таблицы и выбрав одно из следующих значений:
- Выбрать все – выберите все источники событий на всех страницах таблицы. Если вы отфильтровали источники с помощью поиска, будут выбраны все источники, удовлетворяющие условию поиска.
- Выбрать все на странице – выбрать все источники событий, прогрузившиеся на открытой странице. Если вы отфильтровали источники с помощью поиска, будут выбраны все источники на открытой странице, удовлетворяющие условию поиска.
Нажмите Отключить политику.
В открывшемся окне Отключить политику выберите одну или несколько политик мониторинга, которые вы хотите отключить для выбранных источников событий. В таблице отображаются все политики мониторинга, примененные хотя бы к одному из выбранных источников событий.
Вы можете выбрать все доступные политики, установив флажок в первом столбце в заголовке таблицы. Вы также можете воспользоваться контекстным поиском или отсортировать политики, нажав на заголовок столбца, по которому вы хотите отсортировать таблицу, и выбрав По возрастанию или По убыванию.

Поиск и сортировка недоступны для столбцов Источники, Расписание, Статус обновления политики, Дата последнего применения политики.
В блоке параметров над таблицей политик выполните одно из следующих действий:
- Если вы хотите временно приостановить применение политик, выберите На определенное время и укажите время в минутах, часах или днях, по истечении которого выбранные политики снова будут применены к источникам событий. Максимальные значения:
  - для дней – 30;
  - для часов – 743;
  - для минут – 44579.
- Если вы хотите отключить выбранные политики от источников событий навсегда, выберите Пока не включите вручную.
По умолчанию выбрано На определенное время и установлено значение 5 минут.
Нажмите Выключить.
В таблице источников нажмите Обновить политику, чтобы применить изменения к источникам событий.

Политики мониторинга отключены от выбранных источников событий или приостановлены на указанное время. Статус этих источников изменится на серый в таблице. Отобразится сообщение о количестве источников, от которых были отключены политики.

Если вы выбрали более 100 000 источников событий и отключили от них одну или несколько политик, эти политики будут отключены только от первых 100 000 источников, к которым эти политики применены. Если вам нужно отключить политики от оставшихся источников, вы можете выполнить одно из следующих действий:

Еще раз выбрать все источники и отключить от них нужные политики.
Отфильтровать таблицу источников по какому-либо параметру таким образом, чтобы в таблице отобразилось до 100 000 источников включительно, и отключить от них нужные политики.

Повторите выбранное действие до тех пор, пока политики не будут отключены от всех нужных источников.

Добавление новой политики мониторинга на основе существующей

Чтобы создать политику мониторинга на основе существующей:

В веб-интерфейсе KUMA в разделе Состояние источников → Политики мониторинга выберите политику мониторинга, на основе которой вы хотите создать политику.
При необходимости вы можете найти необходимые политики мониторинга с помощью поля Поиск. Поиск будет осуществляться по столбцам Название, Тенант, Тип, Расписание (название дня и время).
Нажмите Дублировать политику.
В открывшемся окне Добавить политику измените параметры политики.
По умолчанию в название новой политики будет добавлено "- копия". Остальные параметры будут такие же, как в дублируемой политике.
Нажмите на кнопку Добавить, чтобы создать политику.

Политика мониторинга будет создана на основе существующей политики.

Удаление политики мониторинга

Чтобы удалить политику мониторинга:

В веб-интерфейсе KUMA в разделе Состояние источников → Политики мониторинга выберите одну или несколько политик мониторинга, которые вы хотите удалить.
При необходимости вы можете найти необходимые политики мониторинга с помощью поля Поиск. Поиск будет осуществляться по столбцам Название, Тенант, Тип, Расписание (название дня и время).
Нажмите Удалить политику и подтвердите действие.

Выбранные политики мониторинга будут удалены.

Невозможно удалить предустановленные политики мониторинга, а также политики, назначенные источникам событий.

В начало