Нормализаторы

Нормализаторы предназначены для приведения исходных событий, которые поступают из разных источников в разных форматах, к модели данных событий KUMA. Нормализованные события становятся доступны для обработки другими ресурсами и сервисами KUMA.

Нормализатор состоит из основного и необязательных дополнительных правил парсинга событий. С помощью создания основного и множества дополнительных правил парсинга можно реализовать сложную логику обработки событий. Данные передаются по древовидной структуре правил парсинга в зависимости от условий, заданных в параметре Условия дополнительной нормализации. Последовательность создания правил парсинга имеет значение: событие обрабатывается последовательно и последовательность обработки обозначена стрелками.

Нормализация событий теперь доступна в следующих вариантах:

• 1 коллектор - 1 нормализатор

  Рекомендуется использовать такой способ, если у вас много событий одного типа или много IP-адресов, откуда могут приходить события одного типа. Можно настроить один коллектор только с одним нормализатором и это будет оптимально с точки зрения производительности.

• 1 коллектор - несколько нормализаторов с привязкой к IP

  Такой способ доступен для коллекторов с коннектором типа UDP, TCP, HTTP. Если в коллекторе на шаге Транспорт указан коннектор UDP, TCP, HTTP, на шаге Парсинг событий на вкладке Настройки парсинга вы можете задать несколько IP-адресов и указать, какой нормализатор использовать для событий, поступающих с заданных адресов. Доступны следующие типы нормализаторов: json, cef, regexp, syslog, csv, kv, xml. Для нормализаторов типа syslog и regexp вы можете задать дополнительные условия нормализации в зависимости от значения поля DeviceProcessName.

Нормализатор создается в несколько этапов:

1. Подготовка к созданию нормализатора

   Нормализатор можно создать в Консоли OSMP:

   • В разделе Мониторинг → Ресурсы → Нормализаторы.
   • При создании коллектора на шаге Парсинг событий.

   Затем в нормализаторе необходимо создать правила парсинга.

2. Создание основного правила парсинга событий

   Основное правило парсинга создается нажатием на кнопку Добавить парсинг событий. При этом открывается окно Парсинг событий, в котором вы можете задать параметры основного правила парсинга:

   • Задать параметры парсинга событий.
   • Задать параметры обогащения событий.

   Основное правило парсинга событий отображается в нормализаторе в виде темного кружка. Параметры основного правила парсинга можно просмотреть или изменить, нажав на его кружок. При наведении курсора мыши на кружок отображается знак плюса. Нажмите на него, чтобы добавить правила парсинга.

   Название основного правила парсинга используется в KUMA в качестве названия нормализатора.

3. Создание дополнительных правил парсинга событий

   При нажатии на значок плюса, который отображается при наведении указателя мыши на кружок или блок, обозначающий нормализатор событий, откроется окно Дополнительный парсинг событий, в котором вы можете задать параметры дополнительного правила парсинга:

   • Определить условия, при которых данные будут поступать в новый нормализатор.
   • Задать параметры парсинга событий.
   • Задать параметры обогащения событий.

   Дополнительное правило парсинга событий отображается в нормализаторе виде темного блока. В блоке отображаются условия срабатывания правила дополнительного парсинга, имя правила дополнительного парсинга и поле события. Когда это поле события доступно, данные передаются в нормализатор. Параметры дополнительного правила парсинга можно просмотреть или изменить, нажав его блок.

   Если навести курсор мыши на правило дополнительного нормализатора, появится кнопка с плюсом. Вы можете нажать на эту кнопку, чтобы создать дополнительное правило парсинга событий. С помощью кнопки со значком корзины нормализатор можно удалить.

4. Завершение создания нормализатора

   Создание нормализатора завершается нажатием кнопки Сохранить.

В верхнем правом углу в поле поиска можно искать дополнительные правила парсинга по названию.

Для ресурсов нормализатора в полях ввода, кроме поля Описание, можно включить отображение непечатаемых символов.

Если вы, меняя параметры набора ресурсов коллектора, измените или удалите преобразования в подключенном к нему нормализаторе, правки не сохранятся, а сам нормализатор может быть поврежден. Если требуется изменить преобразования в нормализаторе, который уже является частью сервиса, вносите правки непосредственно в нормализатор в разделе Консоли OSMP Мониторинг → Ресурсы → Нормализаторы.