Нормализаторы
Нормализаторы предназначены для приведения исходных событий, которые поступают из разных источников в различных форматах, к модели данных событий KUMA. Нормализованные события становятся доступны для обработки другими ресурсами и сервисами KUMA.
Нормализатор состоит из основного и необязательных дополнительных правил парсинга событий. С помощью создания основного и множества дополнительных правил парсинга можно реализовать сложную логику обработки событий. Данные передаются по древовидной структуре правил парсинга в зависимости от условий, заданных в параметре
Условия дополнительной нормализации. Последовательность создания правил парсинга имеет значение: событие обрабатывается последовательно и последовательность обработки обозначена стрелками.
Нормализация событий теперь доступна в следующих вариантах:
- 1 коллектор - 1 нормализатор
Мы рекомендуем использовать такой способ, если у вас много событий одного типа или много IP-адресов, откуда могут приходить события одного типа. Можно настроить один коллектор только с одним нормализатором и это будет оптимально с точки зрения производительности.
- 1 коллектор - несколько нормализаторов с привязкой к IP
Такой способ доступен для коллекторов с коннектором типа UDP, TCP, HTTP. Если в коллекторе на шаге Транспорт указан коннектор UDP, TCP, HTTP, на шаге Парсинг событий на вкладке Настройки парсинга вы можете задать несколько IP-адресов и указать, какой нормализатор использовать для событий, поступающих с заданных адресов. Доступны следующие типы нормализаторов: json, cef, regexp, syslog, csv, kv, xml. Для нормализаторов типа Syslog и regexp вы можете задать дополнительные условия нормализации в зависимости от значения поля DeviceProcessName.
Нормализатор создается в несколько этапов:
- Подготовка к созданию нормализатора
Нормализатор можно создать в веб-интерфейсе KUMA:
- В разделе Ресурсы → Нормализаторы.
- При создании коллектора на шаге Парсинг событий.
Затем в нормализаторе необходимо создать правила парсинга.
- Создание основного правила парсинга событий
Основное правило парсинга создается с помощью кнопки Добавить парсинг событий. При этом открывается окно Парсинг событий, в котором вы можете задать параметры основного правила парсинга:
- Задать параметры парсинга событий.
- Задать параметры обогащения событий.
Основное правило парсинга событий отображается в нормализаторе в виде темного кружка. Параметры основного правила парсинга можно просмотреть или изменить, нажав на его кружок. При наведении на кружок отображается значок плюса: при нажатии на него можно добавить дополнительные правила парсинга.
Название основного правила парсинга используется в KUMA в качестве названия нормализатора.
- Создание дополнительных правил парсинга событий
При нажатии на значок плюса, который отображается при наведении указателя мыши на кружок или блок, обозначающей нормализатор событий, откроется окно Дополнительный парсинг событий, в котором вы можете задать параметры дополнительного правила парсинга:
- Определить условия, при которых данные будут поступать в новый нормализатор.
- Задать параметры парсинга событий.
- Задать параметры обогащения событий.
Дополнительное правило парсинга событий отображается в нормализаторе виде темного блока. На блоке указаны условия, при котором дополнительное правило парсинга будет задействовано, название дополнительного правила парсинга, а также поле события, при наличии которого данные передаются в нормализатор. Параметры дополнительного правила парсинга можно просмотреть или изменить, нажав его блок.
Если навести указатель мыши на дополнительный нормализатор, отобразится кнопка со значком плюса, с помощью которой можно создать новое дополнительное правило парсинга событий. С помощью кнопки со значком корзины нормализатор можно удалить.
- Завершение создания нормализатора
Создание нормализатора завершается нажатием кнопки Сохранить.
В верхнем правом углу в поле поиска можно искать дополнительные правила парсинга по названию.
Для ресурсов нормализатора в полях ввода, кроме поля Описание, можно включить отображение непечатаемых символов.
Если вы, меняя параметры набора ресурсов коллектора, измените или удалите преобразования в подключенном к нему нормализаторе, правки не сохранятся, а сам нормализатор может быть поврежден. При необходимости изменить преобразования в нормализаторе, который уже является частью сервиса, вносите правки непосредственно в нормализатор в разделе веб-интерфейса Ресурсы → Нормализаторы.
