Окно нормализатора содержит две закладки: Схема нормализации и Обогащение.
Схема нормализации
Эта закладка используются для указания основных параметров нормализатора, а также определения правил приведения событий к формату KUMA.
Доступные параметры:
Название (обязательно) – имя нормализатора. Должно содержать от 1 до 128 символов Юникода. Название основного нормализатора будет использоваться в качестве названия ресурса нормализатора.
Тенант (обязательно) – название тенанта, которому принадлежит ресурс.
Этот параметр недоступен для дополнительных нормализаторов.
Метод парсинга (обязательно) – выпадающий список для выбора типа входящих событий. В зависимости от выбора можно будет воспользоваться преднастроенными правилами сопоставления полей событий или же задать свои собственные правила. При выборе некоторых методов парсинга могут стать доступны дополнительные параметры, требуемые для заполнения.
Этот метод парсинга используется для обработки данных в формате CEF.
При выборе этого метода можно воспользоваться преднастроенными правилами преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию.
Этот метод парсинга используется для создания собственных правил обработки данных в формате JSON.
В поле блока параметров Нормализация необходимо добавить регулярное выражение (синтаксис RE2) c именованными группами захвата: имя группы и ее значение будут считаться полем и значением "сырого" события, которое можно будет преобразовать в поле события формата KUMA.
Чтобы добавить правила обработки событий:
Скопируйте в поле Примеры событий пример данных, которые вы хотите обработать. Это необязательный, но рекомендуемый шаг.
В поле блока параметров Нормализация добавьте регулярное выражение c именованными группами захвата в синтаксисе RE2, например "(?P<name>regexp)".
Можно добавить несколько регулярных выражений с помощью кнопки Добавить регулярное выражение. При необходимости удалить регулярное выражение, воспользуйтесь кнопкой .
Нажмите на кнопку Перенести названия полей в таблицу.
Имена групп захвата отображаются в столбце Поле KUMA таблицы Сопоставление. Теперь в столбце напротив каждой группы захвата можно выбрать соответствующее ей поле KUMA или, если вы именовали группы захвата в соответствии с форматом CEF, можно воспользоваться автоматическим сопоставлением CEF, поставив флажок Использовать синтаксис CEF при нормализации.
Этот метод парсинга используется для обработки данных в формате syslog.
При выборе этого метода можно воспользоваться преднастроенными правилами преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию.
Этот метод парсинга используется для обработки данных в формате ключ-значение.
При выборе этого метода необходимо указать значения в следующих обязательных полях:
Разделитель пар – укажите символ, которые будет служит разделителем пар ключ-значение. По умолчанию используется символ перевода строки, однако допускается указать любое односимвольное (1 байт) значение при условии, что символ не будет совпадать с разделителем значений.
Разделитель значений – укажите символ, который будет служить разделителем между ключом и значением. По умолчанию используется символ "=", однако допускается указать любое односимвольное (1 байт) значение при условии, что символ не будет совпадать с разделителем пар ключ-значение.
Этот метод парсинга используется для обработки данных в формате XML.
При выборе этого метода в блоке параметров Атрибуты XML можно указать ключевые атрибуты, которые следует извлекать из тегов. Если в структуре XML в одном теге есть атрибуты с разными значениями, можно определить нужное значение, указав ключ к нему в столбце Исходные данные таблицы Сопоставление.
Чтобы добавить ключевые атрибуты XML,
Нажмите на кнопку Добавить поле и в появившемся окне укажите путь к нужному атрибуту.
Можно добавить несколько атрибутов. Атрибуты можно удалить по одному с помощью значка с крестиком или все сразу с помощью кнопки Сбросить.
Если ключевые атрибуты XML не указаны, при сопоставлении полей уникальный путь к значению XML будет представлен последовательностью тегов.
Этот метод парсинга используется для обработки данных в формате NetFlow v5.
При выборе этого метода можно воспользоваться преднастроенными правилами преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию.
В правилах сопоставления по умолчанию для типа netflow тип протокола не указывается в полях событий KUMA. При парсинге данных в формате NetFlow в закладке нормализатора Обогащение следует создать правило обогащения данных типа constant, добавляющее значение netflow в целевое поле DeviceProduct.
Этот метод парсинга используется для обработки данных в формате NetFlow v9.
При выборе этого метода можно воспользоваться преднастроенными правилами преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию.
В правилах сопоставления по умолчанию для типа netflow тип протокола не указывается в полях событий KUMA. При парсинге данных в формате NetFlow в закладке нормализатора Обогащение следует создать правило обогащения данных типа constant, добавляющее значение netflow в целевое поле DeviceProduct.
Этот метод парсинга используется для обработки данных в формате IPFIX.
При выборе этого метода можно воспользоваться преднастроенными правилами преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию.
В правилах сопоставления по умолчанию для типа netflow тип протокола не указывается в полях событий KUMA. При парсинге данных в формате NetFlow в закладке нормализатора Обогащение следует создать правило обогащения данных типа constant, добавляющее значение netflow в целевое поле DeviceProduct.
Этот метод парсинга используется для обработки данных в формате SQL.
Хранить исходное событие (обязательно) – с помощью этого раскрывающегося списка можно указать, надо ли сохранять исходное "сырое" событие во вновь созданном нормализованном событии. Доступные значения:
Не хранить – не сохранять исходное событие. Это значение используется по умолчанию.
При возникновении ошибок – сохранять исходное событие в поле Raw нормализованного события, если в процессе парсинга возникли ошибки. Это значение удобно использовать при отладке сервиса: в этом случае появление у событий непустого поля Raw будет являться признаком неполадок.
Если поля с названиями *Address или *Date* не соответствуют правилам нормализации, такие поля игнорируются. При этом не возникает ошибка нормализации и значения полей не попадают в поле Raw нормализованного события, даже если был указан параметр Хранить исходное событие → При возникновении ошибок.
Всегда – сохранять сырое событие в поле Raw нормализованного события.
Этот параметр недоступен для дополнительных нормализаторов.
Сохранить дополнительные поля (обязательно) – в этом раскрывающемся списке можно выбрать, требуется ли сохранять поля исходного события в нормализованном событии, если для них не были настроены правила сопоставления (см. ниже). Данные сохраняются в поле события Extra. По умолчанию поля не сохраняются.
Описание – описание ресурса: до 256 символов Юникода.
Этот параметр недоступен для дополнительных нормализаторов.
Примеры событий – в это поле можно поместить пример данных, которые вы хотите обработать. Пример событий можно также загрузить из файла формата tsv, csv или txt с помощью кнопки Загрузить из файла.
Блок параметров Сопоставление – здесь можно настроить сопоставление полей исходного события с полями события в формате KUMA:
Исходные данные – столбец для названий полей исходного события, которые вы хотите преобразовать в поля события KUMA.
Если рядом с названиями полей в столбце Исходные данные нажать на кнопку , откроется окно Преобразование, в котором с помощью кнопки Добавить преобразование можно создать правила изменения исходных данных перед тем, как они будут записаны в поля событий KUMA.
Преобразования – это изменения, которые можно применить к значению до того, как оно будет записано в поле события. Тип преобразования выбирается в раскрывающемся списке.
Доступные преобразования:
lower – используется для перевода всех символов значения в нижний регистр
upper – используется для перевода всех символов значения в верхний регистр
regexp – используется для применения к значению регулярного выражения RE2. Поле, в которое следует добавить регулярное выражение, появляется, когда выбран этот тип преобразования.
substring – используется для извлечения символов в диапазоне позиций, указанном в полях Начало и Конец. Эти поля появляются, когда выбран данный тип преобразования.
replace – используется для замены указанной последовательности символов на другую последовательность символов. Когда выбран этот тип преобразования, появляются новые поля:
Символы на замену – в этом поле вы можете указать последовательность символов, которую следует заменить.
Чем заменить – в этом поле вы можете указать последовательность символов, которая должна использоваться вместо заменяемой последовательности символов.
trim – используется для удаления одновременно с начала и с конца значения поля события символов, указанных в поле Символы. Это поле появляется при выборе данного типа преобразования. Например, если для значения Microsoft-Windows-Sismon выполнить преобразование trim со значением Micromon, то получается значение soft-Windows-Sys.
append – используется для добавления в конец значения поля события символов, указанных в поле Константа. Это поле появляется при выборе данного типа преобразования.
prepend – используется для добавления к началу значения поля события символов, указанных в поле Константа. Это поле появляется при выборе данного типа преобразования.
replace with regexp – используется для замены результатов регулярного выражения RE2 на последовательность символов.
Выражение – в этом поле вы можете указать регулярное выражение, результаты которого следует заменить.
Чем заменить – в этом поле вы можете указать последовательность символов, которая должна использоваться вместо заменяемой последовательности символов.
Поле KUMA – раскрывающийся список для выбора требуемых полей событий KUMA. Поля можно искать, вводя в поле их названия.
Подпись – в этом столбце можно добавить уникальную пользовательскую метку полям событий, которые начинаются с DeviceCustom*.
Новые строки таблицы можно добавлять с помощью кнопки Добавить строку. Строки можно удалять по отдельности с помощью кнопки или все сразу с помощью кнопки Очистить все.
Если вы загрузили данные в поле Примеры событий, в таблице отобразится столбец Примеры с примерами значений, переносимых из поля исходного события в поле события KUMA.
Обогащение
Эта закладка используются для дополнения полей нормализованного события другими данными с помощью правил обогащения, аналогичным правилам в ресурсах правил обогащения. Эти правила хранятся в ресурсе нормализатора, в котором они были созданы. Правил обогащения может быть несколько. Обогащения создаются с помощью кнопки Добавить обогащение.
Параметры, доступные в блоке параметров правила обогащения:
Тип источника (обязательно) – раскрывающийся список для выбора типа обогащения. В зависимости от выбранного типа отобразятся дополнительные параметры, которые также потребуется заполнить.
Этот тип обогащения используется, если в поле события необходимо добавить константу.
При выборе этого типа необходимо указать в поле Константа значение, которое следует добавить в поле события. Значение должно состоять не более чем из 255 символов Юникода. Если оставить это поле пустым, существующее значение поля события будет удалено.
Этот тип обогащения используется, если в поле события необходимо добавить значение из словаря.
При выборе этого типа в раскрывающемся списке Название словаря необходимо выбрать словарь, из которого будут браться значения, а в блоке параметров Ключевые поля с помощью кнопки Добавить поле требуется выбрать поля события, значения которых будут использоваться для выбора записи словаря.
Этот тип обогащения используется, если в поле события необходимо записать значение другого поля события.
При выборе этого типа в раскрывающемся списке Исходное поле необходимо выбрать поле события, значение которого будет записано в целевое поле. Если нажать на кнопку , откроется окно Преобразование, в котором с помощью кнопки Добавить преобразование можно создать правила изменения исходных данных перед тем, как они будут записаны в поля событий KUMA.
Преобразования – это изменения, которые можно применить к значению до того, как оно будет записано в поле события. Тип преобразования выбирается в раскрывающемся списке.
Доступные преобразования:
lower – используется для перевода всех символов значения в нижний регистр
upper – используется для перевода всех символов значения в верхний регистр
regexp – используется для применения к значению регулярного выражения RE2. Поле, в которое следует добавить регулярное выражение, появляется, когда выбран этот тип преобразования.
substring – используется для извлечения символов в диапазоне позиций, указанном в полях Начало и Конец. Эти поля появляются, когда выбран данный тип преобразования.
replace – используется для замены указанной последовательности символов на другую последовательность символов. Когда выбран этот тип преобразования, появляются новые поля:
Символы на замену – в этом поле вы можете указать последовательность символов, которую следует заменить.
Чем заменить – в этом поле вы можете указать последовательность символов, которая должна использоваться вместо заменяемой последовательности символов.
trim – используется для удаления одновременно с начала и с конца значения поля события символов, указанных в поле Символы. Это поле появляется при выборе данного типа преобразования. Например, если для значения Microsoft-Windows-Sismon выполнить преобразование trim со значением Micromon, то получается значение soft-Windows-Sys.
append – используется для добавления в конец значения поля события символов, указанных в поле Константа. Это поле появляется при выборе данного типа преобразования.
prepend – используется для добавления к началу значения поля события символов, указанных в поле Константа. Это поле появляется при выборе данного типа преобразования.
replace with regexp – используется для замены результатов регулярного выражения RE2 на последовательность символов.
Выражение – в этом поле вы можете указать регулярное выражение, результаты которого следует заменить.
Чем заменить – в этом поле вы можете указать последовательность символов, которая должна использоваться вместо заменяемой последовательности символов.
, откроется окно Преобразование, в котором с помощью кнопки Добавить преобразование можно создать правила изменения исходных данных перед тем, как они будут записаны в поля событий KUMA.
или все сразу с помощью кнопки Очистить все.