Параметры парсинга событий

Руководство пользователя > Ресурсы KUMA > Нормализаторы > Параметры парсинга событий

Параметры парсинга событий

При создании правил парсинга событий в окне параметров нормализатора на вкладке Схема нормализации вы можете настроить правила приведения поступающих событий к формату KUMA. Доступные параметры парсинга событий описаны в таблице ниже.

Доступные параметры парсинга событий

Параметр

Описание

Название

Название правил парсинга. Максимальная длина имени: 128 символов в кодировке Unicode. Название основного правила парсинга будет использоваться в качестве названия нормализатора.

Обязательный параметр.

Тенант

Название тенанта, которому принадлежит ресурс.

Параметр недоступен для дополнительных правил парсинга.

Метод парсинга

Тип входящих событий. В зависимости от выбранного метода парсинга вы можете использовать преднастроенные правила сопоставления полей событий или задать свои правила. При выборе некоторых методов парсинга могут стать доступны дополнительные параметры, которые вам нужно заполнить. Доступные методы парсинга:

json
Этот метод парсинга используется для обработки данных в формате JSON, в которых каждый объект, включая его вложенные объекты, занимает одну строку файла.

При обработке файлов с иерархически выстроенными данными вы можете обращаться к полям вложенных объектов, указывая названия параметров поочередно через точку. Например, к параметру username из строки "user":{"username":"system:node:example-01"} можно обратиться с помощью запроса user.username.

Файлы обрабатываются построчно. Многострочные объекты с вложенными структурами могут быть нормализованны неправильно.

В сложных схемах нормализации, где используются дополнительные нормализаторы, все вложенные объекты обрабатываются на первом уровне нормализации за исключением случаев, когда условия дополнительной нормализации не заданы и обрабатываемое событие целиком передается в дополнительный нормализатор.

В качестве разделителя строк вы можете использовать символы \n и \r\n. Строки должны быть в кодировке UTF-8.

Если вы хотите передавать сырое событие для дополнительной нормализации, на каждом уровне вложенности в окне Дополнительный парсинг события в раскрывающемся списке Использовать сырое событие выберите Да.
cef
Этот метод парсинга используется для обработки данных в формате CEF.

При выборе этого метода парсинга вы можете использовать преднастроенные правила преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию.
regexp
Этот метод парсинга используется для создания собственных правил обработки данных в формате с использованием регулярных выражений.

Вам нужно добавить регулярное выражение (синтаксис RE2) c именованными группами захвата в поле блока параметров Нормализация. Имя группы захвата и ее значение будут считаться полем и значением сырого события, которое можно будет преобразовать в поле события формата KUMA.

Чтобы добавить правила обработки событий:
1. При необходимости в поле Примеры событий скопируйте пример данных, которые вы хотите обработать. Мы рекомендуем выполнить этот шаг.
2. В поле блока параметров Нормализация добавьте регулярное выражение c именованными группами захвата в синтаксисе RE2, например "(?P<name>regexp)". Регулярное выражение, добавленное в поле блока параметров Нормализация, должно полностью совпадать с событием. При разработке регулярного выражения рекомендуется использовать специальные символы, обозначающие начало и конец текста: ^, $.
  Вы можете добавить несколько регулярных выражений или удалить регулярные выражения. Для добавления регулярного выражения нажмите на кнопку Добавить регулярное выражение. Для удаления регулярного выражения нажмите рядом с ним на значок удаления .
3. Нажмите на кнопку Перенести названия полей в таблицу.
  Имена групп захвата отображаются в столбце Поле KUMA таблицы Сопоставление. Вы можете выбрать соответствующее группе захвата поле KUMA в столбце напротив каждой группы захвата. Если вы именовали группы захвата в соответствии с форматом CEF, вы можете использовать автоматическое сопоставление CEF, установив флажок Использовать синтаксис CEF при нормализации.
Правила обработки событий будут добавлены.
syslog
Этот метод парсинга используется для обработки данных в формате syslog.

При выборе этого метода парсинга вы можете использовать преднастроенные правила преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию.

Для парсинга событий в формате rfc5424 с секцией structured-data вам нужно в раскрывающемся списке Сохранить дополнительные поля выбрать Да. В этом случае значения из секции structured-data станут доступны в полях Extra.
csv
Этот метод парсинга используется для создания собственных правил обработки данных в формате CSV.

При выборе этого метода парсинга вам нужно в поле Разделитель указать разделитель значений в строке. В качестве разделителя значений в строке можно использовать любой однобайтовый символ ASCII.

xml
Этот метод парсинга используется для обработки данных в формате XML, в которых каждый объект, включая вложенные объекты, занимает одну строку файла. Файлы обрабатываются построчно.

Если вы хотите передавать сырое событие для дополнительной нормализации, на каждом уровне вложенности в окне Дополнительный парсинг события в раскрывающемся списке Использовать сырое событие выберите Да.

При выборе этого метода парсинга вы можете указать ключевые атрибуты XML, которые требуется извлекать из тегов, в блоке параметров Атрибуты XML. Если в структуре XML в одном теге есть атрибуты XML с разными значениями, вы можете определить значение, указав ключ к значению в столбце Исходные данные таблицы Сопоставление.

Чтобы добавить ключевые атрибуты XML:
1. Нажмите на кнопку + Добавить поле.
2. В открывшемся окне укажите путь к атрибуту XML.
Вы можете добавить несколько атрибутов XML и удалить атрибуты XML. Для удаления отдельного атрибута XML нажмите рядом с ним на значок удаления . Для удаления всех атрибутов XML нажмите на кнопку Сбросить.

Если ключевые атрибуты XML не указаны, при сопоставлении полей уникальный путь к значению XML будет представлен последовательностью тегов.

Нумерация тегов

Начиная с версии KUMA 2.1.3 доступна автоматическая нумерация тегов в событиях в формате XML. Это позволяет распарсить событие с одинаковыми тегами или неименованными тегами, такими как <Data>.

В качестве примера мы используем нумерацию тегов атрибута EventData события Microsoft Windows PowerShell event ID 800.
<Event xmlns="http://schemas .microsoft.com/win/2004/08/events/event">

<System>

<Provider Name="Microsoft-Windows-ActiveDirectory_DomainService" Guid="{0e8478c5-3605-4e8c-8497-1e730c959516}" EventSourceName="NTDS" />

<EventID Qualifiers="0000">0000</EventID>

<Version>@</Version>

<Level>4</Level>

<Task>15</Task>

<Opcode>0</Opcode>

<Keywords >0x8080000000000000</Keywords>

<TimeCreated SystemTime="2000-01-01T00:00:00.659495900Z" />

<EventRecordID>55647</EventRecordID>

<Correlation />

<Execution ProcessID="1" ThreadID="1" />

<Channel>service</Channel>

<Computer>computer</Computer>

<Security UserID="0000" />

</System>

<EventData>

<Data>583</Data>

<Data>36</Data>

<Data>192.168.0.1:5084</Data>

<Data>level</Data>

<Data>name, lDAPDisplayName</Data>

<Data />

<Data>5545</Data>

<Data>3</Data>

<Data>0</Data>

<Data>0</Data>

<Data>0</Data>

<Data>15</Data>

<Data>none</Data>

</EventData>

</Event>

Для парсинга событий с одинаковыми тегами или неименованными тегами вам нужно настроить нумерацию тегов и маппинг данных для пронумерованных тегов с полями события KUMA.

KUMA 3.0.x поддерживает одновременное использование атрибутов XML и нумерации тегов в рамках одного экстранормализатора. Если атрибут XML содержит неименованные теги или одинаковые теги, мы рекомендуем использовать нумерацию тегов. Если атрибут XML содержит только именованные теги, мы рекомендуем использовать атрибуты XML.

Для использования атрибутов XML и нумерации тегов в экстранормализаторах вам нужно последовательно включить параметр Использовать сырое событие в каждом экстранормализаторе по пути следования события в целевой экстранормализатор и в целевом экстранормализаторе.

В качестве примера работы нумерации тегов вы можете обратиться к нормализатору MicrosoftProducts. Параметр Использовать сырое событие включен последовательно в экстранормализаторах AD FS и 424.

Чтобы настроить парсинг событий с неименованными или одинаковыми тегами:
1. Откройте существующий или создайте новый нормализатор.
2. В окне нормализатора Основной парсинг событий в раскрывающемся списке Метод парсинга выберите xml.
3. В поле Нумерация тегов нажмите на кнопку + Добавить поле.
4. В отобразившемся поле укажите полный путь к тегу, элементам которого требуется присвоить порядковый номер, например Event.EventData.Data. Первому тегу будет присвоен номер 0. Если тег пустой, например <Data />, ему также будет присвоен порядковый номер.
5. Для настройки маппинга данных в группе параметров Сопоставление нажмите на кнопку + Добавить строку и выполните следующие действия:
  1. В отобразившейся строке в поле Исходные данные укажите полный путь к тегу и индекс тега. Например, для события Microsoft Windows PowerShell event ID 800 из примера выше полные пути к тегам и индексы тегов будут выглядеть следующим образом:
    - Event.EventData.Data.0;
    - Event.EventData.Data.1;
    - Event.EventData.Data.2 и так далее.
  2. В раскрывающемся списке Поле KUMA выберите поле в событии KUMA, в которое попадет значение из пронумерованного тега после выполнения парсинга.
6. Сохраните изменения одним из следующих способов:
  - Если вы создали новый нормализатор, нажмите на кнопку Сохранить.
  - Если вы изменили существующий нормализатор, в коллекторе, к которому привязан нормализатор, нажмите на кнопку Обновить параметры.
Настройка парсинга будет завершена.
netflow
Этот метод парсинга используется для обработки данных во всех поддерживаемых форматах на основе протокола NetFlow: NetFlow v5, NetFlow v9 и IPFIX.

При выборе этого метода парсинга вы можете использовать преднастроенные правила преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию. При этом будут учтены исходные поля всех версий NetFlow (NetFlow v5, NetFlow v9 и IPFIX).

Если метод парсинга netflow выбран для основного парсинга, дополнительная нормализация недоступна.

В правилах сопоставления по умолчанию для метода парсинга netflow в полях событий KUMA не указывается тип протокола. При парсинге данных в формате NetFlow на вкладке нормализатора Обогащение вам нужно создать правило обогащения данных типа constant, добавляющее значение netflow в целевое поле DeviceProduct.
netflow5
Этот метод парсинга используется для обработки данных в формате NetFlow v5.

При выборе этого метода парсинга вы можете использовать преднастроенные правила преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию. Если метод парсинга netflow5 выбран для основного парсинга, дополнительная нормализация недоступна.

В правилах сопоставления по умолчанию для метода парсинга netflow5 в полях событий KUMA не указывается тип протокола. При парсинге данных в формате NetFlow на вкладке нормализатора Обогащение вам нужно создать правило обогащения данных типа constant, добавляющее значение netflow в целевое поле DeviceProduct.
netflow9
Этот метод парсинга используется для обработки данных в формате NetFlow v9.

При выборе этого метода парсинга вы можете использовать преднастроенные правила преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию. Если метод парсинга netflow9 выбран для основного парсинга, дополнительная нормализация недоступна.

В правилах сопоставления по умолчанию для метода парсинга netflow9 в полях событий KUMA не указывается тип протокола. При парсинге данных в формате NetFlow на вкладке нормализатора Обогащение вам нужно создать правило обогащения данных типа constant, добавляющее значение netflow в целевое поле DeviceProduct.
sflow5
Этот метод парсинга используется для обработки данных в формате sflow5.

При выборе этого метода парсинга вы можете использовать преднастроенные правила преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию. Если метод парсинга sflow5 выбран для основного парсинга, дополнительная нормализация недоступна.
ipfix
Этот метод парсинга используется для обработки данных в формате IPFIX.

При выборе этого метода парсинга вы можете использовать преднастроенные правила преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию. Если метод парсинга ipfix выбран для основного парсинга, дополнительная нормализация недоступна.

В правилах сопоставления по умолчанию для метода парсинга ipfix в полях событий KUMA не указывается тип протокола. При парсинге данных в формате NetFlow на вкладке нормализатора Обогащение вам нужно создать правило обогащения данных типа constant, добавляющее значение netflow в целевое поле DeviceProduct.
sql
Нормализатор использует этот метод парсинга для обработки данных, полученных с помощью выборки из базы данных.

Обязательный параметр.

Сохранить исходное событие

Сохранение исходных событий во вновь созданном нормализованном событии. Доступные значения:

Не сохранять – не сохранять исходное событие. Это значение используется по умолчанию.
При возникновении ошибок – сохранять исходное событие в поле Raw нормализованного события, если в процессе парсинга возникли ошибки. Это значение удобно использовать при отладке сервиса, так как в этом случае появление у событий непустого поля Raw будет являться признаком неполадок.
Если поля с названиями *Address или *Date* не соответствуют правилам нормализации, такие поля игнорируются. При этом не возникает ошибка нормализации и значения полей не попадают в поле Raw нормализованного события, даже если был указан параметр Сохранить исходное событие → При возникновении ошибок.
Всегда – сохранять сырое событие в поле Raw нормализованного события.

Обязательный параметр. Параметр недоступен для дополнительных правил парсинга.

Сохранить дополнительные поля

Сохранение поля и значения, для которых не настроены правила сопоставления. Данные сохраняются в поле события Extra в виде массива. Нормализованные события можно искать и фильтровать по данным, хранящимся в поле Extra.

Фильтрация по данным из поля события Extra

По умолчанию дополнительные поля не сохраняются.

Обязательный параметр.

Описание

Описание ресурса. Максимальная длина описания: до 4000 символов в кодировке Unicode.

Параметр недоступен для дополнительных правил парсинга.

Примеры событий

Пример данных, которые вы хотите обработать.

Параметр недоступен для методов парсинга netflow5, netflow9, sflow5, ipfix и sql.

Если парсинг события был выполнен успешно и тип полученных из сырого события данных совпадает с типом поля KUMA, поле Примеры событий заполняется данными, полученными из сырого события. Например, значение "192.168.0.1", заключенное в кавычки, не будет отображено в поле SourceAddress. При этом значение 192.168.0.1 будет отображено в поле Примеры событий.

Сопоставление

Параметры для настройки сопоставления полей исходного события с полями события в формате KUMA:

Исходные данные – названия полей исходного события, которые вы хотите преобразовать в поля события KUMA.
Если рядом с названиями полей в столбце Исходные данные нажать на кнопку , откроется окно Преобразование, в котором вы можете с помощью кнопки Добавить преобразование создавать правила для изменения исходных данных перед записью в поля событий KUMA. Вы можете менять местами и удалять созданные правила. Для изменения места правила используйте значок рядом с ним. Для удаления правила нажмите рядом с ним на значок .

Доступные преобразования
Преобразования – это изменения, которые применяются к значению перед записью в поле события. Вы можете выбрать в раскрывающемся списке один из следующих типов преобразования:
- entropy – используется для преобразования значения исходного поля с помощью функции вычисления информационной энтропии и помещения результата преобразования в целевое поле типа float. Результатом преобразования будет число. Показатель вычисления информационной энтропии позволяет выявлять DNS-туннели и компрометацию паролей, например когда пользователь ввел пароль вместо логина и пароль записывается в журнал в открытом виде.
- lower – используется для перевода всех символов значения в нижний регистр.
- upper – используется для перевода всех символов значения в верхний регистр.
- regexp – используется для преобразования значения с помощью указанного регулярного выражения RE2. При выборе этого типа преобразования отображается поле, в котором вам нужно указать регулярное выражение RE2.
- substring – используется для извлечения символов в указанном диапазоне позиций. При выборе этого типа преобразования отображаются поля Начало и Конец, в которых вам нужно указать диапазон позиций.
- replace – используется для замены указанной последовательности символов на другую последовательность символов. При выборе этого типа преобразования отображаются следующие поля:
  - Символы на замену – последовательность символов, которую требуется заменить.
  - Чем заменить – последовательность символов, которую требуется использовать вместо заменяемой последовательности символов.
- trim – используется для удаления указанных символов одновременно с начала и с конца значения поля события. При выборе этого типа преобразования отображается поле Символы, в котором вам нужно указать символы. Например, если для значения Microsoft-Windows-Sysmon выполнить преобразование trim со значением Micromon, новым значением будет soft-Windows-Sys.
- append – используется для добавления указанных символов в конец значения поля события. При выборе этого типа преобразования отображается поле Константа, в котором вам нужно указать символы.
- prepend – используется для добавления указанных символов к началу значения поля события. При выборе этого типа преобразования отображается поле Константа, в котором вам нужно указать символы.
- replace with regexp – используется для замены результатов регулярного выражения RE2 на указанную последовательность символов. При выборе этого типа преобразования отображаются следующие поля:
  - Выражение – регулярное выражение RE2, результаты которого требуется заменить.
  - Чем заменить – последовательность символов, которую требуется использовать вместо заменяемой последовательности символов.
- Конвертация закодированных строк в текст:
  - decodeHexString – используется для конвертации HEX-строки в текст.
  - decodeBase64String – используется для конвертации Base64-строки в текст.
  - decodeBase64URLString – используется для конвертации Base64url-строки в текст.
  При конвертации поврежденной строки или при ошибках конвертации в поле события могут быть записаны поврежденные данные.
  
  При обогащении событий, если длина закодированной строки превышает размер поля нормализованного события, строка будет обрезана и не будет раскодирована.
  
  Если длина раскодированной строки превышает размер поля события, в которое должно быть помещено раскодированное значение, строка будет обрезана до размера этого поля события.
Преобразования при использовании расширенной схемы событий

Возможность использования преобразования зависит от типа используемого поля расширенной схемы событий:
- для дополнительного поля с типом «Строка» доступны все типы преобразования.
- для полей с типами «Число» и «Число с плавающей точкой» доступны следующие типы преобразования: regexp, substring, replace, trim, append, prepend, replaceWithRegexp, decodeHexString, decodeBase64String и decodeBase64URLString.
- для полей с типами «Массив строк», «Массив чисел» и «Массив чисел с плавающей точкой» доступны следующие типы преобразования: append и prepend.
Поле KUMA – поля событий KUMA. Вы можете искать поля, вводя их названия.
Подпись – уникальная пользовательская метка полей событий, которые начинаются с DeviceCustom* и Flex*.

Вы можете добавлять новые строки таблицы и удалять строки таблицы. Для добавления новой строки таблицы нажмите на кнопку Добавить строку . Для удаления отдельной строки таблицы нажмите рядом с ней на значок cross . Для удаления всех строк таблицы нажмите на кнопку Очистить все.

Если вы загрузили данные в поле Примеры событий, в таблице отобразится столбец Примеры с примерами значений, переносимых из поля исходного события в поле события KUMA.

Если размер поля события KUMA оказывается меньше длины помещаемого в него значения, значение обрезается до размера поля события.

Расширенная схема события

При нормализации событий, помимо полей стандартной схемы событий KUMA, могут быть использованы поля расширенной схемы событий. При использовании полей расширенной схемы событий сохраняется общее ограничение для максимального размера события обрабатываемого коллектором - 4 МБ. Информация о типах полей расширенной схемы событий приведена в таблице ниже.

Использование значительного количества уникальных полей расширенной схемы событий может привести к снижению производительности системы, увеличению объёма дискового пространства, необходимого для хранения событий и сложности восприятия данных.

Мы рекомендуем предварительно продумать и сформировать минимально необходимый набор дополнительных полей расширенной схемы событий и использовать его в нормализаторах и корреляции.

Чтобы использовать поля расширенной схемы событий:

Откройте существующий или создайте новый нормализатор.
Заполните основные параметры нормализатора.
Нажмите на кнопку Добавить строку.
В параметре Исходные данные укажите название исходного поля в сыром событии.

В параметре Поле KUMA укажите имя создаваемого поля расширенной схемы событий.

Поля расширенной модели данных нормализованного события

Нажмите на кнопку ОК, после чего нажать на кнопку Сохранить для сохранения нормализатора событий.

Название поля Указывается в параметре Поле KUMA	Тип данных	Доступность в нормализаторе	Описание
`S.<имя поля>`	Строка	Все типы	Поле с типом «Строка».
`N.<имя поля>`	Число	Все типы	Поле с типом «Число».
`F.<имя поля>`	Число с плавающей точкой	Все типы	Поле с типом «Число с плавающей точкой».
`SA.<имя поля>`	Массив строк	KV, JSON	Поле с типом «Массив строк». Порядок элементов массива соответствует порядку элементов сырого события.
`NA.<имя поля>`	Массив целых чисел	KV, JSON	Поле с типом «Массив целых чисел». Порядок элементов массива соответствует порядку элементов сырого события.
`FA.<имя поля>`	Массив чисел с плавающей точкой	KV, JSON	Поле с типом «Чисел с плавающей точкой». Порядок элементов массива соответствует порядку элементов сырого события.

Нормализатор сохранен, дополнительное поле создано. После сохранения нормализатора дополнительное поле может быть использовано в других нормализаторах и ресурсах KUMA.

Если данные, находящиеся в полях сырого события, не соответствуют типу поля KUMA, в процессе нормализации событий значение не будет сохранено, если невозможно выполнить преобразование типов данных. Например, строка test не может быть помещена в числовое поле KUMA DeviceCustomNumber1.

С точки зрения нагрузки на сервер хранения при операциях поиска событий, подготовки отчётов и других операций с событиями в хранилище наиболее предпочтительными являются поля схемы событий KUMA, после чего идут поля расширенной схемы событий, затем поля Extra.

Идентификатор статьи: 221932, Последнее изменение: 3 апр. 2025 г.

В начало