Нормализация событий

Нормализаторы предназначены для приведения исходных событий, которые поступают из разных источников в разных форматах, к модели данных событий KUMA. Нормализованные события становятся доступны для обработки другими ресурсами и сервисами KUMA.

Для наглядного ознакомления с нормализаторами вы можете просмотреть видео ниже.

Нормализатор состоит из основного и необязательных дополнительных правил парсинга событий. С помощью создания основного и множества дополнительных правил парсинга можно реализовать сложную логику обработки событий. Данные передаются по древовидной структуре правил парсинга в зависимости от условий, заданных в параметре

Нормализация событий доступна в следующих вариантах:

• 1 коллектор – 1 нормализатор.

  Мы рекомендуем использовать такой способ, если у вас много событий одного типа или много IP-адресов, откуда могут приходить события одного типа. Можно настроить один коллектор только с одним нормализатором и это будет оптимально с точки зрения производительности.

• 1 коллектор – несколько нормализаторов с привязкой к IP-адресу.

  Такой способ доступен для коллекторов с коннектором типа UDP, TCP, HTTP. Если в коллекторе на шаге Транспорт указан коннектор UDP, TCP, HTTP, на шаге Парсинг событий на вкладке Настройки парсинга вы можете задать несколько IP-адресов и указать, какой нормализатор использовать для событий, поступающих с заданных адресов. Доступны следующие типы нормализаторов: json, cef, regexp, syslog, csv, kv, xml. Для нормализаторов типа Syslog и regexp вы можете задать дополнительные условия нормализации в зависимости от значения поля DeviceProcessName.

Чтобы создать нормализатор:

1. В веб-интерфейсе перейдите в раздел Ресурсы → Нормализаторы и нажмите кнопку Создать.
2. В поле Название введите уникальное имя нормализатора. Максимальная длина имени: до 128 символов в кодировке Unicode.
3. В раскрывающемся списке Тенант, которому принадлежит нормализатор.
4. В раскрывающемся списке Метод парсинга выберите тип получаемых событий. В зависимости от выбранного значения вы можете использовать преднастроенные правила сопоставления полей событий или указать правила вручную. При выборе определенных методов парсинга могут стать доступны дополнительные параметры, для которых вам нужно указать значения.

   Доступные методы парсинга:

   json

   Этот метод парсинга используется для обработки данных в формате JSON, в которых каждый объект, включая его вложенные объекты, занимает одну строку файла.

   При обработке файлов с иерархически выстроенными данными вы можете обращаться к полям вложенных объектов, указывая названия параметров поочередно через точку. Например, к параметру username из строки "user":{"username":"system:node:example-01"} можно обратиться с помощью запроса user.username.

   Файлы обрабатываются построчно. Многострочные объекты с вложенными структурами могут быть нормализованы неправильно.

   В сложных схемах нормализации, где используются дополнительные нормализаторы, все вложенные объекты обрабатываются на первом уровне нормализации за исключением случаев, когда условия дополнительной нормализации не заданы и обрабатываемое событие целиком передается в дополнительный нормализатор.

   В качестве разделителя строк вы можете использовать символы \n и \r\n. Строки должны быть в кодировке UTF-8.

   Если вы хотите передавать сырое событие для дополнительной нормализации, на каждом уровне вложенности в окне Дополнительный парсинг события в раскрывающемся списке Использовать сырое событие выберите Да.

   cef

   Этот метод парсинга используется для обработки данных в формате CEF.

   При выборе этого метода парсинга вы можете использовать преднастроенные правила преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию.

   regexp

   Этот метод парсинга используется для создания собственных правил обработки данных в формате с использованием регулярных выражений.

   Вам нужно добавить регулярное выражение (синтаксис RE2) c именованными группами захвата в поле блока параметров Нормализация. Имя группы захвата и ее значение будут считаться полем и значением сырого события, которое можно будет преобразовать в поле события формата KUMA.

   Чтобы добавить правила обработки событий:

   1. При необходимости в поле Примеры событий скопируйте пример данных, которые вы хотите обработать. Мы рекомендуем выполнить этот шаг.

      Вы также можете сгенерировать регулярные выражения на основе добавленных примеров по кнопке Сгенерировать регулярное выражение с помощью KIRA. В этом случае сгенерированные регулярные выражения автоматически добавятся в блок параметров Нормализация.

   2. В поле блока параметров Нормализация добавьте регулярное выражение c именованными группами захвата в синтаксисе RE2, например "(?P<name>regexp)". Регулярное выражение, добавленное в поле блока параметров Нормализация, должно полностью совпадать с событием. При разработке регулярного выражения рекомендуется использовать специальные символы, обозначающие начало и конец текста: ^, $.

      Вы можете добавить несколько регулярных выражений или удалить регулярные выражения. Для добавления регулярного выражения нажмите на кнопку Добавить регулярное выражение. Для удаления регулярного выражения нажмите рядом с ним на значок удаления .

   3. Нажмите на кнопку Перенести названия полей в таблицу.

      Имена групп захвата отображаются в столбце Поле KUMA таблицы Сопоставление. Вы можете выбрать соответствующее группе захвата поле KUMA в столбце напротив каждой группы захвата. Если вы именовали группы захвата в соответствии с форматом CEF, вы можете использовать автоматическое сопоставление CEF, установив флажок Использовать синтаксис CEF при нормализации.

   Правила обработки событий будут добавлены.

   syslog

   Этот метод парсинга используется для обработки данных в формате syslog.

   При выборе этого метода парсинга вы можете использовать преднастроенные правила преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию.

   Для парсинга событий в формате rfc5424 с секцией structured-data вам нужно в раскрывающемся списке Сохранить дополнительные поля выбрать Да. В этом случае значения из секции structured-data станут доступны в полях Extra.

   csv

   Этот метод парсинга используется для создания собственных правил обработки данных в формате CSV.

   При выборе этого метода парсинга вам нужно в поле Разделитель указать разделитель значений в строке. В качестве разделителя значений в строке можно использовать любой однобайтовый символ ASCII.

   kv

   Этот метод парсинга используется для обработки данных в формате ключ-значение. Доступные параметры метода парсинга описаны в таблице ниже.

   Доступные параметры метода парсинга

   Параметр	Описание
   Разделитель пар	Символ для разделения пар ключ-значение. Вы можете указать любое односимвольное (1 байт) значение. Указанное значение не должно совпадать со значением, указанным в поле Разделитель значений.
   Разделитель значений	Символ для разделения ключа и значения. Вы можете указать любое односимвольное (1 байт) значение. Указанное значение не должно совпадать со значением, указанным в поле Разделитель пар.

   xml

   Этот метод парсинга используется для обработки данных в формате XML, в которых каждый объект, включая вложенные объекты, занимает одну строку файла. Файлы обрабатываются построчно.

   Если вы хотите передавать сырое событие для дополнительной нормализации, на каждом уровне вложенности в окне Дополнительный парсинг события в раскрывающемся списке Использовать сырое событие выберите Да.

   При выборе этого метода парсинга вы можете указать ключевые атрибуты XML, которые требуется извлекать из тегов, в блоке параметров Атрибуты XML. Если в структуре XML в одном теге есть атрибуты XML с разными значениями, вы можете определить значение, указав ключ к значению в столбце Исходные данные таблицы Сопоставление.

   Чтобы добавить ключевые атрибуты XML:

   1. Нажмите на кнопку + Добавить поле.
   2. В открывшемся окне укажите путь к атрибуту XML.

   Вы можете добавить несколько атрибутов XML и удалить атрибуты XML. Для удаления отдельного атрибута XML нажмите рядом с ним на значок удаления . Для удаления всех атрибутов XML нажмите на кнопку Сбросить.

   Если ключевые атрибуты XML не указаны, при сопоставлении полей уникальный путь к значению XML будет представлен последовательностью тегов.

   Нумерация тегов

   Начиная с версии KUMA 2.1.3 доступна автоматическая нумерация тегов в событиях в формате XML. Это позволяет распарсить событие с одинаковыми тегами или неименованными тегами, такими как <Data>.

   В качестве примера мы используем нумерацию тегов атрибута EventData события Microsoft Windows PowerShell event ID 800.

   Посмотреть события Microsoft Windows PowerShell event ID 800

   <Event xmlns="http://schemas .microsoft.com/win/2004/08/events/event">

   <System>

   <Provider Name="Microsoft-Windows-ActiveDirectory_DomainService" Guid="{0e8478c5-3605-4e8c-8497-1e730c959516}" EventSourceName="NTDS" />

   <EventID Qualifiers="0000">0000</EventID>

   <Version>@</Version>

   <Level>4</Level>

   <Task>15</Task>

   <Opcode>0</Opcode>

   <Keywords >0x8080000000000000</Keywords>

   <TimeCreated SystemTime="2000-01-01T00:00:00.659495900Z" />

   <EventRecordID>55647</EventRecordID>

   <Correlation />

   <Execution ProcessID="1" ThreadID="1" />

   <Channel>service</Channel>

   <Computer>computer</Computer>

   <Security UserID="0000" />

   </System>

   <EventData>

   <Data>583</Data>

   <Data>36</Data>

   <Data>192.168.0.1:5084</Data>

   <Data>level</Data>

   <Data>name, lDAPDisplayName</Data>

   <Data />

   <Data>5545</Data>

   <Data>3</Data>

   <Data>0</Data>

   <Data>0</Data>

   <Data>0</Data>

   <Data>15</Data>

   <Data>none</Data>

   </EventData>

   </Event>

   Для парсинга событий с одинаковыми тегами или неименованными тегами вам нужно настроить нумерацию тегов и маппинг данных для пронумерованных тегов с полями события KUMA.

   KUMA 3.0.x поддерживает одновременное использование атрибутов XML и нумерации тегов в рамках одного экстранормализатора. Если атрибут XML содержит неименованные теги или одинаковые теги, мы рекомендуем использовать нумерацию тегов. Если атрибут XML содержит только именованные теги, мы рекомендуем использовать атрибуты XML.

   Для использования атрибутов XML и нумерации тегов в экстранормализаторах вам нужно последовательно включить параметр Использовать сырое событие в каждом экстранормализаторе по пути следования события в целевой экстранормализатор и в целевом экстранормализаторе.

   В качестве примера работы нумерации тегов вы можете обратиться к нормализатору MicrosoftProducts. Параметр Использовать сырое событие включен последовательно в экстранормализаторах AD FS и 424.

   Чтобы настроить парсинг событий с неименованными или одинаковыми тегами:

   1. Откройте существующий или создайте новый нормализатор.
   2. В окне нормализатора Основной парсинг событий в раскрывающемся списке Метод парсинга выберите xml.
   3. В поле Нумерация тегов нажмите на кнопку + Добавить поле.
   4. В отобразившемся поле укажите полный путь к тегу, элементам которого требуется присвоить порядковый номер, например Event.EventData.Data. Первому тегу будет присвоен номер 0. Если тег пустой, например <Data />, ему также будет присвоен порядковый номер.
   5. Для настройки маппинга данных в группе параметров Сопоставление нажмите на кнопку + Добавить строку и выполните следующие действия:
      1. В отобразившейся строке в поле Исходные данные укажите полный путь к тегу и индекс тега. Например, для события Microsoft Windows PowerShell event ID 800 из примера выше полные пути к тегам и индексы тегов будут выглядеть следующим образом:
         • Event.EventData.Data.0
         • Event.EventData.Data.1
         • Event.EventData.Data.2
      2. В раскрывающемся списке Поле KUMA выберите поле в событии KUMA, в которое попадет значение из пронумерованного тега после выполнения парсинга.
   6. Сохраните изменения одним из следующих способов:
      • Если вы создали новый нормализатор, нажмите на кнопку Сохранить.
      • Если вы изменили существующий нормализатор, в коллекторе, к которому привязан нормализатор, нажмите на кнопку Обновить параметры.

   Настройка парсинга будет завершена.

   netflow

   Этот метод парсинга используется для обработки данных во всех поддерживаемых форматах на основе протокола NetFlow: NetFlow v5, NetFlow v9 и IPFIX.

   При выборе этого метода парсинга вы можете использовать преднастроенные правила преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию. При этом будут учтены исходные поля всех версий NetFlow (NetFlow v5, NetFlow v9 и IPFIX).

   Если метод парсинга netflow выбран для основного парсинга, дополнительная нормализация недоступна.

   В правилах сопоставления по умолчанию для метода парсинга netflow в полях событий KUMA не указывается тип протокола. При парсинге данных в формате NetFlow на вкладке нормализатора Обогащение вам нужно создать правило обогащения данных типа constant, добавляющее значение netflow в целевое поле DeviceProduct.

   netflow5

   Этот метод парсинга используется для обработки данных в формате NetFlow v5.

   При выборе этого метода парсинга вы можете использовать преднастроенные правила преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию. Если метод парсинга netflow5 выбран для основного парсинга, дополнительная нормализация недоступна.

   В правилах сопоставления по умолчанию для метода парсинга netflow5 в полях событий KUMA не указывается тип протокола. При парсинге данных в формате NetFlow на вкладке нормализатора Обогащение вам нужно создать правило обогащения данных типа constant, добавляющее значение netflow в целевое поле DeviceProduct.

   netflow9

   Этот метод парсинга используется для обработки данных в формате NetFlow v9.

   При выборе этого метода парсинга вы можете использовать преднастроенные правила преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию. Если метод парсинга netflow9 выбран для основного парсинга, дополнительная нормализация недоступна.

   В правилах сопоставления по умолчанию для метода парсинга netflow9 в полях событий KUMA не указывается тип протокола. При парсинге данных в формате NetFlow на вкладке нормализатора Обогащение вам нужно создать правило обогащения данных типа constant, добавляющее значение netflow в целевое поле DeviceProduct.

   sflow5

   Этот метод парсинга используется для обработки данных в формате sflow5.

   При выборе этого метода парсинга вы можете использовать преднастроенные правила преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию. Если метод парсинга sflow5 выбран для основного парсинга, дополнительная нормализация недоступна.

   ipfix

   Этот метод парсинга используется для обработки данных в формате IPFIX.

   При выборе этого метода парсинга вы можете использовать преднастроенные правила преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию. Если метод парсинга ipfix выбран для основного парсинга, дополнительная нормализация недоступна.

   В правилах сопоставления по умолчанию для метода парсинга ipfix в полях событий KUMA не указывается тип протокола. При парсинге данных в формате NetFlow на вкладке нормализатора Обогащение вам нужно создать правило обогащения данных типа constant, добавляющее значение netflow в целевое поле DeviceProduct.

   sql

   Нормализатор использует этот метод парсинга для обработки данных, полученных с помощью выборки из базы данных.

   normalizer

   Этот метод парсинга позволяет переиспользовать ранее созданный нормализатор в качестве основного или дополнительного для обработки событий.

   При выборе этого метода парсинга вам нужно в раскрывающемся списке Нормализатор выбрать один из ранее созданных нормализаторов с типом json, cef, regexp, syslog, csv, kv, xml или sql. Нормализаторы с методом парсинга normalizer недоступны для выбора.

5. В раскрывающемся списке Теги выберите теги для нормализатора.
6. В раскрывающемся списке Сохранить исходное событие выберите, требуется ли сохранять исходное сырое событие в повторно созданном нормализованном событии:
   • Не сохранять – не сохранять исходное событие. Это значение выбрано по умолчанию.
   • При возникновении ошибок – сохранять исходное событие в поле Raw нормализованного события, если в процессе парсинга возникли ошибки. Вы можете использовать это значение при отладке сервиса. В этом случае появление у событий непустого поля Raw будет являться признаком неполадок.
   • Всегда – сохранять сырое событие в поле Raw нормализованного события.
7. В раскрывающемся списке Сохранить дополнительные поля выберите, требуется ли сохранять поля исходного события в нормализованном событии, если для них не было настроено сопоставление (см. шаг 8 этой инструкции):
   • Нет. Это значение выбрано по умолчанию.
   • Да. Поля исходного события сохраняются в поле Extra нормализованного события.

   Это поле недоступно, если в поле Метод парсинга выбрано значение normalizer.

8. При необходимости в поле Примеры событий укажите пример данных, которые вы хотите обработать. Мы рекомендуем выполнить этот шаг.

   Это поле недоступно, если в поле Метод парсинга выбрано значение normalizer.

   Вы можете добавить несколько примеров событий. Каждый новый пример нужно указывать с новой строки. При этом в таблице Сопоставление его результат парсинга отобразится в столбце Примеры. Это позволяет проверить правильность сопоставления полей для разных типов входящих событий.

   Ограничения при парсинге примеров событий

   При парсинге примеров данных, указанных в поле Примеры событий, в дополнительном нормализаторе не учитываются следующие параметры:

   • обогащение, настроенное в корневом нормализаторе;
   • фильтры, заданные в дополнительном нормализаторе;
   • значение параметра Использовать сырое событие;
   • преобразования в корневом нормализаторе;
   • преобразования для значения параметра Поле, которое следует передать в нормализатор.
9. В блоке параметров Сопоставление настройте сопоставление полей исходного события с полями событий KUMA:

   Таблица Сопоставление недоступна, если в поле Метод парсинга выбрано значение normalizer.

   1. Нажмите на кнопку + Добавить строку.

      Вы можете добавить несколько строк таблицы или удалить строки таблицы. Для удаления строки таблицы установите рядом с ней флажок и нажмите на кнопку Удалить.

   2. В столбце Исходные данные укажите название поля исходного события, которое вы хотите сопоставить с полем события KUMA.

      Подробнее о формате названий полей см. в статье Модель данных нормализованного события. Описание сопоставления см. в статье Сопоставление полей предустановленных нормализаторов.

      Если вы хотите создать правила изменения полей исходного события перед записью в поля событий KUMA, нажмите на значок настройки () рядом с названием поля и в открывшемся окне Преобразование нажмите на кнопку + Добавить преобразование. Вы можете изменить порядок правил и удалить правила. Для изменения порядка правил используйте значки изменения порядка (). Для удаления правила нажмите рядом с ним на значок удаления ().

      Доступные преобразования

      Преобразования – это изменения, которые применяются к значению перед записью в поле события.

      Вы можете выбрать в раскрывающемся списке один из следующих типов преобразования:

      • entropy – используется для преобразования значения исходного поля с помощью функции вычисления информационной энтропии и помещения результата преобразования в целевое поле типа float. Результатом преобразования будет число. Показатель вычисления информационной энтропии позволяет выявлять DNS-туннели и компрометацию паролей, например, когда пользователь ввел пароль вместо логина и пароль записывается в журнал в открытом виде.
      • lower – используется для перевода всех символов значения в нижний регистр.
      • upper – используется для перевода всех символов значения в верхний регистр.
      • regexp – используется для преобразования значения с помощью указанного регулярного выражения RE2. При выборе этого типа преобразования отображается поле, в котором вам нужно указать регулярное выражение RE2.
      • substring – используется для извлечения символов в указанном диапазоне позиций. При выборе этого типа преобразования отображаются поля Начало и Конец, в которых вам нужно указать диапазон позиций.
      • replace – используется для замены указанной последовательности символов на другую последовательность символов. При выборе этого типа преобразования отображаются следующие поля:
        • Символы на замену – последовательность символов, которую требуется заменить.
        • Чем заменить – последовательность символов, которую требуется использовать вместо заменяемой последовательности символов.
      • trim – используется для удаления указанных символов одновременно с начала и с конца значения поля события. При выборе этого типа преобразования отображается поле Символы, в котором вам нужно указать символы. Например, если для значения Microsoft-Windows-Sysmon требуется выполнить преобразование trim со значением Micromon, новым значением будет soft-Windows-Sys.
      • append – используется для добавления указанных символов в конец значения поля события. При выборе этого типа преобразования отображается поле Константа, в котором вам нужно указать символы.
      • prepend – используется для добавления указанных символов к началу значения поля события. При выборе этого типа преобразования отображается поле Константа, в котором вам нужно указать символы.
      • replace with regexp – используется для замены результатов регулярного выражения RE2 на указанную последовательность символов. При выборе этого типа преобразования отображаются следующие поля:
        • Выражение – регулярное выражение RE2, результаты которого требуется заменить.
        • Чем заменить – последовательность символов, которую требуется использовать вместо заменяемой последовательности символов.
      • Конвертация закодированных строк в текст:
        • decodeHexString – используется для конвертации HEX-строки в текст.
        • decodeBase64String – используется для конвертации Base64-строки в текст.
        • decodeBase64URLString – используется для конвертации Base64url-строки в текст.
        • unicodeUnescape – используется для конвертации Unicode-строки в текст.

        При конвертации поврежденной строки или при ошибках конвертации в поле события могут быть записаны поврежденные данные.

        При обогащении событий, если длина закодированной строки превышает размер поля нормализованного события, строка будет обрезана и не будет раскодирована.

        Если длина раскодированной строки превышает размер поля события, в которое должно быть помещено раскодированное значение, строка будет обрезана до размера этого поля события.

        Мы не рекомендуем использовать несколько дополнительных нормализаторов для последовательного преобразования одного и того же поля. Результат одного преобразования, выполненного дополнительным нормализатором, не используется как входные данные для следующего. В итоговое событие записывается значение, полученное в допонительном нормализаторе, который первым выполнил обогащение этого поля.

      • Преобразование формата IP-адреса в IPv4:
        • ipDecimalToDotted – используется для преобразования IP-адреса в формате десятичного числа в IP-адрес в формате IPv4, в котором октеты разделены точками.
        • ipHexToDotted – используется для преобразования IP-адреса в формате шестнадцатиричного числа в IP-адрес в формате IPv4, в котором октеты разделены точками.
      • hexToDecimal – используется для преобразования числового значения, представленного в шестнадцатеричной системе счисления, в десятичный формат. Преобразование применяется к строковым или числовым полям, содержащим HEX-значения (включая префикс 0x, если он присутствует), и результат записывается в целевое поле события KUMA в виде целого числа.

        Результатом преобразования является число в десятичной системе, например исходное значение – 0x00FF, после преобразования – 255.

   3. В столбце Поле KUMA в раскрывающемся списке выберите поле события KUMA. Вы можете найти поле события KUMA, введя его названия. Если название поля события KUMA начинается с DeviceCustom* и Flex*, при необходимости в поле Подпись укажите уникальную пользовательскую метку.

      Если вы хотите, чтобы KUMA могла выполнить обогащение событий данными об активах и данные об активах были доступны в карточке алерта при срабатывании корреляционного правила, в таблице Сопоставление вам нужно настроить сопоставление полей для адреса хоста и имени хоста в зависимости от назначения актива. Например, вы можете настроить сопоставление для полей событий KUMA SourceAddress и SourceHostName, или DestinationAddress и DestinationHostName. В результате обогащения в карточке события появится поле события KUMA SourceAssetID или DestinationAssetID и ссылка, по которой можно будет перейти в карточку актива. В результате обогащения сведения об активе также будут доступны в карточке алерта.

      Если вы загрузили данные в поле Примеры событий, в таблице отобразится столбец Примеры с примерами значений, переносимых из поля исходного события в поле события KUMA.

10. Если вы хотите добавлять дополнительные данные в созданные нормализованные события, создайте в нормализаторе правила обогащения, выполнив следующие действия:
    1. Перейдите на вкладку Обогащение.

       Вкладка Обогащение недоступна, если на вкладке Схема нормализации в поле Метод парсинга выбрано значение normalizer.

    2. Нажмите на кнопку + Добавить обогащение.

       Отобразится блок параметров правила обогащения. Вы можете добавить несколько правил обогащения или удалить правила обогащения. Для удаления правила обогащения нажмите рядом с ним на значок удаления ().

    3. В раскрывающемся списке Тип источника данных выберите тип источника обогащения. При выборе определенных типов источника обогащения могут стать доступны дополнительные параметры, для которых вам нужно указать значения.

       Доступные типы источников обогащения:

       константа

       Этот тип обогащения используется, если в поле события необходимо добавить константу. Параметры этого типа обогащения описаны в таблице ниже.

       Параметры типа обогащения "константа"

       Параметр	Описание
       Константа	Значение, которое требуется добавить в поле события. Максимальная длина значения – до 255 символов в кодировке Unicode. Если оставить поле пустым, существующее значение поля события будет удалено.
       Целевое поле	Поле события, в которое требуется поместить данные.

       Если вы используете функции обогащения событий для полей расширенной схемы с типом Строка, Число или Число с плавающей точкой с помощью константы, в поле будет добавлена константа.

       Если вы используете функции обогащения событий для полей расширенной схемы с типом Массив строк, Массив чисел или Массив чисел с плавающей точкой с помощью константы, константа будет добавлена к элементам массива.

       словарь

       Этот тип обогащения используется, если в поле события необходимо добавить значение из словаря типа Словарь. Параметры этого типа обогащения описаны в таблице ниже.

       Параметры типа обогащения "словарь"

       Параметр	Описание
       Название словаря	Словарь, из которого будут браться значения.
       Ключевые поля	Поля событий, значения которых будут использоваться для выбора записи словаря. Для добавления поля события нажмите на кнопку Добавить поле. Вы можете добавить несколько полей событий.

       Если вы используете обогащение событий, у которого в качестве параметра Тип источника данных выбрано значение словарь, а в параметре Ключевые поля обогащения указано поле-массив, при передаче массива в качестве ключа словаря массив будет сериализован в строку в соответствии с правилами сериализации одного значения в формате TSV.

       Пример. В параметре Ключевые поля обогащения используется поле расширенной схемы SA.StringArrayOne. В поле расширенной схемы SA.StringArrayOne находятся значения "a", "b", "c". В качестве ключа в словарь будут переданы значения ['a','b','c'].

       Если в параметре Ключевые поля обогащения используется поле-массив расширенной схемы и обычное поле схемы событий, значения полей при обращении в словарь будут разделены символом |.

       Пример. В параметре Ключевые поля обогащения используется поле расширенной схемы SA.StringArrayOne и строковое поле Code. В поле расширенной схемы SA.StringArrayOne находятся значения "a", "b", "c", а строковое поле Code содержит последовательность символов myCode. В качестве ключа в словарь будут переданы значения ['a','b','c']|myCode.

       таблица

       Этот тип обогащения используется, если в поле события необходимо добавить значение из словаря типа Таблица. Параметры этого типа обогащения описаны в таблице ниже.

       Параметры типа обогащения "таблица"

       Параметр	Описание
       Название словаря	Словарь, из которого будут браться значения.
       Ключевые поля	Поля событий, значения которых будут использоваться для выбора записи словаря. Для добавления поля события нажмите на кнопку Добавить поле. Вы можете добавить несколько полей событий.
       Сопоставление	Поля событий для передачи данных: Поле словаря – поля словаря, из которых будут передаваться данные. Доступные поля зависят от выбранного ресурса словаря. Поле KUMA – поля событий, в которые будут передаваться данные. Для выбранных полей (*custom* и *flex*) в столбце Подпись вы можете задать название для помещаемых данных.

       Первое поле в таблице (Поле словаря) считается ключом, с которым будут сопоставляться поля, выбранные из события в качестве ключевых (Поле KUMA). В качестве ключа в Поле словаря вам нужно выбрать индикатор компрометации, по которому будет осуществляться обогащение, например IP-адрес, URL-адрес или хеш. В правиле необходимо выбрать поле события, соответствующее выбранному индикатору в поле словаря.

       Если вы хотите выбрать несколько ключевых полей, вы можете указать их через разделитель | (при указании через веб-интерфейс или импорте через CSV-файл), например <IP-адрес>|<имя пользователя>.

       Вы можете добавлять новые строки таблицы и удалять строки таблицы. Для добавления новой строки таблицы нажмите на кнопку Добавить элемент. Для удаления строки таблицы нажмите на крестик .

       событие

       Этот тип обогащения используется, если в поле события необходимо записать значение другого поля события. Доступные параметры типа обогащения описаны в таблице ниже.

       Доступные параметры типа обогащения

       Параметр	Описание
       Целевое поле	Поле события KUMA, в которое требуется поместить данные.
       Исходное поле	Поле события, значение которого будет записано в целевое поле.

       Если вы хотите создать правило для изменения исходных данных перед записью в поля событий KUMA, в блоке параметров Преобразование нажмите на кнопку + Добавить преобразование. В раскрывающемся списке Тип выберите нужный тип преобразования. Вы можете добавить несколько преобразований по кнопке + Добавить преобразование. Чтобы удалить добавленное преобразование, нажмите рядом с ним на значок корзины.

       Доступные преобразования

       Преобразования – это изменения, которые применяются к значению перед записью в поле события.

       Вы можете выбрать в раскрывающемся списке один из следующих типов преобразования:

       • entropy – используется для преобразования значения исходного поля с помощью функции вычисления информационной энтропии и помещения результата преобразования в целевое поле типа float. Результатом преобразования будет число. Показатель вычисления информационной энтропии позволяет выявлять DNS-туннели и компрометацию паролей, например, когда пользователь ввел пароль вместо логина и пароль записывается в журнал в открытом виде.
       • lower – используется для перевода всех символов значения в нижний регистр.
       • upper – используется для перевода всех символов значения в верхний регистр.
       • regexp – используется для преобразования значения с помощью указанного регулярного выражения RE2. При выборе этого типа преобразования отображается поле, в котором вам нужно указать регулярное выражение RE2.
       • substring – используется для извлечения символов в указанном диапазоне позиций. При выборе этого типа преобразования отображаются поля Начало и Конец, в которых вам нужно указать диапазон позиций.
       • replace – используется для замены указанной последовательности символов на другую последовательность символов. При выборе этого типа преобразования отображаются следующие поля:
         • Символы на замену – последовательность символов, которую требуется заменить.
         • Чем заменить – последовательность символов, которую требуется использовать вместо заменяемой последовательности символов.
       • trim – используется для удаления указанных символов одновременно с начала и с конца значения поля события. При выборе этого типа преобразования отображается поле Символы, в котором вам нужно указать символы. Например, если для значения Microsoft-Windows-Sysmon требуется выполнить преобразование trim со значением Micromon, новым значением будет soft-Windows-Sys.
       • append – используется для добавления указанных символов в конец значения поля события. При выборе этого типа преобразования отображается поле Константа, в котором вам нужно указать символы.
       • prepend – используется для добавления указанных символов к началу значения поля события. При выборе этого типа преобразования отображается поле Константа, в котором вам нужно указать символы.
       • replace with regexp – используется для замены результатов регулярного выражения RE2 на указанную последовательность символов. При выборе этого типа преобразования отображаются следующие поля:
         • Выражение – регулярное выражение RE2, результаты которого требуется заменить.
         • Чем заменить – последовательность символов, которую требуется использовать вместо заменяемой последовательности символов.
       • Конвертация закодированных строк в текст:
         • decodeHexString – используется для конвертации HEX-строки в текст.
         • decodeBase64String – используется для конвертации Base64-строки в текст.
         • decodeBase64URLString – используется для конвертации Base64url-строки в текст.
         • unicodeUnescape – используется для конвертации Unicode-строки в текст.

         При конвертации поврежденной строки или при ошибках конвертации в поле события могут быть записаны поврежденные данные.

         При обогащении событий, если длина закодированной строки превышает размер поля нормализованного события, строка будет обрезана и не будет раскодирована.

         Если длина раскодированной строки превышает размер поля события, в которое должно быть помещено раскодированное значение, строка будет обрезана до размера этого поля события.

         Мы не рекомендуем использовать несколько дополнительных нормализаторов для последовательного преобразования одного и того же поля. Результат одного преобразования, выполненного дополнительным нормализатором, не используется как входные данные для следующего. В итоговое событие записывается значение, полученное в допонительном нормализаторе, который первым выполнил обогащение этого поля.

       • Преобразование формата IP-адреса в IPv4:
         • ipDecimalToDotted – используется для преобразования IP-адреса в формате десятичного числа в IP-адрес в формате IPv4, в котором октеты разделены точками.
         • ipHexToDotted – используется для преобразования IP-адреса в формате шестнадцатиричного числа в IP-адрес в формате IPv4, в котором октеты разделены точками.
       • hexToDecimal – используется для преобразования числового значения, представленного в шестнадцатеричной системе счисления, в десятичный формат. Преобразование применяется к строковым или числовым полям, содержащим HEX-значения (включая префикс 0x, если он присутствует), и результат записывается в целевое поле события KUMA в виде целого числа.

         Результатом преобразования является число в десятичной системе, например исходное значение – 0x00FF, после преобразования – 255.

       При использовании обогащения событий, у которых в качестве параметра Тип источника данных выбрано значение событие, а в качестве аргументов используются поля расширенной схемы событий, необходимо учесть следующие особенности:

       • Если исходное поле расширенной схемы событий имеет тип Массив строк, а целевое поле расширенной схемы событий имеет тип Строка, значения будут размещены в целевом поле расширенной схемы событий в формате TSV.

         Пример: в поле расширенной схемы событий SA.StringArray, находятся значения "string1", "string2", "string3". Выполняется операция обогащения событий. Результат выполнения операции обогащения событий заносится в поле расширенной схемы событий DeviceCustomString1. В поле расширенной схемы событий DeviceCustomString1 будут находиться значения ["string1", "string2", "string3"].

       • Если исходное и целевое поля расширенной схемы событий имеют тип Массив строк, значения целевого поля расширенной схемы событий будут дополнены значениями исходного поля расширенной схемы событий, а качестве символа-разделителя будет использован символ ",".

         Пример: в поле расширенной схемы событий SA.StringArrayOne, находятся значения ["string1", "string2", "string3"], а в поле расширенной схемы событий SA.StringArrayTwo находятся значения ["string4", "string5", "string6"]. Выполняется операция обогащения событий. Результат выполнения операции обогащения событий заносится в поле расширенной схемы событий SA.StringArrayTwo. В поле расширенной схемы событий SA.StringArrayTwo будут находиться значения ["string4", "string5", "string6", "string1", "string2", "string3"].

       шаблон

       Этот тип обогащения используется, если в поле события нужно записать значение, полученное при обработке шаблонов Go. Мы рекомендуем сопоставлять значение и размер поля. Параметры этого типа обогащения описаны в таблице ниже.

       Параметры типа обогащения "шаблон"

       Параметр	Описание
       Шаблон	Шаблон Go. Имена полей событий передаются в формате {{.EventField}}, где EventField – это название поля события, значение которого должно быть передано в скрипт, например Атака на {{.DestinationAddress}} со стороны {{.SourceAddress}}.
       Целевое поле	Поле события, в которое требуется поместить данные.

       Если вы используете обогащение событий, у которого в качестве параметра Тип источника данных выбрано значение шаблон, целевым полем является поле с типом Строка, а исходным полем является поле расширенной схемы событий, содержащее массив строк, то в шаблоне может быть использован один из следующих примеров:

       • {{.SA.StringArrayOne}}
       • {{- range $index, $element := . SA.StringArrayOne -}}

         {{- if $index}}, {{end}}"{{$element}}"{{- end -}}

       Для преобразования в шаблоне данных поля массива в формат TSV требуется использовать функцию toString, например:

       template {{toString .SA.StringArray}}

    4. В раскрывающемся списке Целевое поле выберите поле события KUMA, в которое требуется поместить данные. Вы не можете выбрать значение, если в раскрывающемся списке Исходный тип вы выбрали таблица.
    5. Если вы хотите включить детализацию в журнале нормализатора, включите переключатель Отладка. По умолчанию переключатель выключен.
    6. Если вы хотите добавить несколько правил обогащения с разными типами источника данных, нажмите на кнопку + Добавить обогащение и настройте параметры.

       Вы можете менять местами и удалять созданные правила. Для изменения места правила используйте значок рядом с ним. Для удаления правила нажмите рядом с ним на значок .

11. Нажмите кнопку ОК.
12. Если вы хотите настроить дополнительный парсинг событий, выполните следующие действия:
    1. Наведите курсор мыши на темный кружок и нажмите на отобразившийся значок плюса.
    2. На вкладке Условия дополнительной нормализации настройте следующие параметры:
       1. Если вы хотите передавать сырое событие для дополнительной нормализации, в раскрывающемся списке Использовать сырое событие выберите значение Да.

          По умолчанию указано значение Нет. Мы рекомендуем передавать сырое событие в нормализаторы типа json и xml.

          Также нужно выбрать значение Да, если вы хотите передавать сырое событие для дополнительной нормализации на второй, третий и далее уровень вложенности, последовательно на каждом уровне вложенности.

          Параметр Использовать сырое событие не работает, если в основном правиле парсинга событий использован метод парсинга sql.

       2. Если вы хотите отправлять на дополнительный парсинг только события с заданными в параметрах нормализатора полями, в поле Поле, которое следует передать в нормализатор укажите исходные поля события, которые должны быть переданы в дополнительный нормализатор.

          Если оставить это поле пустым, в дополнительный нормализатор будет передано событие целиком.

          Если при настройке параметров дополнительного нормализатора вы указали для параметра Использовать сырое событие значение Нет и значение в поле Исходное поле осталось незаполненным, любые настроенные преобразования для поля, которое передается в нормализатор, не будут работать. Чтобы преобразования выполнялись корректно, исходное поле должно быть заполнено либо указано значение Да для параметра Использовать сырое событие.

          KUMA никак не ограничивает и не проверят текст, который вы указываете в этом параметре.

       3. В блоке параметров Параметры фильтров настройте условия фильтрации, которым должны удовлетворять события, поступающие в нормализатор.

          С помощью кнопки Добавить условие можно добавить строку с полями для определения условия (см. ниже). С помощью кнопки Добавить группу можно добавить группу фильтров. Можно переключать групповые операторы между И, ИЛИ, НЕ. В группы фильтров можно добавить другие группы условий и отдельные условия.

          Условия и группы можно менять местами, перетягивая их за значок , а также удалять с помощью значка .

          Параметры условий фильтра:

          • Левый операнд и Правый операнд – используются для указания значений, которые будет обрабатывать оператор.

            В левом операнде следует указывать исходное поле событий, поступающих в нормализатор. Например, если в окне Основной парсинг событий настроено сопоставление eventType - DeviceEventClass, то в окне Дополнительный парсинг событий на вкладке Условия дополнительной нормализации в поле левого операнда для фильтра следует указать eventType.

            Данные обрабатываются только как текстовые строки. KUMA никак не ограничивает и не проверят текст, который вы указываете в полях левого и правого операнда.

          • Операторы:

            = – полное совпадение левого и правого операндов.

            startsWith – левый операнд начинается с символов, указанных в правом операнде.

            endsWith – левый операнд заканчивается символами, указанными в правом операнде.

            match – левый операнд соответствует регулярному выражению (RE2), указанному в правом операнде.

            in – левый операнд соответствует одному из значений, указанных в правом операнде.

          Поступающие данные можно предварительно преобразовать, если нажать на кнопку : откроется окно Преобразование, в котором с помощью кнопки Добавить преобразование можно создать правила изменения исходных данных перед тем, как над ними будут совершены какие-либо действия. В окне Преобразования добавленные правила можно менять местами, перетягивая их за значок , а также удалять с помощью значка .

          Доступные преобразования

          Преобразования – это изменения, которые применяются к значению перед записью в поле события.

          Вы можете выбрать в раскрывающемся списке один из следующих типов преобразования:

          • entropy – используется для преобразования значения исходного поля с помощью функции вычисления информационной энтропии и помещения результата преобразования в целевое поле типа float. Результатом преобразования будет число. Показатель вычисления информационной энтропии позволяет выявлять DNS-туннели и компрометацию паролей, например, когда пользователь ввел пароль вместо логина и пароль записывается в журнал в открытом виде.
          • lower – используется для перевода всех символов значения в нижний регистр.
          • upper – используется для перевода всех символов значения в верхний регистр.
          • regexp – используется для преобразования значения с помощью указанного регулярного выражения RE2. При выборе этого типа преобразования отображается поле, в котором вам нужно указать регулярное выражение RE2.
          • substring – используется для извлечения символов в указанном диапазоне позиций. При выборе этого типа преобразования отображаются поля Начало и Конец, в которых вам нужно указать диапазон позиций.
          • replace – используется для замены указанной последовательности символов на другую последовательность символов. При выборе этого типа преобразования отображаются следующие поля:
            • Символы на замену – последовательность символов, которую требуется заменить.
            • Чем заменить – последовательность символов, которую требуется использовать вместо заменяемой последовательности символов.
          • trim – используется для удаления указанных символов одновременно с начала и с конца значения поля события. При выборе этого типа преобразования отображается поле Символы, в котором вам нужно указать символы. Например, если для значения Microsoft-Windows-Sysmon требуется выполнить преобразование trim со значением Micromon, новым значением будет soft-Windows-Sys.
          • append – используется для добавления указанных символов в конец значения поля события. При выборе этого типа преобразования отображается поле Константа, в котором вам нужно указать символы.
          • prepend – используется для добавления указанных символов к началу значения поля события. При выборе этого типа преобразования отображается поле Константа, в котором вам нужно указать символы.
          • replace with regexp – используется для замены результатов регулярного выражения RE2 на указанную последовательность символов. При выборе этого типа преобразования отображаются следующие поля:
            • Выражение – регулярное выражение RE2, результаты которого требуется заменить.
            • Чем заменить – последовательность символов, которую требуется использовать вместо заменяемой последовательности символов.
          • Конвертация закодированных строк в текст:
            • decodeHexString – используется для конвертации HEX-строки в текст.
            • decodeBase64String – используется для конвертации Base64-строки в текст.
            • decodeBase64URLString – используется для конвертации Base64url-строки в текст.
            • unicodeUnescape – используется для конвертации Unicode-строки в текст.

            При конвертации поврежденной строки или при ошибках конвертации в поле события могут быть записаны поврежденные данные.

            При обогащении событий, если длина закодированной строки превышает размер поля нормализованного события, строка будет обрезана и не будет раскодирована.

            Если длина раскодированной строки превышает размер поля события, в которое должно быть помещено раскодированное значение, строка будет обрезана до размера этого поля события.

            Мы не рекомендуем использовать несколько дополнительных нормализаторов для последовательного преобразования одного и того же поля. Результат одного преобразования, выполненного дополнительным нормализатором, не используется как входные данные для следующего. В итоговое событие записывается значение, полученное в допонительном нормализаторе, который первым выполнил обогащение этого поля.

          • Преобразование формата IP-адреса в IPv4:
            • ipDecimalToDotted – используется для преобразования IP-адреса в формате десятичного числа в IP-адрес в формате IPv4, в котором октеты разделены точками.
            • ipHexToDotted – используется для преобразования IP-адреса в формате шестнадцатиричного числа в IP-адрес в формате IPv4, в котором октеты разделены точками.
          • hexToDecimal – используется для преобразования числового значения, представленного в шестнадцатеричной системе счисления, в десятичный формат. Преобразование применяется к строковым или числовым полям, содержащим HEX-значения (включая префикс 0x, если он присутствует), и результат записывается в целевое поле события KUMA в виде целого числа.

            Результатом преобразования является число в десятичной системе, например исходное значение – 0x00FF, после преобразования – 255.

       4. Перейдите на вкладку Схема нормализации и настройте параметры, как описано в шагах 2-9 инструкции.
       5. Перейдите на вкладку Обогащение и настройте параметры, как описано в шаге 10 инструкции.
       6. Нажмите кнопку ОК.
13. Нажмите кнопку Создать.

В верхнем правом углу в поле поиска можно искать дополнительные правила парсинга по названию.

Для ресурсов нормализатора в полях ввода, кроме поля Описание, можно включить отображение непечатаемых символов.

Если вы, меняя параметры набора ресурсов коллектора, измените или удалите преобразования в подключенном к нему нормализаторе, правки не сохранятся, а сам нормализатор может быть поврежден. При необходимости изменить преобразования в нормализаторе, который уже является частью сервиса, вносите правки непосредственно в нормализатор в разделе веб-интерфейса Ресурсы → Нормализаторы.