Шаг 3. Парсинг событий

Это обязательный шаг мастера установки. В закладке мастера установки Парсинг событий следует выбрать или создать нормализатор, в параметрах которого будут определены правила преобразования "сырых" событий в нормализованные. В нормализатор можно добавить несколько правил парсинга событий, реализуя таким образом сложную логику обработки событий.

При создании нового нормализатора в мастере установки по умолчанию он будет сохранен в наборе ресурсов для коллектора и не сможет быть использован в других коллекторах. С помощью флажка Сохранить нормализатор вы можете создать нормализатор в виде отдельного ресурса.

Если вы, меняя параметры набора ресурсов коллектора, измените или удалите преобразования в подключенном к нему нормализаторе, правки не сохранятся, а сам нормализатор может быть поврежден. При необходимости изменить преобразования в нормализаторе, который уже является частью сервиса, вносите правки непосредственно в нормализатор в разделе веб-интерфейса Ресурсы → Нормализаторы.

Добавление нормализатора

Чтобы добавить в набор ресурсов существующий нормализатор:

1. Нажмите на кнопку Добавить парсинг событий.

   Откроется окно Парсинг событий с параметрами нормализатора и активной закладкой Схема нормализации.

2. В раскрывающемся списке Нормализатор выберите нужный нормализатор.

   В окне Парсинг событий отобразятся параметры выбранного нормализатора. Выбранный нормализатор можно открыть для редактирования в новой вкладке браузера с помощью кнопки .

3. Нажмите ОК.

В закладке мастера установки Парсинг событий отображается нормализатор в виде темного кружка. Можно нажать на кружок, чтобы открыть параметры нормализатора для редактирования. При наведении на кружок отображается значок плюса: при нажатии на него можно добавить дополнительные нормализаторы (см. ниже).

Чтобы создать новый нормализатор:

1. Выберите в раскрывающемся списке Нормализатор пункт Создать.

   Откроется окно Парсинг событий с параметрами нормализатора и активной закладкой Схема нормализации.

2. Если хотите сохранить нормализатор в качестве отдельного ресурса, установите флажок Сохранить нормализатор. По умолчанию флажок снят.
3. Введите в поле Название уникальное имя для нормализатора. Название должно содержать от 1 до 128 символов в кодировке Unicode.
4. В раскрывающемся списке Метод парсинга выберите тип получаемых событий. В зависимости от выбора можно будет воспользоваться преднастроенными правилами сопоставления полей событий или же задать свои собственные правила. При выборе некоторых методов парсинга могут стать доступны дополнительные параметры, требуемые для заполнения.

   Доступные методы парсинга:

   • json

     Этот метод парсинга используется для обработки данных в формате JSON, в которых каждый объект, включая его вложенные объекты, занимает одну строку файла.

     При обработке файлов с иерархически выстроенными данными можно обращаться к полям вложенных объектов, поочередно через точку указывая названия параметров. Например, к параметру username из строки "user":{"username":"system:node:example-01"} можно обратиться с помощью запроса user.username.

     Файлы обрабатываются построчно. Многострочные объекты с вложенными структурами могут быть нормализованны некорректно.

     В сложных схемах нормализации, где используются дополнительные нормализаторы, все вложенные объекты обрабатываются на первом уровне нормализации за исключением случаев, когда условия дополнительной нормализации не заданы и, следовательно, в дополнительный нормализатор передается обрабатываемое событие целиком.

     В качестве разделителя строк могут выступать символы \n и \r\n. Строки должны быть в кодировке UTF-8.

   • cef

     Этот метод парсинга используется для обработки данных в формате CEF.

     При выборе этого метода можно воспользоваться преднастроенными правилами преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию.

   • regexp

     Этот метод парсинга используется для создания собственных правил обработки данных в формате с использованием регулярных выражений.

     В поле блока параметров Нормализация необходимо добавить регулярное выражение (синтаксис RE2) c именованными группами захвата: имя группы и ее значение будут считаться полем и значением "сырого" события, которое можно будет преобразовать в поле события формата KUMA.

     Чтобы добавить правила обработки событий:

     1. Скопируйте в поле Примеры событий пример данных, которые вы хотите обработать. Это необязательный, но рекомендуемый шаг.
     2. В поле блока параметров Нормализация добавьте регулярное выражение c именованными группами захвата в синтаксисе RE2, например "(?P<name>regexp)". Регулярное выражение, добавленное в параметр Нормализация, должно полностью совпадать с событием. Также при разработке регулярного выражения рекомендуется использовать специальные символы, обозначающие начало и конец текста: ^, $.

        Можно добавить несколько регулярных выражений с помощью кнопки Добавить регулярное выражение. При необходимости удалить регулярное выражение, воспользуйтесь кнопкой .

     3. Нажмите на кнопку Перенести названия полей в таблицу.

        Имена групп захвата отображаются в столбце Поле KUMA таблицы Сопоставление. Теперь в столбце напротив каждой группы захвата можно выбрать соответствующее ей поле KUMA или, если вы именовали группы захвата в соответствии с форматом CEF, можно воспользоваться автоматическим сопоставлением CEF, поставив флажок Использовать синтаксис CEF при нормализации.

     Правила обработки событий добавлены.

   • syslog

     Этот метод парсинга используется для обработки данных в формате syslog.

     При выборе этого метода можно воспользоваться преднастроенными правилами преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию.

   • csv

     Этот метод парсинга используется для создания собственных правил обработки данных в формате CSV.

     При выборе этого метода необходимо в поле Разделитель указать разделитель значений в строке. В качестве разделителя допускается использовать любой однобайтовый символ ASCII.

   • kv

     Этот метод парсинга используется для обработки данных в формате ключ-значение.

     При выборе этого метода необходимо указать значения в следующих обязательных полях:

     • Разделитель пар – укажите символ, которые будет служит разделителем пар ключ-значение. Допускается указать любое односимвольное (1 байт) значение при условии, что символ не будет совпадать с разделителем значений.
     • Разделитель значений – укажите символ, который будет служить разделителем между ключом и значением. Допускается указать любое односимвольное (1 байт) значение при условии, что символ не будет совпадать с разделителем пар ключ-значение.
   • xml

     Этот метод парсинга используется для обработки данных в формате XML, в которых каждый объект, включая его вложенные объекты, занимает одну строку файла. Файлы обрабатываются построчно.

     При выборе этого метода в блоке параметров Атрибуты XML можно указать ключевые атрибуты, которые следует извлекать из тегов. Если в структуре XML в одном тэге есть атрибуты с разными значениями, можно определить нужное значение, указав ключ к нему в столбце Исходные данные таблицы Сопоставление.

     Чтобы добавить ключевые атрибуты XML,

     Нажмите на кнопку Добавить поле и в появившемся окне укажите путь к нужному атрибуту.

     Можно добавить несколько атрибутов. Атрибуты можно удалить по одному с помощью значка с крестиком или все сразу с помощью кнопки Сбросить.

     Если ключевые атрибуты XML не указаны, при сопоставлении полей уникальный путь к значению XML будет представлен последовательностью тегов.

     Нумерация тегов

     Начиная с версии KUMA 2.1.3 доступна Нумерация тегов. Опция предназначена для выполнения автоматической нумерации тегов в событиях в формате XML, чтобы можно было распарсить событие с одинаковыми тэгами или неименованными тэгами, такими как <Data>.

     В качестве примера мы используем функцию Нумерация тегов для нумерации тегов атрибута EventData события Microsoft Windows PowerShell event ID 800.

     

     Чтобы выполнить парсинг таких событий необходимо:

     • Настроить нумерацию тегов.
     • Настроить мапинг данных для пронумерованных тегов с полями события KUMA.

     Одновременное применение функций Атрибуты XML и Нумерация тегов приведёт к некорректной работе нормализатора. Если атрибут содержит неименованные тэги или одинаковые тэги, мы рекомендуем использовать функцию Нумерация тегов. Если атрибут содержит только именованные тэги, используйте Атрибуты XML.

     Чтобы настроить парсинг событий с тэгами, содержащими одинаковое название или тэги без названия:

     1. Создайте новый нормализатор или откройте существующий нормализатор для редактирования.
     2. В окне нормализатора Основной парсинг событий в раскрывающемся списке Метод парсинга выберите значение xml и в поле Нумерация тегов нажмите Добавить поле.

        В появившемся поле укажите полный путь к тэгу, элементам которого следует присвоить порядковый номер. Например, Event.EventData.Data. Первый номер, который будет присвоен тэгу – 0. Если тэг пустой, например, <Data />, ему также будет присвоен порядковый номер.

     3. Чтобы настроить мапинг данных, в группе параметров Сопоставление нажмите Добавить строку и выполните следующие действия:
        1. В появившейся строке в поле Исходные данные укажите полный путь к тэгу и его индекс. Для события Microsoft Windows из примера выше полный путь с индексами будет выглядеть следующим образом:
           • Event.EventData.Data.0
           • Event.EventData.Data.1
           • Event.EventData.Data.2 и так далее
        2. В раскрывающемся списке Поле KUMA выберите поле в событии KUMA, в которое попадет значение из пронумерованного тэга после выполнения парсинга.
     4. Чтобы сохранить изменения:
        • Если вы создали новый нормализатор, нажмите Сохранить.
        • Если вы редактировали существующий нормализатор, нажмите Обновить параметры в коллекторе, к которому привязан нормализатор.

     Настройка парсинга завершена.

   • netflow5

     Этот метод парсинга используется для обработки данных в формате NetFlow v5.

     При выборе этого метода можно воспользоваться преднастроенными правилами преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию.

     В правилах сопоставления по умолчанию для типа netflow5 тип протокола не указывается в полях событий KUMA. При парсинге данных в формате NetFlow в закладке нормализатора Обогащение следует создать правило обогащения данных типа constant, добавляющее значение netflow в целевое поле DeviceProduct.

   • netflow9

     Этот метод парсинга используется для обработки данных в формате NetFlow v9.

     При выборе этого метода можно воспользоваться преднастроенными правилами преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию.

     В правилах сопоставления по умолчанию для типа netflow9 тип протокола не указывается в полях событий KUMA. При парсинге данных в формате NetFlow в закладке нормализатора Обогащение следует создать правило обогащения данных типа constant, добавляющее значение netflow в целевое поле DeviceProduct.

   • sflow5

     Этот метод парсинга используется для обработки данных в формате sFlow5.

     При выборе этого метода можно воспользоваться преднастроенными правилами преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию.

   • ipfix

     Этот метод парсинга используется для обработки данных в формате IPFIX.

     При выборе этого метода можно воспользоваться преднастроенными правилами преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию.

     В правилах сопоставления по умолчанию для типа ipfix тип протокола не указывается в полях событий KUMA. При парсинге данных в формате NetFlow в закладке нормализатора Обогащение следует создать правило обогащения данных типа constant, добавляющее значение netflow в целевое поле DeviceProduct.

   • sql – этот метод становится доступным, только при использовании коннектора типа sql

     Нормализатор использует этот метод для обработки данных, полученных с помощью выборки из базы данных.

5. В раскрывающемся списке Сохранить исходное событие укажите, надо ли сохранять исходное "сырое" событие во вновь созданном нормализованном событии. Доступные значения:
   • Не сохранять – не сохранять исходное событие. Это значение используется по умолчанию.
   • При возникновении ошибок – сохранять исходное событие в поле Raw нормализованного события, если в процессе парсинга возникли ошибки. Это значение удобно использовать при отладке сервиса: в этом случае появление у событий непустого поля Raw будет являться признаком неполадок.
   • Всегда – сохранять сырое событие в поле Raw нормализованного события.
6. В раскрывающемся списке Сохранить дополнительные поля выберите, требуется ли сохранять поля исходного события в нормализованном событии, если для них не были настроены правила сопоставления (см. ниже). Данные сохраняются в поле события Extra. По умолчанию поля не сохраняются.
7. Скопируйте в поле Примеры событий пример данных, которые вы хотите обработать. Это необязательный, но рекомендуемый шаг.
8. В таблице Сопоставление настройте сопоставление полей исходного события с полями события в формате KUMA:
   1. В столбце Исходные данные укажите название поля исходного события, которое вы хотите преобразовать в поле события KUMA.

      Если рядом с названиями полей в столбце Исходные данные нажать на кнопку , откроется окно Преобразование, в котором с помощью кнопки Добавить преобразование можно создать правила изменения исходных данных перед тем, как они будут записаны в поля событий KUMA.

      Доступные преобразования

      Преобразования – это изменения, которые можно применить к значению до того, как оно будет записано в поле события. Тип преобразования выбирается в раскрывающемся списке.

      Доступные преобразования:

      • lower – используется для перевода всех символов значения в нижний регистр
      • upper – используется для перевода всех символов значения в верхний регистр
      • regexp – используется для преобразования значения с помощью регулярного выражения RE2. Поле, в которое следует добавить регулярное выражение, появляется, когда выбран этот тип преобразования.
      • substring – используется для извлечения символов в диапазоне позиций, указанном в полях Начало и Конец. Эти поля появляются, когда выбран данный тип преобразования.
      • replace – используется для замены указанной последовательности символов на другую последовательность символов. Когда выбран этот тип преобразования, появляются новые поля:
        • Символы на замену – в этом поле вы можете указать последовательность символов, которую следует заменить.
        • Чем заменить – в этом поле вы можете указать последовательность символов, которая должна использоваться вместо заменяемой последовательности символов.
      • trim – используется для удаления одновременно с начала и с конца значения поля события символов, указанных в поле Символы. Это поле появляется при выборе данного типа преобразования. Например, если для значения Microsoft-Windows-Sysmon выполнить преобразование trim со значением Micromon, то получается значение soft-Windows-Sys.
      • append – используется для добавления в конец значения поля события символов, указанных в поле Константа. Это поле появляется при выборе данного типа преобразования.
      • prepend – используется для добавления к началу значения поля события символов, указанных в поле Константа. Это поле появляется при выборе данного типа преобразования.
      • replace with regexp – используется для замены результатов регулярного выражения RE2 на последовательность символов.
        • Выражение – в этом поле вы можете указать регулярное выражение, результаты которого следует заменить.
        • Чем заменить – в этом поле вы можете указать последовательность символов, которая должна использоваться вместо заменяемой последовательности символов.
      • Конвертация закодированных строк в текст:
        • decodeHexString – используется для конвертации HEX-строки в текст.
        • decodeBase64String – используется для конвертации Base64-строки в текст.
        • decodeBase64URLString – используется для конвертации Base64url-строки в текст.

        При конвертации поврежденной строки или при ошибках конвертации в поле события могут быть записаны поврежденные данные.

        При обогащении событий, если длина закодированной строки превышает размер поля нормализованного события, такая строка будет обрезана и не будет раскодирована.

        Если длина раскодированной строки превышает размер поля события, в которое должно быть помещено раскодированное значение, такая строка будет обрезана до размера этого поля события.

      В окне Преобразования добавленные правила можно менять местами, перетягивая их за значок , а также удалять с помощью значка .

   2. В столбце Поле KUMA в раскрывающемся списке выберите требуемое поле события KUMA. Поля можно искать, вводя в поле их названия.
   3. Если название поля события KUMA, выбранного на предыдущем шаге, начинается с DeviceCustom* и Flex*, в поле Подпись можно добавить уникальную пользовательскую метку.

   Новые строки таблицы можно добавлять с помощью кнопки Добавить строку. Строки можно удалять по отдельности с помощью кнопки или все сразу с помощью кнопки Очистить все.

   Если вы загрузили данные в поле Примеры событий, в таблице отобразится столбец Примеры с примерами значений, переносимых из поля исходного события в поле события KUMA.

9. Нажмите ОК.

В закладке мастера установки Парсинг событий отображается нормализатор в виде темного кружка. Можно нажать на кружок, чтобы открыть его параметры для редактирования. При наведении на кружок отображается значок плюса: при нажатии на него можно добавить дополнительные правила парсинга событий (см. ниже).

Обогащение нормализованного события дополнительными данными

В только что созданные нормализованные события можно добавлять дополнительные данные, создавая в нормализаторе правила обогащения. Эти правила хранятся в нормализаторе, в котором они были созданы. Правил обогащения может быть несколько.

Чтобы добавить правила обогащения в нормализатор:

1. Выберите основное или дополнительное правило нормализации, а затем в открывшемся окне перейдите на закладку Обогащение.
2. Нажмите на кнопку Добавить обогащение.

   Появится блок параметров правила обогащения. Блок параметров можно удалить с помощью кнопки .

3. В раскрывающемся списке Тип источника выберите тип обогащения. В зависимости от выбранного типа отобразятся дополнительные параметры, которые также потребуется заполнить.

   Доступные типы источников обогащения:

   • константа

     Этот тип обогащения используется, если в поле события необходимо добавить константу. Параметры этого типа обогащения:

     • В поле Константа укажите значение, которое следует добавить в поле события. Значение должно состоять не более чем из 255 символов в кодировке Unicode. Если оставить это поле пустым, существующее значение поля события будет удалено.
     • В раскрывающемся списке Целевое поле выберите поле события KUMA, в которое следует поместить данные.

   • словарь

     Этот тип обогащения используется, если в поле события необходимо добавить значение из словаря типа Словарь.

     При выборе этого типа в раскрывающемся списке Название словаря необходимо выбрать словарь, из которого будут браться значения, а в блоке параметров Ключевые поля с помощью кнопки Добавить поле требуется выбрать поля события, значения которых будут использоваться для выбора записи словаря.

   • таблица

     Этот тип обогащения используется, если в поле события необходимо добавить значение из словаря типа Таблица.

     При выборе этого типа обогащения в раскрывающемся списке Название словаря необходимо выбрать словарь, из которого будут браться значения, а в блоке параметров Ключевые поля с помощью кнопки Добавить поле требуется выбрать поля события, значения которых будут использоваться для выбора записи словаря.

     Также в таблице Сопоставление необходимо настроить, из каких полей словаря и в какие поля события будут передаваться данные:

     • В столбце Поле словаря необходимо выбрать поле словаря. Доступные поля зависят от выбранного ресурса словаря.
     • В столбце Поле KUMA необходимо выбрать поле события, в которое следует записать значение. Для некоторых выбранных полей (*custom* и *flex*) в столбце Подпись можно задать название для помещаемых в них данных.

     Новые строки в таблицу можно добавлять с помощью кнопки Добавить элемент. Столбцы можно удалить с помощью кнопки .

   • событие

     Этот тип обогащения используется, если в поле события необходимо записать значение другого поля события. Параметры этого типа обогащения:

     • В раскрывающемся списке Целевое поле выберите поле события KUMA, в которое следует поместить данные.
     • В раскрывающемся списке Исходное поле выберите поле события, значение которого будет записано в целевое поле.
     • Если нажать на кнопку , откроется окно Преобразование, в котором с помощью кнопки Добавить преобразование можно создать правила изменения исходных данных перед тем, как они будут записаны в поля событий KUMA.

       Доступные преобразования

       Преобразования – это изменения, которые можно применить к значению до того, как оно будет записано в поле события. Тип преобразования выбирается в раскрывающемся списке.

       Доступные преобразования:

       • lower – используется для перевода всех символов значения в нижний регистр
       • upper – используется для перевода всех символов значения в верхний регистр
       • regexp – используется для преобразования значения с помощью регулярного выражения RE2. Поле, в которое следует добавить регулярное выражение, появляется, когда выбран этот тип преобразования.
       • substring – используется для извлечения символов в диапазоне позиций, указанном в полях Начало и Конец. Эти поля появляются, когда выбран данный тип преобразования.
       • replace – используется для замены указанной последовательности символов на другую последовательность символов. Когда выбран этот тип преобразования, появляются новые поля:
         • Символы на замену – в этом поле вы можете указать последовательность символов, которую следует заменить.
         • Чем заменить – в этом поле вы можете указать последовательность символов, которая должна использоваться вместо заменяемой последовательности символов.
       • trim – используется для удаления одновременно с начала и с конца значения поля события символов, указанных в поле Символы. Это поле появляется при выборе данного типа преобразования. Например, если для значения Microsoft-Windows-Sysmon выполнить преобразование trim со значением Micromon, то получается значение soft-Windows-Sys.
       • append – используется для добавления в конец значения поля события символов, указанных в поле Константа. Это поле появляется при выборе данного типа преобразования.
       • prepend – используется для добавления к началу значения поля события символов, указанных в поле Константа. Это поле появляется при выборе данного типа преобразования.
       • replace with regexp – используется для замены результатов регулярного выражения RE2 на последовательность символов.
         • Выражение – в этом поле вы можете указать регулярное выражение, результаты которого следует заменить.
         • Чем заменить – в этом поле вы можете указать последовательность символов, которая должна использоваться вместо заменяемой последовательности символов.
       • Конвертация закодированных строк в текст:
         • decodeHexString – используется для конвертации HEX-строки в текст.
         • decodeBase64String – используется для конвертации Base64-строки в текст.
         • decodeBase64URLString – используется для конвертации Base64url-строки в текст.

         При конвертации поврежденной строки или при ошибках конвертации в поле события могут быть записаны поврежденные данные.

         При обогащении событий, если длина закодированной строки превышает размер поля нормализованного события, такая строка будет обрезана и не будет раскодирована.

         Если длина раскодированной строки превышает размер поля события, в которое должно быть помещено раскодированное значение, такая строка будет обрезана до размера этого поля события.

   • шаблон

     Этот тип обогащения используется, если в поле события необходимо записать значение, полученное при обработке шаблонов Go. Параметры этого типа обогащения:

     • В поле Шаблон поместите шаблон Go.

       Имена полей событий передаются в формате {{.EventField}}, где EventField – это название поля события, значение которого должно быть передано в скрипт.

       Пример: Атака на {{.DestinationAddress}} со стороны {{.SourceAddress}}.

     • В раскрывающемся списке Целевое поле выберите поле события KUMA, в которое следует поместить данные.
4. В раскрывающемся списке Целевое поле выберите поле события KUMA, в которое следует поместить данные.

   Этот параметр недоступен для типа источника обогащения таблица.

5. Нажмите ОК.

В нормализатор, в выбранное правило парсинга, добавлены правила обогащения событий дополнительными данными.

Создание структуры правил нормализации событий

Для реализации сложной логики обработки событий в нормализатор можно добавить более одного правила парсинга событий. События передаются между правилами парсинга в зависимости от заданных условий. Последовательность создания правил парсинга имеет значение: событие обрабатывается последовательно и его путь отображается в виде стрелочек.

Чтобы создать дополнительное правило парсинга:

1. Создайте нормализатор (см. выше).

   Созданный номрализатор отобразится в окне в виде темного кружка.

2. Наведите указатель мыши на кружок и нажмите на появившуюся кнопку со значком плюса.
3. В открывшемся окне Дополнительный парсинг события задайте параметры дополнительного правила парсинга события:
   • Закладка Условия дополнительной нормализации:

     Если вы хотите отправлять в дополнительный нормализатор только события с определенным полем, укажите его в поле Поле, которое следует передать в нормализатор.

     На этой закладке вы также можете определить другие условия, при выполнении которых событие будет поступать на дополнительный парсинг.

   • Закладка Схема нормализации:

     На этой закладке можно настроить правила обработки событий, по аналогии с параметрами основного нормализатора (см. выше). Параметр Сохранить исходное событие недоступен. В поле Примеры событий отображаются значения, указанные при создании начального нормализатора.

   • Закладка Обогащение:

     На этой закладке можно настроить правила обогащения событий (см. выше).

4. Нажмите ОК.

Дополнительное правило парсинга добавлено в нормализатор и отображается в виде темного блока, на котором указаны условия, при котором это правило будет задействовано. Параметры дополнительного правила парсинга можно изменить, нажав на него. Если навести указатель мыши на дополнительное правило парсинга, отобразится кнопка со значком плюса, с помощью которой можно создать новое дополнительное правило парсинга. С помощью кнопки со значком корзины нормализатор можно удалить.

В верхнем правом углу окна располагается окно поиска, где можно искать правила парсинга по названию.

Перейдите к следующему шагу мастера установки.