Обогащение в нормализаторе

При создании правил парсинга событий в окне параметров нормализатора на вкладке Обогащение вы можете настроить правила дополнения полей нормализованного события другими данными с помощью правил обогащения. Эти правила хранятся в параметрах нормализатора, в котором они были созданы.

Обогащения создаются с помощью кнопки Добавить обогащение. Правил обогащения может быть несколько. Правила обогащения можно удалять с помощью кнопки . Поля расширенной схемы событий могут быть использованы при обогащении событий.

Параметры, доступные в блоке параметров правила обогащения:

• Тип источника (обязательно) – раскрывающийся список для выбора типа обогащения. В зависимости от выбранного типа отобразятся дополнительные параметры, которые также потребуется заполнить.

  Доступные типы источников обогащения:

  • константа

    Этот тип обогащения используется, если в поле события необходимо добавить константу. Параметры этого типа обогащения:

    • В поле Константа укажите значение, которое следует добавить в поле события. Значение должно состоять не более чем из 255 символов в кодировке Unicode. Если оставить это поле пустым, существующее значение поля события будет удалено.
    • В раскрывающемся списке Целевое поле выберите поле события KUMA, в которое следует поместить данные.

    Если вы используете функции обогащения событий для полей расширенной схемы с типом «Строка», «Число» или «Число с плавающей точкой» с помощью константы, в поле будет добавлена константа.

    Если вы используете функции обогащения событий для полей расширенной схемы с типом «Массив строк», «Массив чисел» или «Массив чисел с плавающей точкой» с помощью константы, константа будет добавлена к элементам массива.

  • словарь

    Этот тип обогащения используется, если в поле события необходимо добавить значение из словаря типа Словарь.

    При выборе этого типа в раскрывающемся списке Название словаря необходимо выбрать словарь, из которого будут браться значения, а в блоке параметров Ключевые поля с помощью кнопки Добавить поле требуется выбрать поля события, значения которых будут использоваться для выбора записи словаря.

    Если вы используете обогащение событий, у которого в качестве параметра Тип источника данных выбран тип «Словарь», а в параметре Ключевые поля обогащения указано поле-массив, при передаче массива в качестве ключа словаря массив будет сериализован в строку согласно правилам сериализации одного значения в формате TSV.

    Пример: В параметре Ключевые поля обогащения используется поле расширенной схемы SA.StringArrayOne. Поле расширенной схемы SA.StringArrayOne, содержит 3 элемента "a", "b" и "c". В качестве ключа в словарь будет передано значение: ['a','b','c'].

    Если в параметре Ключевые поля обогащения используется поле-массив расширенной схемы и обычное поле схемы событий, значения полей при обращении в словарь будут разделены символом «|».

    Пример: В параметре Ключевые поля обогащения используются два поля: поле расширенной схемы SA.StringArrayOne и поле Code. Поле расширенной схемы SA.StringArrayOne, содержит 3 элемента "a", "b" и "c", строковое поле Code, содержит последовательность символов "myCode". В качестве ключа в словарь будет передано значение: ['a','b','c']|myCode.

  • таблица

    Этот тип обогащения используется, если в поле события необходимо добавить значение из словаря типа Таблица.

    При выборе этого типа обогащения в раскрывающемся списке Название словаря необходимо выбрать словарь, из которого будут браться значения, а в блоке параметров Ключевые поля с помощью кнопки Добавить поле требуется выбрать поля события, значения которых будут использоваться для выбора записи словаря.

    Также в таблице Сопоставление необходимо настроить, из каких полей словаря и в какие поля события будут передаваться данные:

    • В столбце Поле словаря необходимо выбрать поле словаря. Доступные поля зависят от выбранного ресурса словаря.
    • В столбце Поле KUMA необходимо выбрать поле события, в которое следует записать значение. Для некоторых выбранных полей (*custom* и *flex*) в столбце Подпись можно задать название для помещаемых в них данных.

    Новые строки в таблицу можно добавлять с помощью кнопки Добавить элемент. Столбцы можно удалить с помощью кнопки .

  • событие

    Этот тип обогащения используется, если в поле события необходимо записать значение другого поля события. Параметры этого типа обогащения:

    • В раскрывающемся списке Целевое поле выберите поле события KUMA, в которое следует поместить данные.
    • В раскрывающемся списке Исходное поле выберите поле события, значение которого будет записано в целевое поле.
    • Если нажать на кнопку , откроется окно Преобразование, в котором с помощью кнопки Добавить преобразование можно создать правила изменения исходных данных перед тем, как они будут записаны в поля событий KUMA.

      Доступные преобразования

      Преобразования – это изменения, которые можно применить к значению до того, как оно будет записано в поле события. Тип преобразования выбирается в раскрывающемся списке.

      Доступные преобразования:

      • lower – используется для перевода всех символов значения в нижний регистр
      • upper – используется для перевода всех символов значения в верхний регистр
      • regexp – используется для преобразования значения с помощью регулярного выражения RE2. Поле, в которое следует добавить регулярное выражение, появляется, когда выбран этот тип преобразования.
      • substring – используется для извлечения символов в диапазоне позиций, указанном в полях Начало и Конец. Эти поля появляются, когда выбран данный тип преобразования.
      • replace – используется для замены указанной последовательности символов на другую последовательность символов. Когда выбран этот тип преобразования, появляются новые поля:
        • Символы на замену – в этом поле вы можете указать последовательность символов, которую следует заменить.
        • Чем заменить – в этом поле вы можете указать последовательность символов, которая должна использоваться вместо заменяемой последовательности символов.
      • trim – используется для удаления одновременно с начала и с конца значения поля события символов, указанных в поле Символы. Это поле появляется при выборе данного типа преобразования. Например, если для значения Microsoft-Windows-Sysmon выполнить преобразование trim со значением Micromon, то получается значение soft-Windows-Sys.
      • append – используется для добавления в конец значения поля события символов, указанных в поле Константа. Это поле появляется при выборе данного типа преобразования.
      • prepend – используется для добавления к началу значения поля события символов, указанных в поле Константа. Это поле появляется при выборе данного типа преобразования.
      • replace with regexp – используется для замены результатов регулярного выражения RE2 на последовательность символов.
        • Выражение – в этом поле вы можете указать регулярное выражение, результаты которого следует заменить.
        • Чем заменить – в этом поле вы можете указать последовательность символов, которая должна использоваться вместо заменяемой последовательности символов.
      • Конвертация закодированных строк в текст:
        • decodeHexString – используется для конвертации HEX-строки в текст.
        • decodeBase64String – используется для конвертации Base64-строки в текст.
        • decodeBase64URLString – используется для конвертации Base64url-строки в текст.

        При конвертации поврежденной строки или при ошибках конвертации в поле события могут быть записаны поврежденные данные.

        При обогащении событий, если длина закодированной строки превышает размер поля нормализованного события, такая строка будет обрезана и не будет раскодирована.

        Если длина раскодированной строки превышает размер поля события, в которое должно быть помещено раскодированное значение, такая строка будет обрезана до размера этого поля события.

      Преобразования при использовании расширенной схемы событий

      Возможность использования преобразования зависит от типа используемого поля расширенной схемы событий:

      • для дополнительное поле с типом «Строка» доступны все типы преобразований.
      • для полей с типами «Число», «Число с плавающей точкой» доступны следующие виды преобразований: regexp, substring, replace, trim, append, prepend, replaceWithRegexp, decodeHexString, decodeBase64String, decodeBase64URLString.
      • для полей с типами «Массив строк», «Массив чисел» и «Массив чисел с плавающей точкой» доступны следующие виды преобразований: append, prepend.

    При использовании обогащения событий, у которых в качестве параметра Тип источника данных выбран тип «Событие», а в качестве аргументов используются поля расширенной схемы событий, необходимо учесть следующие особенности:

    • Если исходным полем было поле с типом «Массив строк», а целевым полем является поле с типом «Строка», значения будут размещены в целевом поле в формате TSV.

      Пример: в поле расширенной схемы событий SA.StringArray, находятся значения «string1», «string2», «string3». Выполняются операция обогащения событий. Результат выполнения операции был занесён в поле схемы событий DeviceCustomString1. В результате выполнения операции в поле DeviceCustomString1 будет находиться: [«string1», «string2», «string3»].

    • Если исходным полем было поле с типом «Массив строк», а целевым полем является поле с типом «Массив строк», значения целевого поля будут дополнены значениями исходного поля и будут размещены в целевом поле, а качестве символа-разделителя будет использован символ «,».

      Пример: в поле расширенной схемы событий SA.StringArrayOne, находятся значения «string1», «string2», «string3». Выполняются операция обогащения событий. Результат выполнения операции был занесён в поле схемы событий SA.StringArrayTwo. В результате выполнения операции в поле SA.StringArrayTwo будут находиться значения «string1», «string2», «string3».

  • шаблон

    Этот тип обогащения используется, если в поле события необходимо записать значение, полученное при обработке шаблонов Go. Параметры этого типа обогащения:

    • В поле Шаблон поместите шаблон Go.

      Имена полей событий передаются в формате {{.EventField}}, где EventField – это название поля события, значение которого должно быть передано в скрипт.

      Пример: Атака на {{.DestinationAddress}} со стороны {{.SourceAddress}}.

    • В раскрывающемся списке Целевое поле выберите поле события KUMA, в которое следует поместить данные.

    Чтобы преобразовать в шаблоне данные поля массива в формат TSV, необходимо использовать функцию toString.

    Если вы используете обогащения событий, у которого в качестве параметра Тип источника данных выбран тип «Шаблон», в котором целевым полем является поле с типом Строка, а исходным полем является поле расширенной схемы событий, содержащее массив строк, в шаблоне может быть использован один из примеров, приведённых далее.

    Пример:

    {{.SA.StringArrayOne}}

    Пример:

    {{- range $index, $element := . SA.StringArrayOne -}}

    {{- if $index}}, {{end}}"{{$element}}"{{- end -}}

• Целевое поле (обязательно) – раскрывающийся список для выбора поля события KUMA, в которое следует поместить данные.

  Этот параметр недоступен для типа источника обогащения таблица.