Обогащение в нормализаторе

Тип источника

Тип обогащения. В зависимости от выбранного типа обогащения отобразятся дополнительные параметры, которые также потребуется заполнить. Доступные типы обогащения:

• константа

  Этот тип обогащения используется, если в поле события необходимо добавить константу. Доступные параметры типа обогащения описаны в таблице ниже.

  Доступные параметры типа обогащения

  Параметр	Описание
  Константа	Значение, которое требуется добавить в поле события. Максимальная длина значения: до 255 символов в кодировке Unicode. Если оставить поле пустым, существующее значение поля события будет удалено.
  Целевое поле	Поле события LogAnalyzer, в которое требуется поместить данные.

  Если вы используете функции обогащения событий для полей расширенной схемы с типом Строка, Число или Число с плавающей точкой с помощью константы, в поле будет добавлена константа.

  Если вы используете функции обогащения событий для полей расширенной схемы с типом Массив строк, Массив чисел или Массив чисел с плавающей точкой с помощью константы, константа будет добавлена к элементам массива.

• событие

  Этот тип обогащения используется, если в поле события необходимо записать значение другого поля события. Доступные параметры типа обогащения описаны в таблице ниже.

  Доступные параметры типа обогащения

  Параметр	Описание
  Целевое поле	Поле события LogAnalyzer, в которое требуется поместить данные.
  Исходное поле	Поле события, значение которого будет записано в целевое поле.

  Если нажать на кнопку , откроется окно Преобразование, в котором вы можете с помощью кнопки Добавить преобразование создавать правила для изменения исходных данных перед записью в поля событий LogAnalyzer. Вы можете менять местами и удалять созданные правила. Для изменения места правила используйте значок рядом с ним. Для удаления правила нажмите рядом с ним на значок .

  Доступные преобразования

  Преобразования – это изменения, которые применяются к значению перед записью в поле события. Вы можете выбрать в раскрывающемся списке один из следующих типов преобразования:

  • entropy – используется для преобразования значения исходного поля с помощью функции вычисления информационной энтропии и помещения результата преобразования в целевое поле типа float. Результатом преобразования будет число. Показатель вычисления информационной энтропии позволяет выявлять DNS-туннели и компрометацию паролей, например когда пользователь ввел пароль вместо логина и пароль записывается в журнал в открытом виде.
  • lower – используется для перевода всех символов значения в нижний регистр.
  • upper – используется для перевода всех символов значения в верхний регистр.
  • regexp – используется для преобразования значения с помощью указанного регулярного выражения RE2. При выборе этого типа преобразования отображается поле, в котором вам нужно указать регулярное выражение RE2.
  • substring – используется для извлечения символов в указанном диапазоне позиций. При выборе этого типа преобразования отображаются поля Начало и Конец, в которых вам нужно указать диапазон позиций.
  • replace – используется для замены указанной последовательности символов на другую последовательность символов. При выборе этого типа преобразования отображаются следующие поля:
    • Символы на замену – последовательность символов, которую требуется заменить.
    • Чем заменить – последовательность символов, которую требуется использовать вместо заменяемой последовательности символов.
  • trim – используется для удаления указанных символов одновременно с начала и с конца значения поля события. При выборе этого типа преобразования отображается поле Символы, в котором вам нужно указать символы. Например, если для значения Microsoft-Windows-Sysmon выполнить преобразование trim со значением Micromon, новым значением будет soft-Windows-Sys.
  • append – используется для добавления указанных символов в конец значения поля события. При выборе этого типа преобразования отображается поле Константа, в котором вам нужно указать символы.
  • prepend – используется для добавления указанных символов к началу значения поля события. При выборе этого типа преобразования отображается поле Константа, в котором вам нужно указать символы.
  • replace with regexp – используется для замены результатов регулярного выражения RE2 на указанную последовательность символов. При выборе этого типа преобразования отображаются следующие поля:
    • Выражение – регулярное выражение RE2, результаты которого требуется заменить.
    • Чем заменить – последовательность символов, которую требуется использовать вместо заменяемой последовательности символов.
  • Конвертация закодированных строк в текст:
    • decodeHexString – используется для конвертации HEX-строки в текст.
    • decodeBase64String – используется для конвертации Base64-строки в текст.
    • decodeBase64URLString – используется для конвертации Base64url-строки в текст.

    При конвертации поврежденной строки или при ошибках конвертации в поле события могут быть записаны поврежденные данные.

    При обогащении событий, если длина закодированной строки превышает размер поля нормализованного события, строка будет обрезана и не будет раскодирована.

    Если длина раскодированной строки превышает размер поля события, в которое должно быть помещено раскодированное значение, строка будет обрезана до размера этого поля события.

  • Преобразование формата IP-адреса в IPv4:
    • ipDecimalToDotted – используется для преобразования IP-адреса в формате десятичного числа в IP-адрес в формате IPv4, в котором октеты разделены точками.
    • ipHexToDotted – используется для преобразования IP-адреса в формате шестнадцатиричного числа в IP-адрес в формате IPv4, в котором октеты разделены точками. с октетами, разделенными точками.

  Преобразования при использовании расширенной схемы событий

  Возможность использования преобразования зависит от типа используемого поля расширенной схемы событий:

  • для дополнительного поля с типом Строка доступны все типы преобразования.
  • для полей с типами Число и Число с плавающей точкой доступны следующие типы преобразования: regexp, substring, replace, trim, append, prepend, replaceWithRegexp, decodeHexString, decodeBase64String и decodeBase64URLString.
  • для полей с типами Массив строк, Массив чисел и Массив чисел с плавающей точкой доступны следующие типы преобразования: append и prepend.

   

  При использовании обогащения событий, у которых в качестве параметра Тип источника данных выбрано значение событие, а в качестве аргументов используются поля расширенной схемы событий, необходимо учесть следующие особенности:

  • Если исходное поле расширенной схемы событий имеет тип Массив строк, а целевое поле расширенной схемы событий имеет тип Строка, значения будут размещены в целевом поле расширенной схемы событий в формате TSV.

    Пример: в поле расширенной схемы событий SA.StringArray, находятся значения "string1", "string2", "string3". Выполняется операция обогащения событий. Результат выполнения операции обогащения событий заносится в поле расширенной схемы событий DeviceCustomString1. В поле расширенной схемы событий DeviceCustomString1 будут находиться значения ["string1", "string2", "string3"].

  • Если исходное и целевое поля расширенной схемы событий имеют тип Массив строк, значения целевого поля расширенной схемы событий будут дополнены значениями исходного поля расширенной схемы событий, а качестве символа-разделителя будет использован символ ",".

    Пример: в поле расширенной схемы событий SA.StringArrayOne, находятся значения ["string1", "string2", "string3"], а в поле расширенной схемы событий SA.StringArrayTwo находятся значения ["string4", "string5", "string6"]. Выполняется операция обогащения событий. Результат выполнения операции обогащения событий заносится в поле расширенной схемы событий SA.StringArrayTwo. В поле расширенной схемы событий SA.StringArrayTwo будут находиться значения ["string4", "string5", "string6", "string1", "string2", "string3"].

• шаблон

  Этот тип обогащения используется, если в поле события необходимо записать значение, полученное при обработке шаблонов Go. Мы рекомендуем сопоставлять значение и размер поля. Доступные параметры типа обогащения описаны в таблице ниже.

  Доступные параметры типа обогащения

  Параметр	Описание
  Шаблон	Шаблон Go. Имена полей событий передаются в формате {{.EventField}}, где EventField – это название поля события, значение которого должно быть передано в скрипт, например Атака на {{.DestinationAddress}} со стороны {{.SourceAddress}}.
  Целевое поле	Поле события LogAnalyzer, в которое требуется поместить данные.

  Если вы используете обогащение событий, у которого в качестве параметра Тип источника данных выбрано значение шаблон, целевым полем является поле с типом Строка, а исходным полем является поле расширенной схемы событий, содержащее массив строк, в шаблоне может быть использован один из следующих примеров:

  • {{.SA.StringArrayOne}}
  • {{- range $index, $element := . SA.StringArrayOne -}}

    {{- if $index}}, {{end}}"{{$element}}"{{- end -}}

  Для преобразования в шаблоне данных поля массива в формат TSV необходимо использовать функцию toString, например:

  template {{toString .SA.StringArray}}

Обязательный параметр.

Целевое поле

Поле события LogAnalyzer, в которое требуется поместить данные.

Обязательный параметр.