Параметры парсинга событий

Развернуть всё | Свернуть всё

При создании правил парсинга событий в окне параметров нормализатора на вкладке Схема нормализации вы можете настроить правила приведения поступающих событий к формату KUMA.

Чтобы определить параметры парсинга событий:

1. В поле Версия ресурса в репозитории "Лаборатории Касперского" указывается номер версии события.

   Это поле недоступно для редактирования. Доступно только для ресурсов, предоставляемых Лабораторией Касперского и используется для управления обновлением ресурсов.

2. В поле Имя (обязательное поле) введите уникальное имя правила парсинга. Имя должно содержать от 1 до 128 символов Юникода. Название основного правила парсинга будет использоваться в качестве названия нормализатора.
3. В поле Тенант (обязательное поле) введите имя тенанта, которому принадлежит ресурс.

   Этот параметр недоступен для дополнительных правил парсинга.

4. В раскрывающемся списке Метод парсинга выберите тип получаемых событий. В зависимости от выбора можно будет воспользоваться преднастроенными правилами сопоставления полей событий или задать свои собственные правила. При выборе некоторых методов парсинга могут стать доступны дополнительные параметры, требующие заполнения.

   Доступный метод парсинга: json

   Этот метод парсинга используется для обработки данных в формате JSON, в которых каждый объект, включая его вложенные объекты, занимает одну строку файла.

   При обработке файлов с иерархически выстроенными данными можно обращаться к полям вложенных объектов, поочередно через точку указывая названия параметров. Например, к параметру username из строки "user":{"username":"system:node:example-01"} можно обратиться с помощью запроса user.username.

   Файлы обрабатываются построчно. Многострочные объекты с вложенными структурами могут быть нормализованы некорректно.

   В сложных схемах нормализации, где используются дополнительные нормализаторы, все вложенные объекты обрабатываются на первом уровне нормализации за исключением случаев, когда условия дополнительной нормализации не заданы и, следовательно, в дополнительный нормализатор передается обрабатываемое событие целиком.

   В качестве разделителя строк могут выступать символы \n и \r\n. Строки должны быть в кодировке UTF-8.

   Если вы хотите передавать сырое событие для дополнительной нормализации, на каждом уровне вложенности в окне Дополнительный парсинг события выберите в раскрывающемся списке Использовать сырое событие значение Да.

5. В раскрывающемся списке Сохранить сырое событие укажите, надо ли сохранять сырое событие во вновь созданном нормализованном событии. Доступные значения:
   • Не сохранять – не сохранять сырое событие. Это значение используется по умолчанию.
   • При возникновении ошибок – сохранять сырое событие в поле Raw нормализованного события, если в процессе парсинга возникли ошибки. Это значение удобно использовать при отладке службы. В этом случае каждый раз, когда у события есть непустое поле Raw, это означает, что возникла проблема.

     Если поля с названиями *Address или *Date* не соответствуют правилам нормализации, такие поля игнорируются. При этом не возникает ошибка нормализации и значения полей не попадают в поле Raw нормализованного события, даже если был указан параметр Сохранить сырое событие → При возникновении ошибок.

   • Всегда – сохранять сырое событие в поле Raw нормализованного события.

   Этот параметр недоступен для дополнительных правил парсинга.

6. В раскрывающемся списке Сохранить дополнительные поля выберите, требуется ли сохранять поля сырого события в нормализованном событии, если для них не были настроены правила сопоставления (см. ниже). Данные сохраняются в поле события Extra. Нормализованные события можно искать и фильтровать по данным, хранящимся в поле Extra.

   Фильтрация по данным из поля события Extra

   Условия для фильтров по данным из поля события Extra:

   • Условие – Если.
   • Левый операнд – поле события.
   • В поле события вы можете указать одно из следующих значений:
     • Поле Extra.
     • Значение из поля Extra в следующем формате:

       Extra.<название поля>

       Например, Extra.app.

       Значение этого типа указывается вручную.

     • Значение из массива, записанного в поле Extra, в следующем формате:

       Extra.<название поля>.<элемент массива>

       Например, Extra.array.0.

       Нумерация значений в массиве начинается с 0.

       Значение этого типа указывается вручную.

       Чтобы работать со значением из поля Extra на глубине 3 и ниже, следует использовать кавычки ``. Например, `Extra.lev1.lev2.lev3`.

   • Оператор – =.
   • Правый операнд – константа.
   • Значение – значение, по которому требуется фильтровать события.

   По умолчанию поля не сохраняются.

7. В поле Описание укажите описание ресурса: до 4000 символов Юникода.

   Этот параметр недоступен для дополнительных правил парсинга.

8. При необходимости в поле Примеры событий укажите пример данных, которые вы хотите обработать.

   Этот параметр недоступен для методов парсинга netflow5, netflow9, sflow5, ipfix, sql.

   Поле Примеры событий заполняется данными, полученными из сырого события, если парсинг события был выполнен успешно и тип полученных из сырого события данных совпадает с типом поля KUMA.

   Например, значение "192.168.0.1", заключенное в кавычки, не будет отображено в поле SourceAddress, при этом значение 192.168.0.1 будет отображено в поле Примеры событий.

9. В таблице Сопоставление настройте сопоставление полей сырого события с полями событий в формате KUMA:
   1. В столбце Исходные данные укажите название поля сырого события, которое вы хотите преобразовать в поле события KUMA.

      Подробнее о формате полей см. в статье Модель данных нормализованного события. Описание сопоставления см. в статье Сопоставление полей предустановленных нормализаторов.

      Если рядом с названиями полей в столбце Исходные данные нажать на кнопку , откроется окно Преобразование, в котором при нажатии на кнопку Добавить преобразование можно создать правила изменения исходных данных перед тем, как они будут записаны в поля событий KUMA.

      Доступные преобразования

      Преобразования – это изменения, которые можно применить к значению до того, как оно будет записано в поле события. Тип преобразования выбирается в раскрывающемся списке.

      Доступные преобразования:

      • lower – используется для перевода всех символов значения в нижний регистр
      • upper – используется для перевода всех символов значения в верхний регистр
      • regexp – используется для преобразования значения с помощью регулярного выражения RE2. Поле, в которое следует добавить регулярное выражение, появляется, когда выбран этот тип преобразования.
      • substring – используется для извлечения символов в диапазоне позиций, указанном в полях Начало и Конец. Эти поля появляются, когда выбран данный тип преобразования.
      • replace – используется для замены указанной последовательности символов на другую последовательность символов. Когда выбран этот тип преобразования, появляются новые поля:
        • Символы на замену – в этом поле вы можете указать последовательность символов, которую следует заменить.
        • Чем заменить – в этом поле вы можете указать последовательность символов, которая должна использоваться вместо заменяемой последовательности символов.
      • trim – используется для удаления одновременно с начала и с конца значения поля события символов, указанных в поле Символы. Это поле появляется при выборе данного типа преобразования. Например, если для значения Microsoft-Windows-Sysmon выполнить преобразование trim со значением Micromon, то получается значение soft-Windows-Sys.
      • append – используется для добавления в конец значения поля события символов, указанных в поле Константа. Это поле появляется при выборе данного типа преобразования.
      • prepend – используется для добавления к началу значения поля события символов, указанных в поле Константа. Это поле появляется при выборе данного типа преобразования.
      • replace with regexp – используется для замены результатов регулярного выражения RE2 на последовательность символов.
        • Выражение – в этом поле вы можете указать регулярное выражение, результаты которого следует заменить.
        • Чем заменить – в этом поле вы можете указать последовательность символов, которая должна использоваться вместо заменяемой последовательности символов.
      • Конвертация закодированных строк в текст:
        • decodeHexString – используется для конвертации HEX-строки в текст.
        • decodeBase64String – используется для конвертации Base64-строки в текст.
        • decodeBase64URLString – используется для конвертации Base64url-строки в текст.

        При конвертации поврежденной строки или при ошибках конвертации в поле события могут быть записаны поврежденные данные.

        При обогащении событий, если длина закодированной строки превышает размер поля нормализованного события, такая строка будет обрезана и не будет раскодирована.

        Если длина раскодированной строки превышает размер поля события, в которое должно быть помещено раскодированное значение, такая строка будет обрезана до размера этого поля события.

      Преобразования при использовании расширенной схемы событий

      Возможность использования преобразования зависит от типа используемого поля расширенной схемы событий:

      • Для дополнительного поля с типом Строка доступны все типы преобразований.
      • Для полей с типами Число, Число с плавающей точкой доступны следующие виды преобразований: regexp, substring, replace, trim, append, prepend, replaceWithRegexp, decodeHexString, decodeBase64String, decodeBase64URLString.
      • Для полей с типами Массив строк, Массив чисел и Массив чисел с плавающей точкой доступны следующие виды преобразований: append, prepend.

      В окне Преобразования добавленные правила можно менять местами, перетягивая их за значок , а также удалять с помощью значка .

   2. В столбце Поле KUMA в раскрывающемся списке выберите требуемое поле события KUMA. Поля можно искать, вводя в поле их названия.

      Рекомендации для полей столбцов KUMA

      Рекомендуется настроить сопоставление для следующих полей KUMA. Иначе вы не сможете просматривать наблюдаемые объекты в деталях алертов и инцидентов.

      Рекомендуемые поля KUMA зависят от типов наблюдаемых объектов:

      • Для наблюдаемых объектов типа MD5 и SHA256:
        • FileHash
      • Для наблюдаемых объектов типа URL:
        • RequestUrl
      • Для наблюдаемых объектов типа IP-адреса:
        • DeviceCustomIPv6Address1
        • DeviceCustomIPv6Address2
        • DeviceCustomIPv6Address3
        • DeviceCustomIPv6Address4
        • DestinationTranslatedAddress
        • DeviceTranslatedAddress
        • DestinationAddress
        • DeviceAddress
        • SourceTranslatedAddress
        • SourceAddress
      • Для наблюдаемых объектов типа Доменное имя:
        • DestinationDnsDomain
        • DeviceDnsDomain
        • DeviceNtDomain
        • DestinationNtDomain
        • SourceDnsDomain
        • SourceNtDomain
      • Для наблюдаемых объектов типа UserName:
        • DestinationUserName
        • SourceUserName
      • Для наблюдаемых объектов типа HostName:
        • DestinationHostName
        • DeviceHostName
        • SourceHostName
   3. Если название поля события KUMA, выбранного на предыдущем шаге, начинается с DeviceCustom* и Flex*, в поле Подпись можно добавить уникальную пользовательскую метку.

   Новые строки таблицы можно добавлять с помощью кнопки Добавить строку. Строки можно удалять по отдельности с помощью кнопки или все сразу с помощью кнопки Очистить все.

   Чтобы KUMA могла выполнить обогащение событий данными про активы, и данные об активах были доступны в карточке алерта при срабатывании корреляционного правила, в таблице Сопоставление вам необходимо настроить сопоставление полей для адреса устройства и имени устройства в зависимости от назначения актива. Например, сопоставление для SourceAddress и SourceHostName, или DestinationAddress и DestinationHostName. В результате обогащения в карточке события появится поле SourceAssetID или DestinationAssetID и ссылка, по которой можно будет перейти в карточку актива. Также в результате обогащения сведения об активе будут доступны в карточке алерта.

   Если вы загрузили данные в поле Примеры событий, в таблице отобразится столбец Примеры с примерами значений, переносимых из поля сырого события в поле события KUMA.

   Если размер поля события KUMA оказывается меньше длины помещаемого в него значения, значение обрезается до размера поля события.

Расширенная схема события

При нормализации событий, помимо полей стандартной схемы событий KUMA, могут быть использованы поля расширенной схемы событий. Информация о типах полей расширенной схемы событий приведена в таблице далее.

Использование значительного количества уникальных полей расширенной схемы событий может привести к снижению производительности системы, увеличению объема дискового пространства, необходимого для хранения событий, сложности восприятия данных.

Мы рекомендуем предварительно продумать и сформировать минимально необходимый набор дополнительных полей расширенной схемы событий и использовать его в нормализаторах и корреляции.

Для использования полей расширенной схемы событий необходимо выполнить следующее:

• открыть существующий или создать нормализатор событий;
• заполнить основные параметры нормализатора;
• нажать на кнопку Добавить строку;
• в параметре Исходные данные указать название исходного поля в сыром событии;
• в параметре Поле KUMA указать имя создаваемого поля расширенной схемы событий, см. таблицу далее. Также можно использовать одно из существующих полей расширенной схемы событий.

  Поля расширенной модели данных нормализованного события

  Название поля Указывается в параметре Поле KUMA	Тип данных	Доступность в нормализаторе	Описание
  S.<имя поля>	Строка	Все типы	Поле с типом Строка
  N.<имя поля>	Число	Все типы	Поле с типом Число
  F.<имя поля>	Число с плавающей точкой	Все типы	Поле с типом Число с плавающей точкой
  SA.<имя поля>	Массив строк	KV, JSON	Поле с типом Массив строк. Порядок элементов массива соответствует порядку элементов сырого события.
  NA.<имя поля>	Массив целых чисел	KV, JSON	Поле с типом Массив целых чисел. Порядок элементов массива соответствует порядку элементов сырого события.
  FA.<имя поля>	Массив чисел с плавающей точкой	KV, JSON	Поле с типом Чисел с плавающей точкой. Порядок элементов массива соответствует порядку элементов сырого события.

Префиксы S., N., F., SA., NA., FA. обязательны при создании полей расширенной схемы событий, префиксы должны использовать только заглавные буквы.

Вместо <имя поля> необходимо задать имя поля. В имени поля допустимо использовать символы английского алфавита, числа. Использование символа "пробел" не допускается.

• Нажмите на кнопку ОК.
• Нажмите на кнопку Сохранить для завершения редактирования нормализатора событий.

Нормализатор сохранен, дополнительное поле создано. После сохранение нормализатора дополнительное поле может быть использовано в других нормализаторах.

Примечание: в случае, если данные, находящиеся в поля сырого события, не соответствуют типу поля KUMA, то в процессе нормализации событий значение не будет сохранено. Например, строка test не может быть помещена в числовое поле KUMA DeviceCustomNumber1.

С точки зрения нагрузки на сервер хранения при операциях при операциях поиска событий, подготовки отчетов и иных операциями с событиями в хранилище наиболее предпочтительными являются поля схемы событий KUMA, затем идут поля расширенной схемы событий, затем поля Extra.