Шаг 4. Обогащение

Развернуть всё | Свернуть всё

Это необязательный шаг мастера установки. В вкладке мастера установки Обогащение можно выбрать или создать правила обогащения с указанием, какими данными и из каких источников следует дополнить создаваемые коррелятором корреляционные события. Правил обогащения может быть несколько. Их можно добавить с помощью кнопки Добавить или удалить с помощью кнопки .

Чтобы добавить в набор ресурсов существующее правило обогащения:

1. Нажмите на кнопку Добавить.

   Откроется блок параметров правила обогащения.

2. В раскрывающемся списке Правило обогащения выберите нужный ресурс.

Правило обогащения добавлено в набор ресурсов для коррелятора.

Чтобы создать в наборе ресурсов новое правило обогащения:

1. Нажмите на кнопку Добавить.

   Откроется блок параметров правила обогащения.

2. В раскрывающемся списке Правило обогащения выберите Создать.
3. В раскрывающемся списке Тип источника данных выберите, откуда будут поступать данные для обогащения, и заполните относящиеся к нему параметры:
   • константа

     Этот тип обогащения используется, если в поле события необходимо добавить константу. Параметры этого типа обогащения:

     • В поле Константа укажите значение, которое следует добавить в поле события. Значение должно состоять не более чем из 255 символов Юникода. Если оставить это поле пустым, существующее значение поля события будет удалено.
     • В раскрывающемся списке Целевое поле выберите поле события KUMA, в которое следует поместить данные.

     Если вы используете функции обогащения событий для полей расширенной схемы с типом Строка, Число или Число с плавающей точкой с помощью константы, в поле будет добавлена константа.

     Если вы используете функции обогащения событий для полей расширенной схемы с типом Массив строк, Массив чисел или Массив чисел с плавающей точкой с помощью константы, константа будет добавлена к элементам массива.

   • dictionary

     Этот тип обогащения используется, если в поле события необходимо добавить значение из словаря типа Словарь.

     Когда в раскрывающемся списке Название словаря выбран этот тип обогащения, вам нужно выбрать словарь, который предоставит значения. В блоке параметров Ключевые поля вам нужно нажать на кнопку Добавить поле и выбрать поля событий, значения которых будут использоваться для выбора записи словаря.

     Если вы используете обогащение событий, у которого в качестве параметра Тип источника данных выбран тип "Словарь", а в параметре Ключевые поля обогащения указано поле-массив, при передаче массива в качестве ключа словаря массив будет сериализован в строку согласно правилам сериализации одного значения в формате TSV.

     Пример: В параметре Ключевые поля обогащения используется поле расширенной схемы SA.StringArrayOne. Поле расширенной схемы SA.StringArrayOne, содержит 3 элемента "a", "b" и "c". В качестве ключа в словарь будет передано значение: ['a','b','c'].

     Если в параметре Ключевые поля обогащения используется поле-массив расширенной схемы и обычное поле схемы событий, значения полей при обращении в словарь будут разделены символом "|".

     Пример: В параметре Ключевые поля обогащения используются два поля: поле расширенной схемы SA.StringArrayOne и поле Code. Поле расширенной схемы SA.StringArrayOne, содержит 3 элемента "a", "b" и "c", строковое поле Code, содержит последовательность символов "myCode". В качестве ключа в словарь будет передано значение: ['a','b','c']|myCode.

   • событие

     Этот тип обогащения используется, если в поле события необходимо записать значение другого поля события. Параметры этого типа обогащения:

     • В раскрывающемся списке Целевое поле выберите поле события KUMA, в которое следует поместить данные.
     • В раскрывающемся списке Исходное поле выберите поле события, значение которого будет записано в целевое поле.
     • В блоке параметров Преобразование можно создать правила изменения исходных данных перед тем, как они будут записаны в поля событий KUMA. Тип преобразования можно выбрать в раскрывающемся списке. С помощью кнопок Добавить преобразование и Удалить можно добавить или удалить преобразование. Порядок преобразований имеет значение.

       Доступные преобразования

       Преобразования – это изменения, которые можно применить к значению до того, как оно будет записано в поле события. Тип преобразования выбирается в раскрывающемся списке.

       Доступные преобразования:

       • lower – используется для перевода всех символов значения в нижний регистр
       • upper – используется для перевода всех символов значения в верхний регистр
       • regexp – используется для преобразования значения с помощью регулярного выражения RE2. Поле, в которое следует добавить регулярное выражение, появляется, когда выбран этот тип преобразования.
       • substring – используется для извлечения символов в диапазоне позиций, указанном в полях Начало и Конец. Эти поля появляются, когда выбран данный тип преобразования.
       • replace – используется для замены указанной последовательности символов на другую последовательность символов. Когда выбран этот тип преобразования, появляются новые поля:
         • Символы на замену – в этом поле вы можете указать последовательность символов, которую следует заменить.
         • Чем заменить – в этом поле вы можете указать последовательность символов, которая должна использоваться вместо заменяемой последовательности символов.
       • trim – используется для удаления одновременно с начала и с конца значения поля события символов, указанных в поле Символы. Это поле появляется при выборе данного типа преобразования. Например, если для значения Microsoft-Windows-Sysmon выполнить преобразование trim со значением Micromon, то получается значение soft-Windows-Sys.
       • append – используется для добавления в конец значения поля события символов, указанных в поле Константа. Это поле появляется при выборе данного типа преобразования.
       • prepend – используется для добавления к началу значения поля события символов, указанных в поле Константа. Это поле появляется при выборе данного типа преобразования.
       • replace with regexp – используется для замены результатов регулярного выражения RE2 на последовательность символов.
         • Выражение – в этом поле вы можете указать регулярное выражение, результаты которого следует заменить.
         • Чем заменить – в этом поле вы можете указать последовательность символов, которая должна использоваться вместо заменяемой последовательности символов.
       • Конвертация закодированных строк в текст:
         • decodeHexString – используется для конвертации HEX-строки в текст.
         • decodeBase64String – используется для конвертации Base64-строки в текст.
         • decodeBase64URLString – используется для конвертации Base64url-строки в текст.

         При конвертации поврежденной строки или при ошибках конвертации в поле события могут быть записаны поврежденные данные.

         При обогащении событий, если длина закодированной строки превышает размер поля нормализованного события, такая строка будет обрезана и не будет раскодирована.

         Если длина раскодированной строки превышает размер поля события, в которое должно быть помещено раскодированное значение, такая строка будет обрезана до размера этого поля события.

       • hexToDecimal преобразует шестнадцатеричное числовое значение в его десятичное представление. Преобразование применяется к строковым или числовым полям, содержащим шестнадцатеричные значения (включая префикс 0x, если он есть), а результат сохраняется в поле целевого события KUMA в виде целого числа. Преобразование возвращает десятичное число. Например, значение 0x00FF преобразуется в 255.

       Преобразования при использовании расширенной схемы событий

       Возможность использования преобразования зависит от типа используемого поля расширенной схемы событий:

       • Для дополнительного поля с типом Строка доступны все типы преобразований.
       • Для полей с типами Число, Число с плавающей точкой доступны следующие виды преобразований: regexp, substring, replace, trim, append, prepend, replaceWithRegexp, decodeHexString, decodeBase64String, decodeBase64URLString.
       • Для полей с типами Массив строк, Массив чисел и Массив чисел с плавающей точкой доступны следующие виды преобразований: append, prepend.

   • шаблон

     Этот тип обогащения используется, если в поле события необходимо записать значение, полученное при обработке шаблонов Go. Параметры этого типа обогащения:

     • В поле Шаблон поместите шаблон Go.

       Имена полей событий передаются в формате {{.EventField}}, где EventField – это название поля события, значение которого должно быть передано в скрипт.

       Пример: Атака на {{.DestinationAddress}} со стороны {{.SourceAddress}}.

     • В раскрывающемся списке Целевое поле выберите поле события KUMA, в которое следует поместить данные.

     Чтобы преобразовать данные в поле массива в шаблоне в формат TSV, вам нужно использовать функцию toString.

     Если вы используете обогащения событий, у которого в качестве параметра Тип источника данных выбран тип Шаблон, в котором целевым полем является поле с типом Строка, а исходным полем является поле расширенной схемы событий, содержащее массив строк, в шаблоне может быть использован один из примеров, приведенных далее.

     Пример:

     {{.SA.StringArrayOne}}

     Пример:

     {{- range $index, $element := . SA.StringArrayOne -}}

     {{- if $index}}, {{end}}"{{$element}}"{{- end -}}

   • dns

     Этот тип обогащения используется для отправки запросов на DNS-сервер частной сети для преобразования IP-адресов в доменные имена или наоборот. Преобразование IP-адресов в DNS-имена происходит только для частных адресов: 10.0.0.0/8, 172.16.0.0/12, 192.168.0.0/16, 100.64.0.0/10, fd00::/8.

     Параметры этого типа обогащения описаны в таблице ниже.

     Параметры типа обогащения "dns"

     Параметр	Описание
     URL	URL DNS-сервера, которому вы хотите отправлять запросы. С помощью кнопки Добавить URL можно указать несколько URL. Если параметр URL не указан, то KUMA возьмет список DNS-серверов из файла /etc/resolv.conf, расположенного на локальном хосте. В этом случае вам нужно включить параметр Требуется рекурсия. В противном случае обогащение происходить не будет.
     Запросов в секунду	Максимальное количество запросов к DNS-серверу в секунду. Значение по умолчанию: количество vCPU сервера, на котором установлено Ядро KUMA.
     Обработчики	Количество обработчиков, которые сервис может запускать одновременно для параллельной обработки событий. Укажите целое положительное число от 0 до 999. Если указано 0, то используется число логических ядер CPU. Значение по умолчанию: 1.
     Максимальное число событий в очереди обогащения	Максимальное число событий, сохраняемое в очереди для повторной отправки. Значение по умолчанию: 1 000 000.
     Время ожидания	Время ожидания ответа от DNS-сервера (в секундах). Значение по умолчанию: 5.
     Переопределение режима DNS	Используемый метод преобразования: Только прямое разрешение DNS – доменное имя преобразуется в IP-адрес. Только обратное разрешение DNS – IP-адрес преобразуется в доменное имя. Прямое и обратное DNS-разрешение – доменное имя может преобразовываться в IP-адрес и наоборот.
     Срок жизни кеша	Время жизни значений (в секундах), хранящихся в кеше. Значение по умолчанию: 60 (сек).
     Кеш отключен	Параметр, позволяющий включить или выключить кеширование. По умолчанию кеширование включено.
     Обновление кэша отключено	Если обновление кеша включено, то по истечении срока жизни кеша коллектор отправляет повторные запросы на DNS-сервер для обновления хранящихся в кеше данных. Этот параметр доступен только при включенном кеше. По умолчанию обновление кеша включено.
     Требуется рекурсия	Параметр позволяет включить отправку коллектором рекурсивных запросов к авторитативным DNS-серверам для выполнения обогащения. Значение по умолчанию: Выключено.

   • cybertrace

     Этот тип обогащения используется для добавления в поля события сведений из потоков данных CyberTrace.

     Доступные параметры:

     • URL (обязательно) – в этом поле можно указать URL сервера CyberTrace, которому вы хотите отправлять запросы.
     • Количество подключений – максимальное количество подключений к серверу CyberTrace, которые может одновременно установить KUMA. Значение по умолчанию равно количеству vCPU сервера, на котором установлено Ядро KUMA.
     • Запросов в секунду – максимальное количество запросов к серверу в секунду. По умолчанию указано значение 1000.
     • Время ожидания – время ожидания отклика от сервера CyberTrace в секундах. По умолчанию указано значение 30.
     • Сопоставление (обязательно) – этот блок параметров содержит таблицу сопоставления полей событий KUMA с типами индикаторов CyberTrace. В столбце Поле KUMA указаны названия полей событий KUMA, а в столбце Индикатор CyberTrace указаны типы индикаторов CyberTrace.

       Доступные типы индикаторов CyberTrace:

       • ip
       • url
       • hash

       В таблице сопоставления требуется указать как минимум одну строку. Нажав на кнопку Добавить строку, можно добавить строку, а на кнопку – удалить.

   • часовой пояс

     Этот тип обогащения используется в коллекторах и корреляторах для присваивания событию определенного часового пояса. Сведения о часовом поясе могут пригодиться при поиске событий, случившихся в нетипичное время, например ночью.

     При выборе этого типа обогащения в раскрывающемся списке Часовой пояс необходимо выбрать требуемую временную зону.

     Убедитесь, что требуемый часовой пояс установлен на сервере службы, использующей обогащение. Например, это можно сделать с помощью команды timedatectl list-timezones, которая показывает все установленные на сервере часовые пояса. Подробнее об установке часовых поясов смотрите в документации используемой вами операционной системы.

     При обогащении события в поле события DeviceTimeZone записывается смещение времени выбранного часового пояса относительно всемирного координированного времени (UTC) в формате +-чч:мм. Например, если выбрать временную зону Asia/Yekaterinburg в поле DeviceTimeZone будет записано значение +05:00. Если в обогащаемом событии есть значение поля DeviceTimeZone, оно будет перезаписано.

     По умолчанию, если в обрабатываемом событии не указан часовой пояс и не настроены правила обогащения по часовому поясу, событию присваивается часовой пояс сервера, на котором установлена служба (коллектор или коррелятор), обрабатывающая событие. При изменении времени сервера службу необходимо перезапустить.

     Допустимые форматы времени при обогащении поля DeviceTimeZone

     При обработке в коллекторе поступающих сырых событий следующие форматы времени могут быть автоматически приведены к формату +-чч:мм:

     Формат времени в обрабатываемом событии	Пример
     +-чч:мм	-07:00
     +-ччмм	-0700
     +-чч	-07

     Если формат даты в поле DeviceTimeZone отличается от указанных выше, при обогащении события сведениями о часовом поясе в поле записывается часовой пояс серверного времени коллектора. Вы можете создать особые правила нормализации для нестандартных форматов времени.

4. С помощью раскрывающегося списка Отладка укажите, следует ли включить логирование операций сервиса. По умолчанию логирование выключено.
5. В разделе Фильтр можно задать условия определения событий, которые будут обрабатываться с применением правила обогащения. В раскрывающемся списке можно выбрать существующий фильтр или создать новый фильтр.

   Создание фильтра в ресурсах

   Все поля события KUMA имеют значение по умолчанию. Для всех числовых полей это значение равно 0. Для всех строковых полей значение по умолчанию – пустая строка. Если событие не имеет какого-то поля, это значит, что полю присвоено значение по умолчанию. Поэтому фильтр может сработать на событие, даже если у этого события нет указанного в фильтре поля. Например, если вы в фильтре указали условие DestinationPort <= 1024, но событие не содержит поля DestinationPort, фильтр сработает, так как по умолчанию DestinationPort = 0.

   Чтобы создать фильтр:

   1. В раскрывающемся списке Фильтр выберите Создать.
   2. Если вы хотите сохранить фильтр в качестве отдельного ресурса, установите флажок Сохранить фильтр. В этом случае вы сможете использовать созданный фильтр в разных сервисах. По умолчанию флажок снят.
   3. Если вы установили флажок Сохранить фильтр, в поле Название введите название для создаваемого ресурса фильтра. Максимальная длина названия: до 128 символов в кодировке Unicode.
   4. В блоке параметров Условия укажите условия, которым должны соответствовать события:
      1. Нажмите на кнопку Добавить условие.
      2. В раскрывающихся списках Левый операнд и Правый операнд укажите параметры поиска. В зависимости от источника данных, выбранного в поле Правый операнд, могут отобразиться поля дополнительных параметров для определения значения, которое будет передано в фильтр. Например, при выборе значения активный лист вам нужно указать название активного листа, ключ записи и поле ключа записи.
      3. В раскрывающемся списке Оператор выберите оператор.

         Операторы фильтров

         • = – левый операнд равен правому операнду.
         • < – левый операнд меньше правого операнда.
         • <= – левый операнд меньше или равен правому операнду.
         • > – левый операнд больше правого операнда.
         • >= – левый операнд больше или равен правому операнду.
         • inSubnet – левый операнд (IP-адрес) находится в подсети правого операнда (подсети).
         • contains – левый операнд содержит значения правого операнда.
         • startsWith – левый операнд начинается с одного из значений правого операнда.
         • endsWith – левый операнд заканчивается одним из значений правого операнда.
         • match – левый операнд соответствует регулярному выражению правого операнда. Используются регулярные выражения RE2.
         • hasBit – установлены ли в левом операнде (в строке или числе), биты, позиции которых перечислены в правом операнде (в константе или в списке).

           Проверяемое значение переводится в двоичную систему счисления, после чего рассматривается справа налево. Проверяются символы, индекс которых указан в качестве константы или списка.

           Если проверяемое значение – это строка, то производится попытка перевести ее в целое число и обработать указанным выше способом. Если перевести строку в число невозможно, фильтр возвращает False.

         • hasVulnerability – находится ли в левом операнде актив с уязвимостью и уровнем важности уязвимости, указанными в правом операнде.

           Если идентификатор и значение важности уязвимости не указать, фильтр будет срабатывать при наличии любых уязвимостей у актива в проверяемом событии.

         • inActiveList – этот оператор имеет только один операнд. Его значения выбираются в поле Ключевые поля и сравниваются с записями активного листа, выбранного в раскрывающемся списке активных листов.
         • inDictionary – присутствует ли в указанном словаре запись, соответствующая ключу, составленному из значений выбранных полей события.
         • inCategory – активу в левом операнде назначена по крайней мере одна из категорий активов правого операнда.
         • inActiveDirectoryGroup – учетная запись Active Directory в левом операнде принадлежит одной из групп Active Directory в правом операнде.
         • TIDetect – этот оператор используется для поиска событий с данными CyberTrace Threat Intelligence (TI). Этот оператор можно использовать только на событиях, прошедших обогащение данными из CyberTrace Threat Intelligence, то есть только в коллекторах на этапе выбора точки назначения и в корреляторах.
         • inContextTable – присутствует ли в указанной контекстной таблице запись.
         • intersect – находятся ли в левом операнде элементы списка, указанные в списке в правом операнде.
      4. Если вы хотите, чтобы оператор игнорировал регистр значений, установите флажок без учета регистра. Действие флажка не распространяется на операторы InSubnet, InActiveList, InCategory, InActiveDirectoryGroup. По умолчанию флажок снят.
      5. Если вы хотите добавить отрицательное условие, в раскрывающемся списке Если выберите Если не.

      Вы можете добавить несколько условий или группу условий.

   5. Если вы добавили несколько условий или групп условий, выберите условие отбора (и, или, не), нажав на кнопку И.
   6. Если вы хотите добавить уже существующие фильтры, которые выбираются в раскрывающемся списке Выберите фильтр, нажмите на кнопку Добавить фильтр. Вы можете просмотреть параметры вложенного фильтра, нажав на кнопку .

В набор ресурсов для коррелятора добавлено новое правило обогащения.

Перейдите к следующему шагу мастера установки.