Агрегирование событий

Правила агрегации позволяют объединить однотипные повторяющиеся события и заменить их одним общим событием. В правилах агрегации поддерживается работа с полями стандартной схемы событий KUMA и с полями расширенной схемы событий. Таким образом, вы можете уменьшить количество схожих событий, передаваемых в хранилище и/или коррелятор, снизить нагрузку на сервисы, сэкономить место для хранения данных и сэкономить лицензионную квоту (EPS). Агрегационное событие создается по достижении порога по времени или порога по количеству событий, в зависимости от того, что произойдет раньше.

Для правил агрегации можно настроить фильтр и применять его только к событиям, которые соответствуют заданным условиям.

Для наглядного ознакомления с правилами агрегации вы можете просмотреть видео ниже.

В поставку KUMA включено правило агрегации [OOTB] Netflow 9. Правило сработает при достижении 100 событий или по истечении 10 секунд.

Агрегация событий выполняется по следующим полям:

• DestinationAddress
• DestinationPort
• SourceAddress
• TransportProtocol
• DeviceVendor
• DeviceProduct

Поля DeviceCustomString1 и BytesIn суммируются.

Чтобы создать правило агрегации:

1. В веб-интерфейсе перейдите в раздел Ресурсы → Правила агрегации и нажмите кнопку Создать.
2. В поле Название введите название для создаваемого правила агрегации. Название должно содержать от 1 до 128 символов в кодировке Unicode.
3. В раскрывающемся списке Тенант выберите тенант, которому принадлежит правило агрегации.
4. В поле Предел событий укажите количество событий, которое должно быть получено, чтобы сработало правило агрегации и события были объединены. Значение по умолчанию: 100.
5. В поле Время ожидания событий укажите количество секунд, в течение которых коллектор получает события для объединения. По истечении этого срока правило агрегации срабатывает и создается новое агрегационное событие. Значение по умолчанию: 60.
6. В поле Описание введите описание правила агрегации. Максимальная длина описания: 4000 символов в кодировке Unicode.
7. В поле Группирующие поля с помощью кнопки Добавить поле выберите поля, по которым будут определяться однотипные события. Вы можете выбрать следующие служебные поля: SourceAssetID, DestinationAssetID, DeviceAssetID, SourceAccountID, DestinationAccountID. Идентификаторы активов добавляются после нормализации события, поэтому по ним можно будет агрегировать события. Остальные служебные поля не используются в агрегации. Выбранные события можно удалять с помощью кнопок со значком крестика.
8. В поле Уникальные поля с помощью кнопки Добавить поле можно выбрать поля, при наличии которых коллектор исключит событие из процесса агрегации даже при наличии полей, указанных в разделе Группирующие поля. Выбранные события можно удалять с помощью кнопок со значком крестика.

   Если в Уникальные поля вы укажете более одного поля, то уникальными должны быть сочетания значений всех этих полей.

   Уникальные поля не сохраняются в агрегированном событии.

9. В поле Поля суммы с помощью кнопки Добавить поле можно выбрать поля, значения которых будут просуммированы в процессе агрегации. Выбранные события можно удалять с помощью кнопок со значком крестика.

   Существуют следующие особенности поведения полей:

   • значения полей с типами Число и Число с плавающей точкой суммируются;
   • значения полей с типом Строка конкатенируются через запятую;
   • значения полей с типами Массив строк, Массив чисел и Массив чисел с плавающей точкой добавляются в конец массива.
10. В блоке параметров Параметры фильтра задайте условия определения событий, которые будут обрабатываться этим этим правилом. В раскрывающемся списке можно выбрать существующий фильтр или Создать новый фильтр.

    Как создать фильтр в ресурсах ?

    Все поля события KUMA имеют значение по умолчанию. Для всех числовых полей это значение равно 0. Для всех строковых полей значение по умолчанию – пустая строка. Если событие не имеет какого-то поля, это значит, что полю присвоено значение по умолчанию. Поэтому фильтр может сработать на событие, даже если у этого события нет указанного в фильтре поля. Например, если вы в фильтре указали условие DestinationPort <= 1024, но событие не содержит поля DestinationPort, фильтр сработает, так как по умолчанию DestinationPort = 0.

    Чтобы создать фильтр:

    1. В раскрывающемся списке Фильтр выберите Создать.
    2. Если вы хотите сохранить фильтр и использовать его в качестве фильтра для других ресурсов, установите флажок Сохранить фильтр. По умолчанию флажок снят.
    3. Если вы установили флажок Сохранить фильтр, в поле Название введите название нового фильтра. Максимальная длина названия: до 128 символов в кодировке Unicode.
    4. Выберите режим создания фильтра: Конструктор или Код.

       При формировании условий фильтрации вы можете переключаться между режимами. При переключении между режимами сформированные условия фильтров сохраняются. Если после привязки созданного фильтра к ресурсу на вкладке Код не отображается код фильтра, выберите вкладку Конструктор, после чего снова выберите вкладку Код для отображения кода фильтра.

    5. Если вы выбрали вариант Конструктор, выполните следующие действия:
       1. В раскрывающемся списке выберите логический оператор:
          • И – отбирает события, которые соответствуют всем указанным условиям.
          • ИЛИ – отбирает события, которые соответствуют одному из указанных условий.
          • НЕ – отбирает события, которые не соответствуют всем указанным условиям.
       2. Нажмите на кнопку Добавить условие.
       3. Если вы хотите добавить отрицательное условие, в раскрывающемся списке Если выберите Если не.
       4. В последовательно отображающихся раскрывающихся списках выберите операнды и операторы фильтра.

          Операнды фильтров

          • Поля событий – поле события, которое требуется использовать как операнд фильтра.
          • Активные листы – активный лист или поле активного листа, которое требуется использовать как операнд фильтра. При выборе активного листа укажите одно или несколько полей событий, которые используются для создания записи активного листа и выступают ключом записи активного листа. Для завершения указания полей событий нажмите комбинацию клавиш Ctrl/Command+F1.

            Если вы не указали оператор inActiveList, вам нужно указать имя поля активного листа, которое требуется использовать как операнд фильтра.

          • Словари – значение из ресурса словарь, которое требуется присвоить операнду. Дополнительные параметры:
            • словарь (обязательно) – словарь, который требуется использовать.
            • ключевые поля (обязательно) – поля событий, которые используются для формирования ключа значения словаря.
          • Контекстные таблицы – в этом разделе вы можете указать значение контекстной таблицы, которое требуется использовать как операнд фильтра. При выборе контекстной таблицы вам нужно указать поле события.
            • название контекстной таблицы (обязательно) – контекстная таблица, которую требуется использовать.
            • ключевые поля (обязательно) – поля событий или локальные переменные, которые используются для создания записи контекстной таблицы и выступают ключом записи контекстной таблицы.
            • поле – имя поля контекстной таблицы, из которого требуется извлечь значение операнда.
            • индекс – индекс списочного поля таблицы, из которого требуется извлечь значение операнда.
          • Таблицы – пользовательские значения, которые требуется присвоить операнду. Дополнительные параметры:
            • словарь (обязательно) – тип словаря. Вам нужно выбрать тип словаря Таблица.
            • ключевые поля (обязательно) – поля событий, которые используются для формирования ключа значения словаря.
          • TI – параметры чтения данных Kaspersky CyberTrace об угрозах (TI) из событий. Дополнительные параметры:
            • поток (обязательно) – категория угрозы Kaspersky CyberTrace.
            • ключевые поля (обязательно) – поле события с индикаторами угроз Kaspersky CyberTrace.
            • поле (обязательно) – поле фида Kaspersky CyberTrace с индикаторами угроз.
          • Константа – пользовательское значение, которое требуется присвоить операнду. Дополнительные параметры:
            • значение (обязательно) – константа, которую требуется присвоить операнду.
          • Список – пользовательские значения, которые требуется присвоить операнду. Дополнительные параметры:
            • значение (обязательно) – константы, которые требуется присвоить операнду. Когда вы вводите значение в поле и нажимаете ENTER, значение добавляется в список, и вы можете ввести новое значение.

          Операторы фильтров

          • = – левый операнд равен правому операнду.
          • < – левый операнд меньше правого операнда.
          • <= – левый операнд меньше или равен правому операнду.
          • > – левый операнд больше правого операнда.
          • >= – левый операнд больше или равен правому операнду.
          • inSubnet – левый операнд (IP-адрес) находится в подсети правого операнда (подсети).
          • contains – левый операнд содержит значения правого операнда.
          • startsWith – левый операнд начинается с одного из значений правого операнда.
          • endsWith – левый операнд заканчивается одним из значений правого операнда.
          • match – левый операнд соответствует регулярному выражению правого операнда. Используются регулярные выражения RE2.
          • hasBit – установлены ли в левом операнде (в строке или числе), биты, позиции которых перечислены в правом операнде (в константе или в списке).

            Проверяемое значение переводится в двоичную систему счисления, после чего рассматривается справа налево. Проверяются символы, индекс которых указан в качестве константы или списка.

            Если проверяемое значение – это строка, то производится попытка перевести ее в целое число и обработать указанным выше способом. Если перевести строку в число невозможно, фильтр возвращает False.

          • hasVulnerability – находится ли в левом операнде актив с уязвимостью и уровнем важности уязвимости, указанными в правом операнде.

            Если идентификатор и значение важности уязвимости не указаны, фильтр будет срабатывать при наличии любых уязвимостей у актива в проверяемом событии.

          • inActiveList – этот оператор имеет только один операнд. Его значения выбираются в поле Ключевые поля и сравниваются с записями активного листа, выбранного в раскрывающемся списке активных листов.
          • inDictionary – присутствует ли в указанном словаре запись, соответствующая ключу, составленному из значений выбранных полей события.
          • inCategory – активу в левом операнде назначена по крайней мере одна из категорий активов правого операнда.
          • inActiveDirectoryGroup – учетная запись Active Directory в левом операнде принадлежит одной из групп Active Directory в правом операнде.
          • TIDetect – этот оператор используется для поиска событий с данными Kaspersky CyberTrace. Этот оператор можно использовать только на событиях, прошедших обогащение данными из Kaspersky CyberTrace, то есть только в коллекторах на этапе выбора точки назначения и в корреляторах.
          • inContextTable – присутствует ли в указанной контекстной таблице запись.
          • intersect – находятся ли в левом операнде элементы списка, указанные в списке в правом операнде.

          Если вы хотите, чтобы оператор игнорировал регистр значений, установите флажок без учета регистра. Действие не распространяется на операторы InSubnet, InActiveList, InCategory, InActiveDirectoryGroup, hasBit и inDictionary. По умолчанию флажок снят.

          Вы можете изменить и удалить указанный оператор. Для изменения оператора нажмите на него и укажите новый оператор. Для удаления оператора нажмите на него и затем нажмите на клавишу Backspace.

       5. Если вы хотите добавить группу условий для фильтра, нажмите на кнопку Добавить группу.

          Вы можете добавить несколько групп условий.

    6. Если вы выбрали вариант Код, укажите текстовую команду фильтра.

       В правой части конструктора отображается навигатор для перемещения по коду фильтра. Перенос строк выполняется автоматически по логическим операторам И, ИЛИ, НЕ или запятым, являющимися разделителем элементов списка значений.

    7. Если вы хотите изменить порядок условий фильтрации, используйте значки изменения порядка . Если вы хотите удалить условие, нажмите на значок удаления .
    8. Нажмите Сохранить.

    Не используйте в правилах агрегации фильтры с операндом TI или операторами TIDetect, inActiveDirectoryGroup и hasVulnerability. Поля Active Directory, для которых используется оператор inActiveDirectoryGroup, появляются на этапе обогащения, то есть после выполнения правил агрегации.

11. Нажмите кнопку Создать.

После создания правила агрегации вы можете привязать его коллектору.