Переменные в корреляторах

Если для покрытия каких-то сценариев обеспечения безопасности недостаточно отслеживания значений в полях событий, активных листах или словарях, вы можете воспользоваться глобальными и локальными переменными. С их помощью можно выполнять различные действия над поступающими в корреляторы значениями, реализуя сложную логику выявления угроз. Переменные можно объявить в корреляторе (глобальные переменные) или в правиле корреляции (локальные переменные), присвоив им какую-либо функцию, а затем обращаться к ним из правил корреляции, как к обычным полям событий, получая в ответ результат срабатывания функции.

Область применения переменных:

• При поиске группирующих или уникальных значений полей в правилах корреляции.
• В селекторах правил корреляции в фильтрах условий, при которых должно срабатывать правило корреляции.
• При обогащении корреляционных событий. В качестве типа источника следует выбирать Событие.
• При наполнении активных листов значениями.

К переменным можно обращаться так же, как к полям события, предваряя их название символом $.

Локальные переменные в группирующих и уникальных полях

Вы можете использовать локальные переменных в разделах Группирующие поля и Уникальные поля правил корреляции типа standard. Для использования локальной переменной необходимо перед ее именем указывать символ "$".

Вы можете ознакомиться с примером использования локальных переменных в разделах Группирующие поля и Уникальные поля в правиле, поставляемом в KUMA: R403_Обращение на вредоносные ресурсы с хоста с отключенной защитой или устаревшей антивирусной базой.

Локальные переменные в селекторе

Чтобы использовать локальную переменную в селекторе:

1. Добавьте локальную переменную в правило.
2. В окне Правила корреляции перейдите на вкладку Общие и добавьте созданную локальную переменную в раздел Группирующие поля. Перед именем локальной переменной укажите символ "$".
3. В окне Правила корреляции перейдите на вкладку Селекторы, выберите существующий фильтр или создайте новый и нажмите на кнопку Добавить условие.
4. В качестве операнда выберите поле события.
5. В качестве значения поля события укажите локальную переменную и укажите символ "$" перед именем переменной.
6. Укажите остальные параметры фильтра.
7. Нажмите Сохранить.

Вы можете ознакомиться с примером использования локальных переменных в правиле, поставляемом с KUMA: R403_Обращение на вредоносные ресурсы с хоста с отключенной защитой или устаревшей антивирусной базой.

Локальные переменные в обогащении событий

Вы можете использовать правила корреляции типа standard и simple для обогащения событий с помощью локальных переменных.

Обогащение текстом и числами

Обогащение событий можно выполнять с помощью текста (строк). Для этого могут быть использованы функции, позволяющие модифицировать строки: to_lower, to_upper, str_join, append, prepend, substring, tr, replace, str_join.

Обогащение событий можно выполнять с помощью чисел. Для этого могут быть использованы функции: сложение (оператор "+"), вычитание (оператор "-"), умножение (оператор "*"), деление (оператор "/"), round, ceil, floor, abs, pow.

Также для работы с данными в локальных переменных могут быть использованы регулярные выражения.

Применение регулярных выражений в правилах корреляции создаёт большую нагрузку в сравнении с другими операциями. Поэтому при разработке правил корреляции мы рекомендуем ограничить использование регулярных выражений до необходимого минимума и применять другие доступные операции.

Обогащение временных отметок

Обогащение событий можно выполнять с помощью временных отметок (даты и времени). Для этого могут быть использованы функции, позволяющие получать или модифицировать временные метки: now, extract_from_timestamp, parse_timestamp, format_timestamp, truncate_timestamp, time_diff.

Операции с активными списками и таблицами

Вы можете выполнять обогащение событий с помощью локальных переменных и данных, находящихся в активных списках и таблицах.

Для обогащения событий данными из активного списка необходимо воспользоваться функциями active_list, active_list_dyn.

Для обогащения событий данными из таблицы необходимо воспользоваться функциями table_dict, dict.

Вы можете создавать условные операторы при помощи функции conditional в локальных переменных. Таким образом переменная может вернуть одно из значений в зависимости от того, какие данные поступили для обработки.

Использование локальной переменной для обогащения событий

Чтобы использовать локальную переменную для обогащения событий:

1. Добавьте локальную переменную в правило.
2. В окне Правила корреляции перейдите на вкладку Общие и добавьте созданную локальную переменную в раздел Группирующие поля. Перед именем локальной переменной укажите символ "$".
3. В окне Правила корреляции перейдите на вкладку Действия и в группе параметров Обогащение в раскрывающемся списке Тип источника данных выберите событие.
4. В раскрывающемся списке Целевое поле выберите поле события KUMA, в которое необходимо передать значение локальной переменной.
5. В раскрывающемся списке Исходное поле выберите локальную переменную. Перед именем локальной переменной укажите символ "$".
6. Укажите остальные параметры правила.
7. Нажмите Сохранить.

Локальные переменные в обогащении активных листов

Вы можете использовать локальные переменные для обогащения активных листов.

Чтобы выполнить обогащение активного списка при помощи локальной переменной:

1. Добавьте локальную переменную в правило.
2. В окне Правила корреляции перейдите на вкладку Общие и добавьте созданную локальную переменную в раздел Группирующие поля. Перед именем локальной переменной укажите символ "$".
3. В окне Правила корреляции перейдите на вкладку Действия и в группе параметров Обновление активных листов добавьте локальную переменную в поле Ключевые поля. Перед именем локальной переменной укажите символ "$".
4. В группе параметров Сопоставление укажите соответствие между полями события и полями активного списка.
5. Нажмите на кнопку Сохранить.

Свойства переменных

Локальные и глобальные переменные

Свойства глобальных и локальных переменных различаются.

Глобальные переменные:

• Глобальные переменные объявляются на уровне коррелятора и действуют только в пределах этого коррелятора.
• К глобальным переменным коррелятора можно обращаться из всех правил корреляции, которые в нем указаны.
• В правилах корреляции типа standard одна и та же глобальная переменная в каждом селекторе может принимать разные значения.
• Невозможно переносить глобальные переменные между разными корреляторами.

Локальные переменные:

• Локальные переменные объявляются на уровне правила корреляции и действуют только в пределах этого правила.
• В правилах корреляции типа standard областью действия локальной переменной является только тот селектор, в котором переменная была объявлена.
• Локальные переменные можно объявлять в любых типах правил корреляции.
• Невозможно переносить локальные переменные между правилами или селекторами.
• Локальная переменная не может быть использована в качестве глобальной переменной.

Переменные в разных типах правил корреляции

• В правилах корреляции типа operational в закладке Действия можно указывать все доступные или объявленные в этом правиле переменные.
• В правилах корреляции типа standard в закладке Действия можно указывать только переменные, указанные в этих правилах на закладке Общие в поле Группирующие поля.
• В правилах корреляции типа simple в закладке Действия можно указывать только переменные, указанные в этих правилах на закладке Общие в поле Наследуемые поля.

Требования к переменным

Добавляя функцию переменной необходимо сначала указать название функции, а затем в круглых скобках перечислить ее параметры. Исключением являются простейшие математические операции (сложение, вычитание, умножение, деление), при их использовании скобками обозначается приоритет выполнения операций.

Требования к названиям функций:

• Должно быть уникально в рамках коррелятора.
• Должно содержать от 1 до 128 символов в кодировке Unicode.
• Не может начинаться с символа $.
• Должно быть написано в camelCase или CamelCase.

Особенности указания функций переменных:

• Последовательность указания параметров имеет значение.
• Параметры передаются через запятую: ,.
• Строковые параметры передаются в одинарных кавычках: '.
• Наименования полей событий и переменные указываются без кавычек.
• При обращении к переменной как параметру перед ее названием необходимо добавлять символ $.
• Ставить пробел между параметрами необязательно.
• Во всех функциях, где в качестве параметров допускается использование переменной, допускается создавать вложенные функции.

Функции переменных

Операции с активными листами и словарями

Функции "active_list" и "active_list_dyn"

Функции позволяют получать информацию из активного листа и динамически формировать имя поля активного листа и ключа.

Необходимо указать параметры в следующей последовательности:

1. название активного листа;
2. выражение, возвращающее название поля активного листа;
3. одно или несколько выражений, из результатов которых будет составлен ключ.

   Пример использования	Результат выполнения
   active_list('Test', to_lower('DeviceHostName'), to_lower(DeviceCustomString2), to_lower(DeviceCustomString1))	Получение значения поля активного листа.

С помощью этих функций из переменной можно обратиться к активному листу общего тенанта. Для этого после названия активного листа необходимо добавить суффикс @Shared (регистр имеет значение). Например, active_list('exampleActiveList@Shared', 'score', SourceAddress,SourceUserName).

Функция "table_dict"

Получение информации о значении в указанном столбце словаря типа таблица.

Необходимо указать параметры в следующей последовательности:

1. название словаря;
2. название столбца словаря;
3. одно или несколько выражений, из результатов которых будет составлен ключ строки словаря.

   Пример использования	Результат выполнения
   table_dict('exampleTableDict', 'office', SourceUserName)	Получение данных из словаря exampleTableDict из строки с ключом SourceUserName из столбца office.
   table_dict('exampleTableDict', 'office', SourceAddress, to_lower(SourceUserName))	Получение данных из словаря exampleTableDict из строки с составным ключом из значения поля SourceAddress и значения поля SourceUserName в нижнем регистре из столбца office.

С помощью этой функции из переменной можно обратиться к словарю общего тенанта. Для этого после названия активного листа необходимо добавить суффикс @Shared (регистр имеет значение). Например, table_dict('exampleTableDict@Shared', 'office', SourceUserName).

Функция "dict"

Получение информации о значении в указанном столбце словаря типа словарь.

Необходимо указать параметры в следующей последовательности:

1. название словаря;
2. одно или несколько выражений, из результатов которых будет составлен ключ строки словаря.

   Пример использования	Результат выполнения
   dict('exampleDictionary', SourceAddress)	Получение данных из словаря exampleDictionary из строки с ключом SourceAddress.
   dict('exampleDictionary', SourceAddress, to_lower(SourceUserName))	Получение данных из словаря exampleDictionary из строки с составным ключом из значения поля SourceAddress и значения поля SourceUserName в нижнем регистре.

С помощью этой функции из переменной можно обратиться к словарю общего тенанта. Для этого после названия активного листа необходимо добавить суффикс @Shared (регистр имеет значение). Например, dict('exampleDictionary@Shared', SourceAddress).

Операции со строками

Функция "len"

Возвращает число символов в строке.

Строку можно передать строкой, названием поля или переменной.

Функция "to_lower"

Перевод символов в строке в нижний регистр.

Строку можно передать строкой, названием поля или переменной.

Функция "to_upper"

Перевод символов в строке в верхний регистр. Строку можно передать строкой, названием поля или переменной.

Функция "append"

Добавление символов в конец строки.

Необходимо указать параметры в следующей последовательности:

1. исходная строка;
2. добавляемая строка.

Строки можно передать строкой, названием поля или переменной.

Функция "prepend"

Добавление символов в начало строки.

Необходимо указать параметры в следующей последовательности:

1. исходная строка;
2. добавляемая строка.

Строки можно передать строкой, названием поля или переменной.

Функция "substring"

Возвращает подстроку из строки. 

Необходимо указать параметры в следующей последовательности:

1. исходная строка;
2. позиция начала подстроки (натуральное число или 0);
3. (необязательно) позиция конца подстроки.

Строки можно передать строкой, названием поля или переменной. Если номер позиции больше, чем длина строки исходных данных, возвращается пустая строка.

Функция "tr"

Убирает из начала и конца строки указанные символы.

Необходимо указать параметры в следующей последовательности:

1. исходная строка;
2. (необязательно) строка, которую следует удалить из начала и конца исходной строки.

Строки можно передать строкой, названием поля или переменной. Если строку на удаление не указать, в начале и в конце исходной строки будут удалены пробелы.

Функция "replace"

Замена в строке всех вхождений последовательности символов А на последовательность символов B.

Необходимо указать параметры в следующей последовательности:

1. исходная строка;
2. строка поиска: последовательность символов, подлежащая замене;
3. строка замены: последовательность символов, на которую необходимо заменить строку поиска.

Строки можно передать выражением.

Функция "regexp_replace"

Замена в строке последовательности символов, удовлетворяющих регулярному выражению, на последовательность символов и группы захвата регулярного выражения.

Необходимо указать параметры в следующей последовательности:

1. исходная строка;
2. строка поиска: регулярное выражение;
3. строка замены: последовательность символов, на которую необходимо заменить строку поиска, и идентификаторы групп захвата регулярного выражения. Строку можно передать выражением.

Строки можно передать строкой, названием поля или переменной. Допускается использовать неименованные группы захвата.

В регулярных выражениях, используемых в функциях переменных, каждый символ обратной косой черты необходимо дополнительно экранировать. Например, вместо регулярного выражения ^example\\ необходимо указывать выражение ^example\\\\.

Функция "regexp_capture"

Получение из исходной строки результата, удовлетворяющего условию регулярного выражения.

Необходимо указать параметры в следующей последовательности:

1. исходная строка;
2. строка поиска: регулярное выражение.

Строки можно передать строкой, названием поля или переменной. Допускается использовать неименованные группы захвата.

В регулярных выражениях, используемых в функциях переменных, каждый символ обратной косой черты необходимо дополнительно экранировать. Например, вместо регулярного выражения ^example\\ необходимо указывать выражение ^example\\\\.

Операции с метками времени

Функция now

Получение временной метки в формате epoch. Запускается без аргументов.

Функция "extract_from_timestamp"

Получение атомарных представлений времени (в виде год, месяц, день, час, минута, секунда, день недели) из полей и переменных с временем в формате epoch.

Параметры необходимо указать в следующей последовательности:

1. Поле события, имеющего тип timestamp, или переменная.
2. Обозначение атомарного представления времени. Параметр регистрозависимый.

   Возможные варианты обозначения атомарного времени:

   • y – год в виде числа.
   • M – месяц, числовое обозначение.
   • d – число месяца.
   • wd – день недели: Monday, Tuesday, Wednesday, Thursday, Friday, Saturday, Sunday.
   • h – часы в 24-часовом формате.
   • m – минуты.
   • s – секунды.
3. (необязательно) Обозначение часового пояса. Если параметр не указан, время высчитывается в формате UTC.

   Примеры использования

   extract_from_timestamp(Timestamp, 'wd')

   extract_from_timestamp(Timestamp, 'h')

   extract_from_timestamp($otherVariable, 'h')

   extract_from_timestamp(Timestamp, 'h', 'Europe/Moscow')

Функция "parse_timestamp"

Представление времени из формата RFC3339 (например, "2022-05-24 00:00:00", "2022-05-24 00:00:00+0300) в формат epoch.

Функция "format_timestamp"

Представление времени из формата epoch в формат RFC3339.

Параметры необходимо указать в следующей последовательности:

1. Поле события, имеющего тип timestamp, или переменная.
2. Обозначение формата времени: RFC3339.
3. (необязательно) Обозначение часового пояса. Если параметр не указан, время высчитывается в формате UTC.

   Примеры использования

   format_timestamp(Timestamp, 'RFC3339')

   format_timestamp($otherVariable, 'RFC3339')

   format_timestamp(Timestamp, 'RFC3339', 'Europe/Moscow')

Функция "truncate_timestamp"

Округление времени в формате epoch. После округления время возвращается в формате epoch. Время округляется в меньшую сторону.

Параметры необходимо указать в следующей последовательности:

1. Поле события, имеющего тип timestamp, или переменная.
2. Параметр округления:
   • 1s – округление до секунд;
   • 1m – округление до минут;
   • 1h – округление до часов;
   • 24h – округление до суток.
3. (необязательно) Обозначение часового пояса. Если параметр не указан, время высчитывается в формате UTC.

   Примеры использования	Примеры округляемых значений	Результат использования
   truncate_timestamp(Timestamp, '1m')	1654631774175 (7 June 2022 г., 19:56:14.175)	1654631760000 (7 June 2022 г., 19:56:00)
   truncate_timestamp($otherVariable, '1h')	1654631774175 (7 June 2022 г., 19:56:14.175)	1654628400000 (7 June 2022 г., 19:00:00)
   truncate_timestamp(Timestamp, '24h', 'Europe/Moscow')	1654631774175 (7 June 2022 г., 19:56:14.175)	1654560000000 (7 June 2022 г., 0:00:00)

Функция "time_diff"

Получение интервала времени между двумя метками времени в формате epoch.

Параметры необходимо указать в следующей последовательности:

1. Время конца отрезка. Поле события, имеющего тип timestamp, или переменная.
2. Время начала отрезка. Поле события, имеющего тип timestamp, или переменная.
3. Представление временного интервала:
   • ms – в миллисекундах;
   • s – в секундах;
   • m – в минутах;
   • h – в часах;
   • d – в днях.

   Примеры использования

   time_diff(EndTime, StartTime, 's')

   time_diff($otherVariable, Timestamp, 'h')

   time_diff(Timestamp, DeviceReceiptTime, 'd')

Математические операции

Представлены как простейшими математическими операциями, так и функциями.

Простейшие математические операции

Операции:

• сложение;
• вычитание;
• умножение;
• деление;
• деление по модулю.

Использование круглых скобок определяет последовательность действий

Доступные аргументы:

• числовые поля события;
• числовые переменные;
• вещественные числа.

  При делении по модулю в качестве аргументов можно использовать только натуральные числа.

Ограничения использования:

• деление на ноль возвращает ноль;
• математические операции между числами и строками возвращают ноль;
• целые числа, полученные в результате операций, возвращаются без точки.

  Примеры использования (Type=3; otherVariable=2; Message=text)	Результат использования
  Type + 1	4
  $otherVariable - Type	-1
  2 * 2.5	5
  2 / 0	0
  Type * Message	0
  (Type + 2) * 2	10
  Type % $otherVariable	1

Функция "round"

Округление чисел. 

Доступные аргументы:

• числовые поля события;
• числовые переменные;
• числовые константы.

  Примеры использования (DeviceCustomFloatingPoint1=7.75; DeviceCustomFloatingPoint2=7.5 otherVariable=7.2)	Результат использования
  round(DeviceCustomFloatingPoint1)	8
  round(DeviceCustomFloatingPoint2)	8
  round($otherVariable)	7

Функция "ceil"

Округление чисел в большую сторону.

Доступные аргументы:

• числовые поля события;
• числовые переменные;
• числовые константы.

  Примеры использования (DeviceCustomFloatingPoint1=7.15; otherVariable=8.2)	Результат использования
  ceil(DeviceCustomFloatingPoint1)	8
  ceil($otherVariable)	9

Функция "floor"

Округление чисел в меньшую сторону.

Доступные аргументы:

• числовые поля события;
• числовые переменные;
• числовые константы.

  Примеры использования (DeviceCustomFloatingPoint1=7.15; otherVariable=8.2)	Результат использования
  floor(DeviceCustomFloatingPoint1)	7
  floor($otherVariable)	8

Функция "abs"

Получение числа по модулю.

Доступные аргументы:

• числовые поля события;
• числовые переменные;
• числовые константы.

  Примеры использования (DeviceCustomNumber1=-7; otherVariable=-2)	Результат использования
  abs(DeviceCustomFloatingPoint1)	7
  abs($otherVariable)	2

Функция "pow"

Возведение числа в степень.

Параметры необходимо указать в следующей последовательности:

1. База – вещественные числа.
2. Степень – натуральные числа.

Доступные аргументы:

• числовые поля события;
• числовые переменные;
• числовые константы.

  Примеры использования

  pow(DeviceCustomNumber1, DeviceCustomNumber2)

  pow($otherVariable, DeviceCustomNumber1)

Функция "str_join"

Позволяет объединить несколько строк в одну с использованием разделителя.

Параметры необходимо указать в следующей последовательности:

1. Разделитель. Строка.
2. Строка1, строка2, строкаN. Минимум 2 выражения.

   Примеры использования	Результат использования
   str_join('|', to_lower(Name), to_upper(Name), Name)	Строка.

Функция "conditional"

Позволяет получить одно значения в случае выполнения условия и другое значение, если условие не выполнится.

Параметры необходимо указать в следующей последовательности:

1. Условие. Строка. Синтаксис аналогичен условиям в SQL Where. В условии можно использовать функции переменных KUMA и ссылаться на другие переменные.
2. Значение при выполнении условия. Выражение.
3. Значение при невыполнении условия. Выражение.

Поддерживаемые операторы:

• AND
• OR
• NOT
• =
• !=
• <
• <=
• >
• >=
• LIKE (передается регулярное выражение RE2, а не SQL-выражение)
• ILIKE (передается регулярное выражение RE2, а не SQL-выражение)
• BETWEEN
• IN
• IS NULL (проверка на пустое значение, например 0 или пустую строку)

  Примеры использования (значение зависит от аргументов 2 и 3)

  conditional('SourceUserName = \\'root\\' AND DestinationUserName = SourceUserName', 'match', 'no match')

  conditional(`DestinationUserName ILIKE 'svc_.*'`, 'match', 'no match')

  conditional(`DestinationUserName NOT LIKE 'svc_.*'`, 'match', 'no match')

Объявление переменных

Для объявления переменных их необходимо добавить в коррелятор или правило корреляции.

Чтобы добавить глобальную переменную в существующий коррелятор:

1. В веб-интерфейсе KUMA в разделе Ресурсы → Корреляторы выберите набор ресурсов нужного коррелятора.

   Откроется мастер установки коррелятора.

2. Выберите шаг мастера установки Глобальные переменные.
3. Нажмите на кнопку Добавить переменную и укажите следующие параметры:
   • В окне Переменная введите название переменной.

     Требования к наименованию переменных

     • Должно быть уникально в рамках коррелятора.
     • Должно содержать от 1 до 128 символов в кодировке Unicode.
     • Не может начинаться с символа $.
     • Должно быть написано в camelCase или CamelCase.
   • В окне Значение введите функцию переменной.

     Описание функций переменных.

   Переменных можно добавить несколько. Добавленные переменные можно изменить или удалить с помощью значка .

4. Выберите шаг мастера установки Проверка параметров и нажмите Сохранить.

Глобальная переменная добавлена в коррелятор. К ней можно обращаться, как к полю события, указывая перед названием переменной символ $. Переменная будет использоваться при корреляции после перезапуска сервиса коррелятора.

Чтобы добавить локальную переменную в существующее правило корреляции:

1. В веб-интерфейсе KUMA в разделе Ресурсы → Правила корреляции выберите нужное правило корреляции.

   Откроется окно параметров правила корреляции. Параметры правила корреляции можно также открыть из коррелятора, в которое оно было добавлено, перейдя на шаг мастера установки Корреляция.

2. Откройте закладку Селекторы.
3. В селекторе откройте закладку Локальные переменные, нажмите на кнопку Добавить переменную и укажите следующие параметры:
   • В окне Переменная введите название переменной.

     Требования к наименованию переменных

     • Должно быть уникально в рамках коррелятора.
     • Должно содержать от 1 до 128 символов в кодировке Unicode.
     • Не может начинаться с символа $.
     • Должно быть написано в camelCase или CamelCase.
   • В окне Значение введите функцию переменной.

     Описание функций переменных.

   Переменных можно добавить несколько. Добавленные переменные можно изменить или удалить с помощью значка .

   Для правил корреляции типа standard повторите этот шаг для каждого селектора, в которым вы хотите объявить переменные.

4. Нажмите Сохранить.

Локальная переменная добавлена в правило корреляции. К ней можно обращаться, как к полю события, указывая перед названием переменной символ $. Переменная будет использоваться при корреляции после перезапуска сервиса коррелятора.

Добавленные переменные можно изменить или удалить. Если правило корреляции обращается к необъявленной переменной (например, если ее название было изменено), в качестве результата возвращается пустая строка.

Если вы измените название переменной, вам потребуется вручную изменить название этой переменной во всех правилах корреляции, где вы ее использовали.