Алгоритм работы коллектора

Алгоритм работы коллектора состоит из следующих этапов:

Получение сообщений из источников событий

Коллектор получает сообщения из источников событий через коннекторы. В зависимости от типа коннектора получение данных может выполняться двумя способами:

• пассивный коннектор ожидает поступления событий от источника;
• активный коннектор самостоятельно инициирует подключение к источнику.

Тип коннектора определяется используемым транспортным протоколом обмена данными.

Парсинг и нормализация событий

Полученные сообщения обрабатываются нормализатором и правилами нормализации. В процессе обработки данные из исходного формата преобразуются в унифицированное представление события. Используемый нормализатор определяется форматом входящих сообщений.

Фильтрация нормализованных событий

Нормализованные события проверяются на соответствие условиям фильтрации. События, удовлетворяющие заданным условиям, передаются на последующие этапы обработки.

Обогащение и преобразование нормализованных событий

На этапе обогащения события дополняются данными из внутренних и внешних источников.

На этапе преобразования значения полей события изменяются в соответствии с заданными правилами преобразования.

Агрегация нормализованных событий

Схожие события могут объединяться в одно агрегированное событие в соответствии с правилами агрегации. Это позволяет уменьшить объем передаваемых и хранимых данных, снизить нагрузку на сервисы дальнейшей обработки и сократить потребление лицензионной квоты (EPS). Например, несколько событий сетевых подключений между двумя IP-адресами, полученных за определенный интервал времени, могут быть объединены в одно событие.

Передача нормализованных событий

После завершения всех этапов обработки событие передается в настроенные точки назначения для дальнейшего хранения.