Коллектор

Коллектор – это компонент программы, который получает сообщения из источников событий, обрабатывает их и передает в хранилище, коррелятор и/или сторонние сервисы для выявления алертов.

Для каждого коллектора нужно настроить один коннектор и один нормализатор. Вы также можете настроить любое количество дополнительных нормализаторов, фильтров, правил обогащения и правил агрегации. Для того чтобы коллектор мог отправлять нормализованные события в другие сервисы, необходимо добавить точки назначения. Как правило, используются две точки назначения: хранилище и коррелятор.

Алгоритм работы коллектора состоит из следующих этапов:

1. Получение сообщений из источников событий

   Для получения сообщений требуется настроить активный или пассивный коннектор. Пассивный коннектор только ожидает события от указанного источника, а активный – инициирует подключение к источнику событий, например к системе управления базами данных.

   Коннекторы различаются по типу. Выбор типа коннектора зависит от транспортного протокола для передачи сообщений. Например, для источника событий, передающего сообщения по протоколу TCP, необходимо установить коннектор типа TCP.

   В программе доступны следующие типы коннекторов:

   • tcp;
   • udp;
   • netflow;
   • sflow;
   • nats-jetstream;
   • kafka;
   • http;
   • sql;
   • file;
   • diode;
   • ftp;
   • nfs;
   • wmi;
   • wec;
   • snmp.
2. Парсинг и нормализация событий

   События, полученные коннектором, обрабатываются с помощью нормализатора и правил нормализации, заданных пользователем. Выбор нормализатора зависит от формата сообщений, получаемых из источника события. Например, для источника, отправляющего события в формате CEF, необходимо выбрать нормализатор типа CEF.

   В программе доступны следующие нормализаторы:

   • JSON;
   • CEF;
   • Regexp;
   • Syslog (как для RFC3164 и RFC5424);
   • CSV;
   • Ключ-значение;
   • XML;
   • NetFlow v5;
   • NetFlow v9;
   • IPFIX (v10).
3. Фильтрация нормализованных событий

   Вы можете настроить фильтры, которые позволяют отсеивать события, удовлетворяющие заданным условиям. События, не удовлетворяющие условиям фильтрации, будут отправляться на обработку.

4. Обогащение и преобразование нормализованных событий

   Правила обогащения позволяют дополнить содержащуюся в событии информацию данными из внутренних и внешних источников. В программе представлены следующие источники обогащения:

   • константы;
   • cybertrace;
   • словари;
   • dns;
   • события;
   • ldap;
   • шаблоны;
   • данные о часовых поясах;
   • геоданные.

   Правила преобразования позволяют преобразовать содержимое поля события в соответствии с заданными условиями. В программе представлены следующие методы преобразования:

   • lower – перевод всех символов в нижний регистр;
   • upper – перевод всех символов в верхний регистр;
   • regexp – извлечение подстроки с использованием регулярных выражений RE2;
   • substring – получение подстроки по заданным номерам начальной и конечной позиции;
   • replace – замена текста введенной строкой;
   • trim – удаление заданных символов;
   • append – добавление символов в конец значения поля;
   • prepend – добавление символов в начало значения поля.
5. Агрегация нормализованных событий

   Вы можете настроить правила агрегации, чтобы уменьшить количество схожих событий, передаваемых в хранилище и/или коррелятор. Настройка правил агрегации позволит объединить несколько событий в одно событие. Это помогает снизить нагрузку на сервисы, которые отвечают за дальнейшую обработку событий, сэкономить место для хранения данных и сэкономить лицензионную квоту (EPS). Например, можно агрегировать в одно событие все события сетевых подключений, выполненных по одному и тому же протоколу транспортного и прикладного уровней между двумя IP-адресами и полученных в течение заданного интервала.

6. Передача нормализованных событий

   По завершении всех этапов обработки событие отправляется в настроенные точки назначения.