Коллектор

Коллектор – это компонент программы, который получает сообщения из источников событий, обрабатывает их и передает в хранилище, коррелятор и/или сторонние сервисы для выявления алертов.

Для каждого коллектора нужно настроить один коннектор и один нормализатор. Вы также можете настроить любое количество дополнительных нормализаторов, фильтров, правил обогащения и правил агрегации. Для того чтобы коллектор мог отправлять нормализованные события в другие сервисы, необходимо добавить точки назначения. Как правило, используются две точки назначения: хранилище и коррелятор.

Алгоритм работы коллектора состоит из следующих этапов:

1. Получение сообщений из источников событий

   Для получения сообщений требуется настроить активный или пассивный коннектор. Пассивный коннектор только ожидает события от указанного источника, а активный – инициирует подключение к источнику событий, например к системе управления базами данных.

   Коннекторы различаются по типу. Выбор типа коннектора зависит от транспортного протокола для передачи сообщений. Например, для источника событий, передающего сообщения по протоколу TCP, необходимо установить коннектор типа TCP.

   В программе доступны следующие типы коннекторов:

   • internal;
   • tcp;
   • udp;
   • netflow;
   • sflow;
   • nats;
   • kafka;
   • http;
   • sql;
   • file;
   • diode;
   • ftp;
   • nfs;
   • wmi;
   • wec;
   • snmp.
2. Парсинг и нормализация событий

   События, полученные коннектором, обрабатываются с помощью парсера и правил нормализации, заданных пользователем. Выбор нормализатора зависит от формата сообщений, получаемых из источника события. Например, для источника, отправляющего события в формате CEF, необходимо выбрать нормализатор типа CEF.

   В программе доступны следующие нормализаторы:

   • JSON.
   • CEF.
   • Regexp.
   • Syslog (как для RFC3164 и RFC5424).
   • CSV.
   • Ключ-значение.
   • XML.
   • NetFlow v5.
   • NetFlow v9.
   • IPFIX (v10).
3. Фильтрация нормализованных событий

   Вы можете настроить фильтры, которые позволяют отсеивать события, удовлетворяющие заданным условиям. События, не удовлетворяющие условиям фильтрации, будут отправляться на обработку.

4. Обогащение и преобразование нормализованных событий

   Правила обогащения позволяют дополнить содержащуюся в событии информацию данными из внутренних и внешних источников. В программе представлены следующие источники обогащения:

   • константы;
   • cybertrace;
   • словари;
   • dns;
   • события;
   • ldap;
   • шаблоны;
   • данные о часовых поясах;
   • геоданные.

   Правила преобразования позволяют преобразовать содержимое события в соответствии с заданными условиями. В программе представлены следующие методы преобразования:

   • lower – перевод всех символов в нижний регистр;
   • upper – перевод всех символов в верхний регистр;
   • regexp – извлечение подстроки с использованием регулярных выражений RE2;
   • substring – выбор текстовых строк по заданным номерам позиции;
   • replace – замена текста введенной строкой;
   • trim – удаление заданных символов;
   • append – добавление символов в конец значения поля;
   • prepend – добавление символов в начало значения поля.
5. Агрегация нормализованных событий

   Вы можете настроить правила агрегации, чтобы уменьшить количество схожих сообщений, передаваемых в хранилище и/или коррелятор. Например, можно агрегировать в одно событие все сообщения о сетевых подключениях, выполненных по одному и тому же протоколу (транспортного и прикладного уровней) между двумя IP-адресами и полученных в течение заданного интервала времени. Если настроены правила агрегации, несколько сообщений могут обрабатываться и сохраняться как одно событие. Это помогает снизить нагрузку на сервисы, которые отвечают за дальнейшую обработку событий, экономит место для хранения и экономит частоту обработки событий (EPS).

6. Передача нормализованных событий

   По завершении всех этапов обработки событие отправляется в настроенные точки назначения.

В начало