Создание набора ресурсов для хранилища

Сервис хранилища в веб-интерфейсе KUMA создается на основе набора ресурсов для хранилища.

Чтобы создать набор ресурсов для хранилища в веб-интерфейсе KUMA:

1. В веб-интерфейсе KUMA в разделе Ресурсы → Хранилища нажмите Добавить хранилище.

   Откроется окно Создание хранилища.

2. На вкладке Основные параметры в поле Название хранилища введите уникальное имя создаваемого сервиса. Название должно содержать от 1 до 128 символов в кодировке Unicode.
3. В раскрывающемся списке Тенант выберите тенант, которому будет принадлежать хранилище.
4. В поле Описание можно добавить описание сервиса: до 256 символов в кодировке Unicode.
5. В поле Срок хранения укажите, в течение какого количества дней с момента поступления вы хотите хранить события в кластере ClickHouse. По истечении указанного срока события будут автоматически удалены из кластера ClickHouse. Если настроено холодное хранение событий и срок хранения событий в кластере ClickHouse истек, данные переносятся на диски холодного хранения. Если диск холодного хранения настроен неверно, данные удаляются.
6. В поле Срок хранения событий аудита укажите, в течение какого количества дней вы хотите хранить события аудита. Минимальное значение и значение по умолчанию: 365.
7. При необходимости холодного хранения данных введите сроки хранения событий:
   • Срок холодного хранения – количество дней хранения событий. Минимальное значение – 1.
   • Срок холодного хранения событий аудита – количество дней хранения событий аудита. Минимальное значение – 0.
8. С помощью переключателя Отладка укажите, будет ли включено логирование ресурса. Значение по умолчанию: Выключено - это означает, что для всех компонентов KUMA в журнале регистрируются только ошибки. Если вы хотите получать детализированные данные в журналах, выберите значение Включено.
9. При необходимости изменения параметров ClickHouse в поле Переопределение параметров ClickHouse вставьте строки c параметрами из XML-файла конфигурации ClickHouse /opt/kaspersky/kuma/clickhouse/cfg/config.xml. Указание корневых элементов <yandex>, </yandex> не требуется. Переданные в поле параметры конфигурации будут использоваться вместо параметров по умолчанию.

   Пример:

   <merge_tree>

   <parts_to_delay_insert>600</parts_to_delay_insert>

   <parts_to_throw_insert>1100</parts_to_throw_insert>

   </merge_tree>

10. При необходимости в разделе Пространства добавьте в хранилище пространства, по которым вы хотите распределять хранимые события.

    Пространств может быть несколько. Пространства можно добавить с помощью кнопки Добавить пространство и удалить с помощью кнопки Удалить пространство.

    Доступные параметры:

    • В поле Название укажите название пространства: от 1 до 128 символов в кодировке Unicode.
    • В поле Срок хранения укажите количество дней, в течение которых события будут храниться в кластере ClickHouse.
    • При необходимости в поле Срок холодного хранения укажите количество дней, в течение которого события должны находиться на холодном хранении. Минимальное значение – 1.
    • В разделе Фильтр можно задать условия определения событий, которые будут помещаться в это пространство. В раскрывающемся списке можно выбрать существующий фильтр или Создать новый фильтр.

      Создание фильтра в ресурсах

      1. В раскрывающемся списке Фильтр выберите Создать.
      2. Если вы хотите сохранить фильтр в качестве отдельного ресурса, установите флажок Сохранить фильтр.

         В этом случае вы сможете использовать созданный фильтр в разных сервисах.

         По умолчанию флажок снят.

      3. Если вы установили флажок Сохранить фильтр, в поле Название введите название для создаваемого ресурса фильтра. Название должно содержать от 1 до 128 символов в кодировке Unicode.
      4. В блоке параметров Условия задайте условия, которым должны соответствовать события:
         1. Нажмите на кнопку Добавить условие.
         2. В раскрывающихся списках Левый операнд и Правый операнд укажите параметры поиска.

            В зависимости от источника данных, выбранного в поле Правый операнд, могут отобразиться поля дополнительных параметров, с помощью которых вам нужно определить значение, которое будет передано в фильтр. Например, при выборе варианта активный лист потребуется указать название активного листа, ключ записи и поле ключа записи.

         3. В раскрывающемся списке оператор выберите нужный вам оператор.

            Операторы фильтров

            • = – левый операнд равен правому операнду.
            • < – левый операнд меньше правого операнда.
            • <= – левый операнд меньше или равен правому операнду.
            • > – левый операнд больше правого операнда.
            • >= – левый операнд больше или равен правому операнду.
            • inSubnet – левый операнд (IP-адрес) находится в подсети правого операнда (подсети).
            • contains – левый операнд содержит значения правого операнда.
            • startsWith – левый операнд начинается с одного из значений правого операнда.
            • endsWith – левый операнд заканчивается одним из значений правого операнда.
            • match – левый операнд соответствует регулярному выражению правого операнда. Используются регулярные выражения RE2.
            • hasBit – установлены ли в левом операнде (в строке или числе), биты, позиции которых перечислены в правом операнде (в константе или в списке).

              Проверяемое значение переводится в двоичную систему счисления, после чего рассматривается справа налево. Проверяются символы, индекс которых указан в качестве константы или списка.

              Если проверяемое значение – это строка, то производится попытка перевести ее в целое число и обработать указанным выше способом. Если перевести строку в число невозможно, фильтр возвращает False.

            • hasVulnerability – находится ли в левом операнде актив с уязвимостью и уровнем важности уязвимости, указанными в правом операнде.

              Если идентификатор и значение важности уязвимости не указать, фильтр будет срабатывать при наличии любых уязвимостей у актива в проверяемом событии.

            • inActiveList – этот оператор имеет только один операнд. Его значения выбираются в поле Ключевые поля и сравниваются с записями активного листа, выбранного в раскрывающемся списке активных листов.
            • inDictionary – присутствует ли в указанном словаре запись, соответствующая ключу, составленному из значений выбранных полей события.
            • inCategory – активу в левом операнде назначена по крайней мере одна из категорий активов правого операнда.
            • inActiveDirectoryGroup – учетная запись Active Directory в левом операнде принадлежит одной из групп Active Directory в правом операнде.
            • TIDetect – этот оператор используется для поиска событий с данными CyberTrace Threat Intelligence (TI). Этот оператор можно использовать только на событиях, прошедших обогащение данными из CyberTrace Threat Intelligence, то есть только в коллекторах на этапе выбора точки назначения и в корреляторах.
            • inContextTable – присутствует ли в указанной контекстной таблице запись.
            • intersect – находятся ли в левом операнде элементы списка, указанные в списке в правом операнде.
         4. При необходимости установите флажок без учета регистра. В этом случае оператор игнорирует регистр значений.

            Действие флажка не распространяется на операторы InSubnet, InActiveList, InCategory, InActiveDirectoryGroup.

            По умолчанию флажок снят.

         5. Если вы хотите добавить отрицательное условие, в раскрывающемся списке Если выберите Если не.
         6. Вы можете добавить несколько условий или группу условий.
      5. Если вы добавили несколько условий или групп условий, выберите условие отбора (и, или, не), нажав на кнопку И.
      6. Если вы хотите добавить уже существующие фильтры, которые выбираются в раскрывающемся списке Выберите фильтр, нажмите на кнопку Добавить фильтр.

         Параметры вложенного фильтра можно просмотреть, нажав на кнопку .

    После создания сервиса пространства можно просматривать и удалять в параметрах набора ресурсов хранилища.

    Нет необходимости создавать отдельное пространство для событий аудита. События этого типа (Type=4) автоматически помещаются в отдельное пространство Audit со сроком хранения не менее 365 дней, которое недоступно для редактирования или удаления из веб-интерфейса KUMA.

11. При необходимости в разделе Диски холодного хранения добавьте в хранилище диски, на которые вы хотите переносить события на длительное хранение из кластера ClickHouse.

    Дисков может быть несколько. Диски можно добавить с помощью кнопки Добавить диск и удалить с помощью кнопки Удалить диск.

    Доступные параметры:

    • В раскрывающемся списке Тип выберите тип подключаемого диска:
      • Локальный – для дисков, смонтированных в операционной системе как директории.
      • HDFS – для дисков распределенной файловой системы Hadoop Distributed File System.
    • В поле Название укажите название диска. Название должно содержать от 1 до 128 символов в кодировке Unicode.
    • Если в качестве типа диска вы выбрали Локальный, в поле Путь введите абсолютный путь директории смонтированного локального диска. Путь должен начинаться и оканчиваться символом "/".
    • Если в качестве типа диска вы выбрали HDFS, в поле Хост введите путь к HDFS. Например: hdfs://hdfs1:9000/clickhouse/.
12. При необходимости в разделе Узлы кластера ClickHouse добавьте в хранилище узлы кластера ClickHouse.

    Узлов может быть несколько. Узлы можно добавить с помощью кнопки Добавить узел и удалить с помощью кнопки Удалить узел.

    Доступные параметры:

    • В поле Полное доменное имя укажите FQDN добавляемого узла. Например, kuma-storage-cluster1-server1.example.com.
    • В полях идентификаторов шарда, реплики и кипера укажите роль узла в кластере ClickHouse. Идентификаторы шарда и кипера должны быть уникальными в рамках кластера, идентификатор реплики должен быть уникальным в рамках шарда. Ниже показан пример заполнения раздела Узлы кластера ClickHouse для хранилища с выделенными киперами в распределенной схеме установки. Вы можете адаптировать пример для своих потребностей.

      

      Схема распределенной установки

      Пример:

      Узлы кластера ClickHouse

      Полное доменное имя: kuma-storage-cluster1-server1.example.com

      Идентификатор шарда: 0

      Идентификатор реплики: 0

      Идентификатор кипера: 1

      Полное доменное имя: kuma-storage-cluster1server2.example.com

      Идентификатор шарда: 0

      Идентификатор реплики: 0

      Идентификатор кипера: 2

      Полное доменное имя: kuma-storage-cluster1server3.example.com

      Идентификатор шарда: 0

      Идентификатор реплики: 0

      Идентификатор кипера: 3

      Полное доменное имя: kuma-storage-cluster1server4.example.com

      Идентификатор шарда: 1

      Идентификатор реплики: 1

      Идентификатор кипера: 0

      Полное доменное имя: kuma-storage-cluster1server5.example.com

      Идентификатор шарда: 1

      Идентификатор реплики: 2

      Идентификатор кипера: 0

      Полное доменное имя: kuma-storage-cluster1server6.example.com

      Идентификатор шарда: 2

      Идентификатор реплики: 1

      Идентификатор кипера: 0

      Полное доменное имя: kuma-storage-cluster1server7.example.com

      Идентификатор шарда: 2

      Идентификатор реплики: 2

      Идентификатор кипера: 0

13. Начиная с версии 2.1.3 доступна вкладка Дополнительные параметры. На вкладке Дополнительные параметры в поле Размер буфера укажите размер буфера в байтах, при достижении которого следует передать события в базу. Значение по умолчанию — 64 МБ. Максимального значения нет. Если на виртуальной машине меньше свободной памяти, чем заданное значение Размер буфера, KUMA установит ограничение в 128 МБ.
14. На вкладке Дополнительные параметры в поле Интервал очистки буфера укажите интервал в секундах, в течение которого KUMA будет ждать заполнения буфера. Если буфер не заполнен, но указанное время прошло, KUMA передает события в базу. Значение по умолчанию 1 с.
15. На вкладке Дополнительные параметры в поле Размер дискового буфера укажите значение в байтах. Дисковый буфер используется для временного размещения тех событий, которые не удалось отправить для дальнейшей обработки или хранения. Если выделенное под дисковый буфер дисковое пространство исчерпано, события ротируются по следующему правилу: новые события замещают самые старые события, записанные в буфер. Значение по умолчанию: 10 ГБ.
16. На вкладке Дополнительные параметры в раскрывающемся списке Дисковый буфер выберите значение, с помощью которого можно Включить или Выключить использование дискового буфера. По умолчанию дисковый буфер включен.
17. На вкладке Дополнительные параметры в раскрывающемся списке Запись в локальную таблицу базы данных выберите значение, с помощью которого можно Включить или Выключить запись. По умолчанию запись отключена.

    В режиме Включить запись будет выполняться только на том узле, на котором установлено хранилище. Мы рекомендуем использовать эту функцию только при условии, что у вас настроена балансировка на коллекторе и/или корреляторе: в коллекторе и/или корреляторе на шаге 6. Маршрутизация в разделе Дополнительные настройки в поле Политика выбора URL установлено значение По очереди.

    В режиме Выключить данные распределяются по шардам кластера.

Набор ресурсов для хранилища создан и отображается в разделе Ресурсы → Хранилища. Теперь можно создать сервис хранилища.