Создание набора ресурсов для хранилища

Управление Kaspersky Unified Monitoring and Analysis Platform > Руководство администратора > Сервисы KUMA > Создание хранилища > Создание набора ресурсов для хранилища

Создание набора ресурсов для хранилища

Сервис хранилища в веб-интерфейсе KUMA создается на основе набора ресурсов для хранилища.

Чтобы создать набор ресурсов для хранилища в веб-интерфейсе KUMA:

В веб-интерфейсе KUMA в разделе Ресурсы → Хранилища нажмите Добавить хранилище.
Откроется окно Создание хранилища.
На вкладке Основные параметры в поле Название хранилища введите уникальное имя создаваемого сервиса. Имя должно содержать от 1 до 128 символов в кодировке Unicode.
В раскрывающемся списке Тенант выберите тенант, которому будет принадлежать хранилище.
В раскрывающемся списке Теги выберите теги для создаваемого набора ресурсов.
В списке отображаются все доступные теги, созданные в тенанте ресурса и тенанте Shared. Вы может найти тег в списке, начав вводить его название в поле. Если тега, который вы ввели, не существует, вы можете нажать Enter или Добавить, чтобы создать его.
В поле Описание можно добавить описание сервиса: до 256 символов в кодировке Unicode.
В поле Варианты условий хранения выберите для хранилища условие хранения событий в кластере ClickHouse, при выполнении которого события будут переноситься на диски холодного хранения или удаляться, если холодное хранение не настроено или настроено неверно. Условие будет применено к пространству по умолчанию и к событиям из удаленных пространств.
По умолчанию ClickHouse перемещает события на диски холодного хранения или удаляет их, если заполнено более 97% хранилища. В KUMA при создании хранилища также используется дополнительное условие хранения 365 дней. Вы можете настроить пользовательские условия хранения для более устойчивой работы хранилища.

Чтобы задать условие хранения, выполните одно из следующих действий:
- Если вы хотите ограничить срок хранения событий, в раскрывающемся списке выберите Дни и в поле укажите максимальный срок хранения событий в днях в кластере горячего хранилища ClickHouse.
  По истечении указанного срока события будут автоматически перенесены на диски холодного хранения или удалены из кластера ClickHouse, начиная с партиций за самую старую дату. Минимальное значение – 1. Значение по умолчанию – 365.
- Если вы хотите ограничить максимальный размер хранилища, в раскрывающемся списке выберите ГБ и в поле укажите максимальный размер хранилища в гигабайтах.
  Когда размер хранилища достигнет указанного значения, события будут автоматически перенесены на диски холодного хранения или удалены из кластера ClickHouse, начиная с партиций за самую старую дату. Минимальное значение и значение по умолчанию – 1.
- Если вы хотите ограничить размер хранилища относительно объема диска, который доступен хранилищу (по данным VictoriaMetrics), в раскрывающемся списке выберите Проценты и в поле укажите максимальный размер хранилища в процентах от доступного объема диска. В этом случае условие также может сработать при уменьшении доступного хранилищу объема диска.
  Когда размер хранилища достигнет указанной доли от доступного ему размера диска, события будут автоматически перенесены на диски холодного хранения или удалены из кластера ClickHouse, начиная с партиций за самую старую дату. Допустимые значения – от 1 до 95. Значение по умолчанию – 80. Если вы хотите использовать проценты для всех пространств хранилища, сумма процентов в условиях всех пространств не может превышать 95, но рекомендуется указывать ограничение не более 90% включительно для всего хранилища или для отдельных пространств.
  
  Мы не рекомендуем указывать малые значения процентов, так как в этом случае возрастает вероятность потери данных в хранилище.
Для хранилища [ООТВ] Storage по умолчанию установлен срок хранения событий 2 дня. Если вы хотите использовать это хранилище, при необходимости вы можете изменить для него условие хранения событий.
Если вы хотите использовать дополнительное условие хранения, нажмите на кнопку Добавить условие хранения и укажите дополнительное условие хранения, как описано в пункте 6.
Вы можете добавить не более двух условий и сочетать только условия следующих типов:
- дни и размер хранилища в ГБ;
- дни и размер хранилища в процентах.
Если вы хотите удалить условие хранения, нажмите на значок крестика возле этого условия.
В поле Срок хранения событий аудита укажите, в течение какого количества дней вы хотите хранить события аудита. Минимальное значение и значение по умолчанию: 365.
При необходимости холодного хранения данных введите сроки хранения событий:
- Время хранения событий – общая длительность хранения событий в KUMA с момента поступления, в днях. По истечении указанного срока события будут автоматически удалены с диска холодного хранения. Значение по умолчанию – 0.
  Время хранения событий рассчитывается как сумма времени хранения событий в кластере горячего хранилища ClickHouse до наступления условия, заданного в параметре Варианты условий хранения, и времени хранения событий на диске холодного хранения. После наступления одного из условий хранения партиция данных за самую старую дату перемещается на диск холодного хранения и находится там до истечения времени хранения событий в KUMA.
  
  В зависимости от заданного условия хранения время хранения будет следующим:
  - Если вы задали условие хранения в днях, значение параметра Время хранения событий должно быть строго больше количества дней, указанного в условии хранения. Вы можете рассчитать срок холодного хранения событий как Время хранения событий минус количество дней, указанное в параметре Варианты условий хранения.
    Если вы не хотите хранить события на диске холодного хранения, в параметре Время хранения событий вы можете указать такое же количество дней, как в условии хранения.
  - Если вы задали условие хранения в размере диска (точном или в процентах), минимальное значение параметра Время хранения событий – 1. Срок холодного хранения событий будет рассчитан как Время хранения событий минус количество дней с поступления события до момента выполнения условия и заполнения раздела диска, но до выполнения условия невозможно рассчитать точный срок. В этом случае рекомендуется указывать относительно большое значение параметра Время хранения событий, чтобы избежать удаления событий.
    Если вы не хотите хранить события на диске холодного хранения, в параметре Время хранения событий вы можете указать значение 0.
- Срок холодного хранения событий аудита – количество дней хранения событий аудита. Минимальное значение – 0.
Параметры Время хранения событий и Срок холодного хранения событий аудита становятся доступны, только после того как вы добавили хотя бы один диск холодного хранения.
При необходимости изменения параметров ClickHouse в поле Переопределение параметров ClickHouse вставьте строки c параметрами из XML-файла конфигурации ClickHouse /opt/kaspersky/kuma/clickhouse/cfg/config.xml. Указание корневых элементов <yandex>, </yandex> не требуется. Переданные в поле параметры конфигурации будут использоваться вместо параметров по умолчанию.
Пример:

<merge_tree>

<parts_to_delay_insert>600</parts_to_delay_insert>

<parts_to_throw_insert>1100</parts_to_throw_insert>

</merge_tree>
С помощью переключателя Отладка укажите, будет ли включено логирование ресурса. Если вы хотите для всех компонентов KUMA регистрировать в журнале только ошибки, выключите отладку. Если вы хотите получать детализированные данные в журналах, включите отладку.
При необходимости в разделе Узлы кластера ClickHouse добавьте в хранилище узлы кластера ClickHouse.
Узлов может быть несколько. Узлы можно добавить с помощью кнопки Добавить узел и удалить, нажав на значок крестика в блоке нужного узла.

Доступные параметры:
- В поле FQDN укажите полное доменное имя добавляемого узла. Например, kuma-storage-cluster1-server1.example.com.
- В полях Идентификатор шарда, Идентификатор реплики и Идентификатор кипера укажите роль узла в кластере ClickHouse. Идентификаторы шарда и кипера должны быть уникальными в рамках кластера, идентификатор реплики должен быть уникальным в рамках шарда. Ниже показан пример заполнения раздела Узлы кластера ClickHouse для хранилища с выделенными киперами в распределенной схеме установки. Вы можете адаптировать пример для своих потребностей.
  Пример:
  
  Узлы кластера ClickHouse
  
  Полное доменное имя: kuma-storage-cluster1-server1.example.com
  
  Идентификатор шарда: 0
  
  Идентификатор реплики: 0
  
  Идентификатор кипера: 1
  
  Полное доменное имя: kuma-storage-cluster1server2.example.com
  
  Идентификатор шарда: 0
  
  Идентификатор реплики: 0
  
  Идентификатор кипера: 2
  
  Полное доменное имя: kuma-storage-cluster1server3.example.com
  
  Идентификатор шарда: 0
  
  Идентификатор реплики: 0
  
  Идентификатор кипера: 3
  
  Полное доменное имя: kuma-storage-cluster1server4.example.com
  
  Идентификатор шарда: 1
  
  Идентификатор реплики: 1
  
  Идентификатор кипера: 0
  
  Полное доменное имя: kuma-storage-cluster1server5.example.com
  
  Идентификатор шарда: 1
  
  Идентификатор реплики: 2
  
  Идентификатор кипера: 0
  
  Полное доменное имя: kuma-storage-cluster1server6.example.com
  
  Идентификатор шарда: 2
  
  Идентификатор реплики: 1
  
  Идентификатор кипера: 0
  
  Полное доменное имя: kuma-storage-cluster1server7.example.com
  
  Идентификатор шарда: 2
  
  Идентификатор реплики: 2
  
  Идентификатор кипера: 0
  
  Схема распределенной установки
При необходимости в разделе Пространства добавьте в хранилище пространства, по которым вы хотите распределять хранимые события.
Пространств может быть несколько. Пространства можно добавить с помощью кнопки Добавить пространство и удалить, нажав на значок крестика в блоке нужного пространства.

Доступные параметры:
- В поле Название укажите название пространства: от 1 до 128 символов в кодировке Unicode.
- В поле Варианты условий хранения выберите для пространства условие хранения событий в кластере ClickHouse, при выполнении которого события будут переноситься на диски холодного хранения или удаляться, если холодное хранение не настроено или настроено неверно. В KUMA при добавлении пространства используется условие хранения 365 дней.
  Чтобы задать условие хранения для пространства, выполните одно из следующих действий:
  - Если вы хотите ограничить срок хранения событий, в раскрывающемся списке выберите Дни и в поле укажите максимальный срок хранения событий в днях в кластере горячего хранилища ClickHouse.
    По истечении указанного срока события будут автоматически перенесены на диски холодного хранения или удалены из кластера ClickHouse, начиная с партиций за самую старую дату. Минимальное значение – 1. Значение по умолчанию – 365.
  - Если вы хотите ограничить максимальный размер пространства хранилища, в раскрывающемся списке выберите ГБ и в поле укажите максимальный размер пространства в гигабайтах.
    Когда размер пространства достигнет указанного значения, события будут автоматически перенесены на диски холодного хранения или удалены из кластера ClickHouse, начиная с партиций за самую старую дату. Минимальное значение и значение по умолчанию – 1.
  - Если вы хотите ограничить размер пространства хранилища относительно объема диска, который доступен хранилищу (по данным VictoriaMetrics), в раскрывающемся списке выберите Проценты и в поле укажите максимальный размер пространства в процентах от объема диска, доступного хранилищу. В этом случае условие также может сработать при уменьшении доступного хранилищу объема диска.
    Когда размер пространства достигнет указанной доли от объема диска, доступного хранилищу, события будут автоматически перенесены на диски холодного хранения или удалены из кластера ClickHouse, начиная с партиций за самую старую дату. Допустимые значения – от 1 до 95. Значение по умолчанию – 80. Если вы хотите использовать проценты для всех пространств хранилища, сумма процентов в условиях всех пространств не может превышать 95, но рекомендуется указывать ограничение не более 90% включительно для всего хранилища или для отдельных пространств.
    
    Мы не рекомендуем указывать малые значения процентов, так как в этом случае возрастает вероятность потери данных в хранилище.
  При использовании размера в качестве условия хранения требуется следить, чтобы суммарный размер пространств, указанный в условиях хранения не превышал физический размер хранилища, иначе при запуске сервиса отобразится ошибка.
  
  В условиях хранения с ограничением размера для всех пространствах хранилища используйте одинаковые единицы изменения (только в гигабайтах или только в процентах). Иначе, если для одного пространства условие задано в процентах, а для другого в гигабайтах, хранилище может переполниться из-за несоответствия значений и данные будут потеряны.
- При необходимости сделать пространство неактивным в случае, если оно устарело и больше не является актуальным, установите флажок Только для чтения.
  В этом случае новые события больше не будут попадать в пространство. Чтобы снова сделать пространство активным, снимите флажок Только для чтения. По умолчанию флажок снят.
- При необходимости в поле Время хранения событий укажите общую длительность хранения событий в KUMA с момента поступления, в днях. По истечении указанного срока события будут автоматически удалены с диска холодного хранения. Значение по умолчанию – 0.
  Время хранения событий рассчитывается как сумма времени хранения событий в кластере горячего хранилища ClickHouse до наступления условия, заданного в параметре Варианты условий хранения, и времени хранения событий на диске холодного хранения. После наступления одного из условий хранения партиция данных за самую старую дату перемещается на диск холодного хранения и находится там до истечения времени хранения событий в KUMA.
  
  В зависимости от заданного условия хранения время хранения будет следующим:
  - Если вы задали условие хранения в днях, значение параметра Время хранения событий должно быть строго больше количества дней, указанного в условии хранения. Срок холодного хранения событий будет рассчитан как Время хранения событий минус количество дней, указанное в параметре Варианты условий хранения.
    Если вы не хотите хранить события из этого пространства на диске холодного хранения, в параметре Время хранения событий вы можете указать такое же количество дней, как в условии хранения.
  - Если вы задали условие хранения в размере диска (точном или в процентах), минимальное значение параметра Время хранения событий – 1. Срок холодного хранения событий будет рассчитан как Время хранения событий минус количество дней с поступления события до момента выполнения условия и заполнения раздела диска, но до выполнения условия невозможно рассчитать точный срок. В этом случае рекомендуется указывать относительно большое значение параметра Время хранения событий, чтобы избежать удаления событий.
    Если вы не хотите хранить события из этого пространства на диске холодного хранения, в параметре Время хранения событий вы можете указать значение 0.
  Параметр Время хранения событий становится доступен, только после того как вы добавили хотя бы один диск холодного хранения.
- В разделе Параметры фильтра можно задать условия определения событий, которые будут помещаться в это пространство. Чтобы создать фильтр, в раскрывающемся списке Фильтр выберите существующий фильтр или Создать.
  Создание фильтра в ресурсах
  1. В раскрывающемся списке Фильтр выберите Создать.
  2. Если хотите сохранить фильтр в качестве отдельного ресурса, установите флажок Сохранить фильтр.
    В этом случае вы сможете использовать созданный фильтр в разных сервисах.
    
    По умолчанию флажок снят.
  3. Если вы установили флажок Сохранить фильтр, в поле Название введите название для создаваемого ресурса фильтра. Название должно содержать от 1 до 128 символов Юникода.
  4. В блоке параметров Условия задайте условия, которым должны соответствовать события:
    1. Нажмите на кнопку Добавить условие.
    2. В раскрывающихся списках Левый операнд и Правый операнд укажите параметры поиска.
      В зависимости от источника данных, выбранного в поле Правый операнд, могут отобразиться поля дополнительных параметров, с помощью которых вам нужно определить значение, которое будет передано в фильтр. Например, при выборе варианта активный лист потребуется указать название активного листа, ключ записи и поле ключа записи.
    3. В раскрывающемся списке оператор выберите нужный вам оператор.
      Операторы фильтров
      = – левый операнд равен правому операнду.
      < – левый операнд меньше правого операнда.
      <= – левый операнд меньше или равен правому операнду.
      > – левый операнд больше правого операнда.
      >= – левый операнд больше или равен правому операнду.
      inSubnet – левый операнд (IP-адрес) находится в подсети правого операнда (подсети).
      contains – левый операнд содержит значения правого операнда.
      startsWith – левый операнд начинается с одного из значений правого операнда.
      endsWith – левый операнд заканчивается одним из значений правого операнда.
      match – левый операнд соответствует регулярному выражению правого операнда. Используются регулярные выражения RE2.
      hasBit – установлены ли в левом операнде (в строке или числе), биты, позиции которых перечислены в правом операнде (в константе или в списке).
      Проверяемое значение переводится в двоичную систему счисления, после чего рассматривается справа налево. Проверяются символы, индекс которых указан в качестве константы или списка.
      
      Если проверяемое значение – это строка, то производится попытка перевести ее в целое число и обработать указанным выше способом. Если перевести строку в число невозможно, фильтр возвращает False.
      
      hasVulnerability – находится ли в левом операнде актив с уязвимостью и уровнем важности уязвимости, указанными в правом операнде.
      Если идентификатор и значение важности уязвимости не указать, фильтр будет срабатывать при наличии любых уязвимостей у актива в проверяемом событии.
      
      inActiveList – этот оператор имеет только один операнд. Его значения выбираются в поле Ключевые поля и сравниваются с записями активного листа, выбранного в раскрывающемся списке активных листов.
      inDictionary – присутствует ли в указанном словаре запись, соответствующая ключу, составленному из значений выбранных полей события.
      inCategory – активу в левом операнде назначена по крайней мере одна из категорий активов правого операнда.
      inActiveDirectoryGroup – учетная запись Active Directory в левом операнде принадлежит одной из групп Active Directory в правом операнде.
      TIDetect – этот оператор используется для поиска событий с данными CyberTrace Threat Intelligence (TI). Этот оператор можно использовать только на событиях, прошедших обогащение данными из CyberTrace Threat Intelligence. То есть только в коллекторах на этапе выбора точки назначения и в корреляторах.
      inContextTable – присутствует ли в указанной контекстной таблице запись.
      intersect – находятся ли в левом операнде элементы списка, указанные в списке в правом операнде.
    4. При необходимости установите флажок без учета регистра. В этом случае оператор игнорирует регистр значений.
      Действие флажка не распространяется на операторы InSubnet, InActiveList, InCategory, InActiveDirectoryGroup.
      
      По умолчанию флажок снят.
    5. Если вы хотите добавить отрицательное условие, в раскрывающемся списке Если выберите Если не.
    6. Вы можете добавить несколько условий или группу условий.
  5. Если вы добавили несколько условий или групп условий, выберите условие отбора (и, или, не), нажав на кнопку И.
  6. Если вы хотите добавить уже существующие фильтры, которые выбираются в раскрывающемся списке Выберите фильтр, нажмите на кнопку Добавить фильтр.
    Параметры вложенного фильтра можно просмотреть, нажав на кнопку .
После создания сервиса пространства можно просматривать и удалять в параметрах набора ресурсов хранилища.

Нет необходимости создавать отдельное пространство для событий аудита. События этого типа (Type=4) автоматически помещаются в отдельное пространство Audit со сроком хранения не менее 365 дней, которое недоступно для редактирования или удаления из веб-интерфейса KUMA.
При необходимости в разделе Диски холодного хранения добавьте в хранилище диски, на которые вы хотите переносить события на длительное хранение из кластера ClickHouse.
Дисков может быть несколько. Диски можно добавить с помощью кнопки Добавить диск и удалить с помощью кнопки Удалить диск.

Доступные параметры:
- В раскрывающемся списке Полное доменное имя выберите тип доменного имени подключаемого диска:
  - Локальный – для дисков, смонтированных в операционной системе как директории.
  - HDFS – для дисков распределенной файловой системы Hadoop Distributed File System.
- В поле Название укажите название диска. Название должно содержать от 1 до 128 символов в кодировке Unicode.
- Если в качестве типа доменного имени диска вы выбрали Локальный, в поле Путь введите абсолютный путь директории смонтированного локального диска. Путь должен начинаться и оканчиваться символом "/".
- Если в качестве типа доменного имени диска вы выбрали HDFS, в поле Устройство введите путь к HDFS. Например: hdfs://hdfs1:9000/clickhouse/.
Перейдите на вкладку Дополнительные параметры и заполните следующие поля:
- В поле Размер буфера укажите размер буфера в байтах, при достижении которого следует передать события в базу. Значение по умолчанию — 64 МБ. Максимального значения нет. Если на виртуальной машине меньше свободной памяти, чем заданное значение Размер буфера, KUMA установит ограничение в 128 МБ.
  Если ожидаемый трафик на сервис хранилища будет больше 1 Гбит/сек, рекомендуется изменить значение параметра Размер буфера в байтах в соответствии с известным вам значением и указать значение параметра Интервал очистки буфера равное 2.
  
  Значение параметра Размер буфера можно определить опытным путем. Если на метрике хранилища Insert QPS показатель превышает 1 и видно, что копится очередь запросов, воспользуйтесь рекомендациями по расчету и корректировке значения параметра Размер буфера, приведенными в статье Просмотр метрик KUMA в разделе Insert QPS.
- В поле Интервал очистки буфера укажите интервал в секундах, в течение которого KUMA будет ждать заполнения буфера. Если буфер не заполнен, но указанное время прошло, KUMA передает события в базу. Значение по умолчанию 1 с.
- В поле Ограничение размера дискового буфера укажите значение в байтах. Дисковый буфер используется для временного размещения тех событий, которые не удалось отправить для дальнейшей обработки или хранения. Если выделенное под дисковый буфер дисковое пространство исчерпано, события ротируются по следующему правилу: новые события замещают самые старые события, записанные в буфер. Значение по умолчанию: 10 ГБ.
- С помощью переключателя Дисковый буфер включите или выключите использование дискового буфера. По умолчанию дисковый буфер включен.
- С помощью переключателя Запись в локальную таблицу базы данных включите или выключите запись в локальную таблицу базы данных. По умолчанию запись выключена.
  Если вы включите запись, она будет выполняться только на том узле, на котором установлено хранилище. Рекомендуется использовать эту функцию только при условии, что у вас настроена балансировка на коллекторе и/или корреляторе: в коллекторе и/или корреляторе на шаге 6. Маршрутизация в разделе Дополнительные настройки в поле Политика выбора URL установлено значение По очереди.
  
  Если вы выключите запись, данные распределяются по шардам кластера.
- При необходимости с помощью переключателя Отладка включите логирование операций сервиса.
- Переключатель Периодическое создание дампа используется по запросу технической поддержки для генерации отчетов по потреблению ресурсов (cpu, ram и т.д.) в виде дампов.
- В поле Настройки дампа вы можете указать параметры создания дампа. Порядок заполнения этого поля уточняйте у технической поддержки.

Набор ресурсов для хранилища создан и отображается в разделе Ресурсы → Хранилища. Теперь можно создать сервис хранилища.

Идентификатор статьи: 221257, Последнее изменение: 18 апр. 2025 г.

В начало