Создание хранилища

Развернуть всё | Свернуть всё

Создание хранилища состоит из следующих этапов:

Создание набора ресурсов хранилища в веб-интерфейсе Kaspersky SIEM

Сервис хранилища создается на основе набора ресурсов для хранилища.

В разделе Ресурсы → Хранилища нажмите Создать.
Откроется окно Создание хранилища.
На вкладке Основные параметры в поле Название хранилища введите уникальное имя создаваемого сервиса. Имя должно содержать от 1 до 128 символов в кодировке Unicode.
В раскрывающемся списке Тенант выберите тенант, которому будет принадлежать хранилище.
В раскрывающемся списке Теги выберите теги для создаваемого набора ресурсов.
В списке отображаются все доступные теги, созданные в тенанте ресурса и Общем тенанте. Вы может найти тег в списке, начав вводить его название в поле. Если тега, который вы ввели, не существует, вы можете нажать Enter или Добавить, чтобы создать его.
В поле Описание добавьте описание сервиса. Описание может содержать от 1 до 256 символов в кодировке Unicode.
В поле Варианты условий хранения выберите для хранилища условие хранения событий в кластере ClickHouse, при выполнении которого события будут переноситься на диски холодного хранения или удаляться, если холодное хранение не настроено или настроено неверно, начиная с партиций за самую старую дату.
Условие будет применено к пространству по умолчанию и к событиям из удаленных пространств.

По умолчанию ClickHouse перемещает события на диски холодного хранения или удаляет их, если заполнено более 97% хранилища. В KUMA при создании хранилища также используется дополнительное условие хранения 365 дней.

Чтобы задать условие хранения, выполните одно из следующих действий:
- Если вы хотите ограничить срок хранения событий, в раскрывающемся списке выберите Дни и в поле укажите максимальный срок хранения событий в днях в кластере горячего хранилища ClickHouse.
  Минимальное значение – 1. Значение по умолчанию – 365.
- Если вы хотите ограничить максимальный размер хранилища, в раскрывающемся списке выберите ГБ и в поле укажите максимальный размер хранилища в гигабайтах.
  Минимальное значение и значение по умолчанию – 1 ГБ.
- Если вы хотите ограничить размер хранилища относительно объема диска, который доступен хранилищу, в раскрывающемся списке выберите Проценты и укажите максимальный размер хранилища в процентах от доступного объема диска.
  Информацию о доступном объеме диска вы можете получить из ClickHouse, отправив запрос:
  
  'SELECT hostname(), name, total_space FROM system.disks'
  
  Допустимые значения – от 1 до 95. Значение по умолчанию – 80. Если вы хотите использовать проценты для всех пространств хранилища, сумма процентов в условиях всех пространств не может превышать 95, но мы рекомендуем указывать ограничение не более 90% включительно для всего хранилища или для отдельных пространств.
  
  Не рекомендуется указывать значение меньше 5%, так как в этом случае возрастает вероятность потери данных в хранилище.
  
  Если хранилище организовано в виде кластера из нескольких серверов, объем занятого дискового пространства определяется отдельно для каждого сервера. Данные для хранения могут распределяться между дисками на серверах неравномерно. В KUMA события будут перемещаться на диски холодного хранения или удаляться при достижении максимального размера хранилища на одном из серверов в кластере.
Механизм определения размера занятого пространства в хранилище
Определение размера занятого пространства в хранилище осуществляется следующим образом:
1. Информация о состоянии дисков и партиций KUMA получается со всех доступных реплик.
2. Если занятое пространство превышает установленные значения, KUMA осуществляет действия в зависимости от типа хранения данных: горячее или холодное.
  При горячем хранении данных для каждого доступного узла и пространства осуществляются следующие действия:
  1. Рассчитывается суммарный размер партиций этого пространства на реплике.
  2. Рассчитывается максимальный размер пространства на реплике:
    - Если установлено абсолютное значение для размера хранилища в ГБ, максимальный размер пространства на реплике рассчитывается следующим образом:
      <максимальный размер пространства> = <установленное пороговое значение> / <число реплик в кластере>
      
      Например, для кластера из трех шардов, в каждом из которых находятся две реплики, и установлено пороговое значение 6 ГБ, максимальный объем данных на реплике – 1 ГБ.
    - Если установлено относительное значение для размера хранилища в процентах, максимальный размер пространства на реплике рассчитывается следующим образом:
      <максимальный размер пространства> = <размер пространства на реплике> / <размер диска реплики> * 100%
      
      Размер диска реплики не включает в себя пространство, зарезервированное для ext4.
    Если установленное пороговое значение превышено, партиции на хосте удаляются или переносятся в холодное хранилище. Партиции удаляются на всех шардах.
  При холодном хранении данных для каждого доступного пространства партиции удаляются в соответствии с установленным значением времени хранения событий в KUMA (TTL).
Если вы хотите использовать дополнительное условие хранения, нажмите на кнопку Добавить условие хранения и укажите дополнительное условие хранения. Вы можете добавить не более двух условий и сочетать только условия следующих типов:
- дни и размер хранилища в ГБ;
- дни и размер хранилища в процентах.
Если вы хотите удалить условие хранения, нажмите на значок крестика возле этого условия.
В поле Срок хранения событий аудита укажите, в течение какого количества дней вы хотите хранить события аудита. Минимальное значение и значение по умолчанию: 365.
Если вы хотите изменить параметры ClickHouse, в поле Переопределение параметров ClickHouse вставьте строки c параметрами из XML-файла конфигурации ClickHouse /opt/kaspersky/kuma/clickhouse/cfg/config.xml.
Указание корневых элементов <yandex>, </yandex> не требуется. Переданные в поле параметры конфигурации будут использоваться вместо параметров по умолчанию.

Пример

<merge_tree>

<parts_to_delay_insert>600</parts_to_delay_insert>

<parts_to_throw_insert>1100</parts_to_throw_insert>

</merge_tree>.
В блоке параметров Узлы кластера ClickHouse добавьте в хранилище узлы кластера ClickHouse.
Узлов может быть несколько. Узлы можно добавить с помощью кнопки Добавить узел и удалить, нажав на значок крестика в блоке нужного узла.

Укажите следующие параметры:
- В поле FQDN укажите полное доменное имя добавляемого узла. Например, kuma-storage-cluster1-server1.example.com.
- В полях Идентификатор шарда, Идентификатор реплики и Идентификатор кипера укажите роль узла в кластере ClickHouse.
  Идентификаторы шарда и кипера должны быть уникальными в рамках кластера. Идентификатор реплики должен быть уникальным в рамках шарда.
  
  Комбинация идентификаторов определяет положение узла в структуре кластера и его функциональное назначение:
  - Шард, реплика, кипер – узел участвует в накоплении и поиске нормализованных событий, а также в координации репликации данных на уровне всего кластера.
  - Шард, реплика – узел участвует в накоплении и поиске нормализованных событий.
  - Кипер – узел не хранит нормализованные события, но участвует в координации репликации данных на уровне всего кластера.
    Выделенные узлы с ролью кипера рекомендуется указывать в начале списка в разделе Ресурсы → Хранилища → <Хранилище> → Основные настройки → Узлы кластера ClickHouse.
Ниже показан пример заполнения раздела Узлы кластера ClickHouse для хранилища с выделенными киперами в распределенной схеме установки. Вы можете адаптировать пример для своих потребностей.

Пример: узлы кластера ClickHouse

Полное доменное имя: kuma-storage-cluster1-server1.example.com

Идентификатор шарда: 0

Идентификатор реплики: 0

Идентификатор кипера: 1

Полное доменное имя: kuma-storage-cluster1server2.example.com

Идентификатор шарда: 0

Идентификатор реплики: 0

Идентификатор кипера: 2

Полное доменное имя: kuma-storage-cluster1server3.example.com

Идентификатор шарда: 0

Идентификатор реплики: 0

Идентификатор кипера: 3

Полное доменное имя: kuma-storage-cluster1server4.example.com

Идентификатор шарда: 1

Идентификатор реплики: 1

Идентификатор кипера: 0

Полное доменное имя: kuma-storage-cluster1server5.example.com

Идентификатор шарда: 1

Идентификатор реплики: 2

Идентификатор кипера: 0

Полное доменное имя: kuma-storage-cluster1server6.example.com

Идентификатор шарда: 2

Идентификатор реплики: 1

Идентификатор кипера: 0

Полное доменное имя: kuma-storage-cluster1server7.example.com

Идентификатор шарда: 2

Идентификатор реплики: 2

Идентификатор кипера: 0
Если вы хотите распределять хранимые объекты по пространствам, создайте их в блоке параметров Пространства.
Как создать пространство в хранилище
Пространств может быть несколько. Пространства можно добавить с помощью кнопки Добавить пространство и удалить, нажав на значок крестика в блоке нужного пространства.

Укажите следующие параметры:
1. В поле Название укажите название пространства: от 1 до 128 символов в кодировке Unicode.
2. Если требуется, чтобы в пространство не поступали события, установите флажок Только для чтения.
  По умолчанию флажок снят.
3. В поле Варианты условий хранения выберите для пространства условие хранения событий в кластере ClickHouse, при выполнении которого события будут переноситься на диски холодного хранения или удаляться, если холодное хранение не настроено или настроено неверно. В KUMA при добавлении пространства используется условие хранения 365 дней.
  Чтобы задать условие хранения для пространства, выполните одно из следующих действий:
  - Если вы хотите ограничить срок хранения событий, в раскрывающемся списке выберите Дни и в поле укажите максимальный срок хранения событий в днях в кластере горячего хранилища ClickHouse.
    Минимальное значение – 1. Значение по умолчанию – 365.
  - Если вы хотите ограничить максимальный размер пространства хранилища, в раскрывающемся списке выберите ГБ и в поле укажите максимальный размер пространства в гигабайтах.
    Минимальное значение и значение по умолчанию – 1.
  - Если вы хотите ограничить размер пространства хранилища относительно объема диска, который доступен хранилищу, в раскрывающемся списке выберите Проценты и в поле укажите максимальный размер пространства в процентах от объема диска, доступного хранилищу. В этом случае условие также может сработать при уменьшении доступного хранилищу объема диска.
    Допустимые значения – от 1 до 95. Значение по умолчанию – 80. Если вы хотите использовать проценты для всех пространств хранилища, сумма процентов в условиях всех пространств не может превышать 95, но мы рекомендуем указывать ограничение не более 90% включительно для всего хранилища или для отдельных пространств.
    
    Не рекомендуется указывать малые значения процентов, так как в этом случае возрастает вероятность потери данных в хранилище.
    
    При использовании размера в качестве условия хранения требуется следить, чтобы суммарный размер пространств, указанный в условиях хранения не превышал физический размер хранилища, иначе при запуске сервиса отобразится ошибка.
    
    В условиях хранения с ограничением размера для всех пространствах хранилища используйте одинаковые единицы изменения (только в гигабайтах или только в процентах). Иначе, если для одного пространства условие задано в процентах, а для другого в гигабайтах, хранилище может переполниться из-за несоответствия значений и данные будут утеряны.
4. При необходимости в поле Время хранения событий укажите общую длительность хранения событий в KUMA с момента поступления, в днях. По истечении указанного срока события будут автоматически удалены с диска холодного хранения. Значение по умолчанию – 0.
  Параметр Время хранения событий становится доступен, только после того как вы добавили хотя бы один диск холодного хранения.
  
  Время хранения событий рассчитывается как сумма времени хранения событий в кластере горячего хранилища ClickHouse до наступления условия, заданного в параметре Варианты условий хранения, и времени хранения событий на диске холодного хранения. После наступления одного из условий хранения партиция данных за самую старую дату перемещается на диск холодного хранения и находится там до истечения времени хранения событий в KUMA.
  
  В зависимости от заданного условия хранения время хранения будет следующим:
  - Если вы задали условие хранения в днях и хотите, чтобы события попадали в холодное хранилище, значение параметра Время хранения событий должно быть больше количества дней, указанного в условии хранения. Срок холодного хранения событий будет рассчитан как Время хранения событий минус количество дней, указанное в параметре Варианты условий хранения.
    Если вы не хотите хранить события из этого пространства на диске холодного хранения, в параметре Время хранения событий вы можете указать такое же количество дней, как в условии хранения.
  - Если вы задали условие хранения в гигабайтах или процентах и хотите, чтобы события попадали в холодное хранилище, рекомендуется указывать относительно большое значение параметра Время хранения событий, чтобы избежать удаления событий. Это связано с тем, что невозможно рассчитать точный срок, когда будут выполнены условия, указанные в параметре Варианты условий хранения.
    Если вы не хотите хранить события из этого пространства на диске холодного хранения, в параметре Время хранения событий вы можете указать значение 0.
5. Если вы хотите задать условия определения событий, которые будут перемещаться в пространство, в блоке параметров Параметры фильтра выберите готовый фильтр в раскрывающемся списке Фильтр или создайте новый, нажав кнопку Создать.
  Создание фильтра в ресурсах
  Все поля события KUMA имеют значение по умолчанию. Для всех числовых полей это значение равно 0. Для всех строковых полей значение по умолчанию – пустая строка. Если событие не имеет какого-то поля, это значит, что полю присвоено значение по умолчанию. Поэтому фильтр может сработать на событие, даже если у этого события нет указанного в фильтре поля. Например, если вы в фильтре указали условие DestinationPort <= 1024, но событие не содержит поля DestinationPort, фильтр сработает, так как по умолчанию DestinationPort = 0.
  
  Чтобы создать фильтр:
  1. В раскрывающемся списке Фильтр выберите Создать.
  2. Если вы хотите сохранить фильтр и использовать его в качестве фильтра для других ресурсов, установите флажок Сохранить фильтр. По умолчанию флажок снят.
  3. Если вы установили флажок Сохранить фильтр, в поле Название введите название нового фильтра. Максимальная длина названия: до 128 символов в кодировке Unicode.
  4. Выберите режим создания фильтра: Конструктор или Код.
    При формировании условий фильтрации вы можете переключаться между режимами. При переключении между режимами сформированные условия фильтров сохраняются. Если после привязки созданного фильтра к ресурсу на вкладке Код не отображается код фильтра, выберите вкладку Конструктор, после чего снова выберите вкладку Код для отображения кода фильтра.
  5. Если вы выбрали вариант Конструктор, выполните следующие действия:
    В раскрывающемся списке выберите логический оператор:
    И – отбирает события, которые соответствуют всем указанным условиям.
    ИЛИ – отбирает события, которые соответствуют одному из указанных условий.
    НЕ – отбирает события, которые не соответствуют всем указанным условиям.
    Нажмите на кнопку Добавить условие.
    Если вы хотите добавить отрицательное условие, в раскрывающемся списке Если выберите Если не.
    В последовательно отображающихся раскрывающихся списках выберите операнды и операторы фильтра.
    Операнды фильтров
    
    Поля событий – поле события, которое требуется использовать как операнд фильтра.
    Активные листы – активный лист или поле активного листа, которое требуется использовать как операнд фильтра. При выборе активного листа укажите одно или несколько полей событий, которые используются для создания записи активного листа и выступают ключом записи активного листа. Для завершения указания полей событий нажмите комбинацию клавиш Ctrl/Command+F1.
    Если вы не указали оператор inActiveList, вам нужно указать имя поля активного листа, которое требуется использовать как операнд фильтра.
    
    Словари – значение из ресурса словарь, которое требуется присвоить операнду. Дополнительные параметры:
    словарь (обязательно) – словарь, который требуется использовать.
    ключевые поля (обязательно) – поля событий, которые используются для формирования ключа значения словаря.
    Контекстные таблицы – в этом разделе вы можете указать значение контекстной таблицы, которое требуется использовать как операнд фильтра. При выборе контекстной таблицы вам нужно указать поле события.
    название контекстной таблицы (обязательно) – контекстная таблица, которую требуется использовать.
    ключевые поля (обязательно) – поля событий или локальные переменные, которые используются для создания записи контекстной таблицы и выступают ключом записи контекстной таблицы.
    поле – имя поля контекстной таблицы, из которого требуется извлечь значение операнда.
    индекс – индекс списочного поля таблицы, из которого требуется извлечь значение операнда.
    Таблицы – пользовательские значения, которые требуется присвоить операнду. Дополнительные параметры:
    словарь (обязательно) – тип словаря. Вам нужно выбрать тип словаря Таблица.
    ключевые поля (обязательно) – поля событий, которые используются для формирования ключа значения словаря.
    TI – параметры чтения данных Kaspersky CyberTrace об угрозах (TI) из событий. Дополнительные параметры:
    поток (обязательно) – категория угрозы Kaspersky CyberTrace.
    ключевые поля (обязательно) – поле события с индикаторами угроз Kaspersky CyberTrace.
    поле (обязательно) – поле фида Kaspersky CyberTrace с индикаторами угроз.
    Константа – пользовательское значение, которое требуется присвоить операнду. Дополнительные параметры:
    значение (обязательно) – константа, которую требуется присвоить операнду.
    Список – пользовательские значения, которые требуется присвоить операнду. Дополнительные параметры:
    значение (обязательно) – константы, которые требуется присвоить операнду. Когда вы вводите значение в поле и нажимаете ENTER, значение добавляется в список, и вы можете ввести новое значение.
    Операторы фильтров
    
    = – левый операнд равен правому операнду.
    < – левый операнд меньше правого операнда.
    <= – левый операнд меньше или равен правому операнду.
    > – левый операнд больше правого операнда.
    >= – левый операнд больше или равен правому операнду.
    inSubnet – левый операнд (IP-адрес) находится в подсети правого операнда (подсети).
    contains – левый операнд содержит значения правого операнда.
    startsWith – левый операнд начинается с одного из значений правого операнда.
    endsWith – левый операнд заканчивается одним из значений правого операнда.
    match – левый операнд соответствует регулярному выражению правого операнда. Используются регулярные выражения RE2.
    hasBit – установлены ли в левом операнде (в строке или числе), биты, позиции которых перечислены в правом операнде (в константе или в списке).
    Проверяемое значение переводится в двоичную систему счисления, после чего рассматривается справа налево. Проверяются символы, индекс которых указан в качестве константы или списка.
    
    Если проверяемое значение – это строка, то производится попытка перевести ее в целое число и обработать указанным выше способом. Если перевести строку в число невозможно, фильтр возвращает False.
    
    hasVulnerability – находится ли в левом операнде актив с уязвимостью и уровнем важности уязвимости, указанными в правом операнде.
    Если идентификатор и значение важности уязвимости не указаны, фильтр будет срабатывать при наличии любых уязвимостей у актива в проверяемом событии.
    
    inActiveList – этот оператор имеет только один операнд. Его значения выбираются в поле Ключевые поля и сравниваются с записями активного листа, выбранного в раскрывающемся списке активных листов.
    inDictionary – присутствует ли в указанном словаре запись, соответствующая ключу, составленному из значений выбранных полей события.
    inCategory – активу в левом операнде назначена по крайней мере одна из категорий активов правого операнда.
    inActiveDirectoryGroup – учетная запись Active Directory в левом операнде принадлежит одной из групп Active Directory в правом операнде.
    TIDetect – этот оператор используется для поиска событий с данными Kaspersky CyberTrace. Этот оператор можно использовать только на событиях, прошедших обогащение данными из Kaspersky CyberTrace, то есть только в коллекторах на этапе выбора точки назначения и в корреляторах.
    inContextTable – присутствует ли в указанной контекстной таблице запись.
    intersect – находятся ли в левом операнде элементы списка, указанные в списке в правом операнде.
    Если вы хотите, чтобы оператор игнорировал регистр значений, установите флажок без учета регистра. Действие не распространяется на операторы InSubnet, InActiveList, InCategory, InActiveDirectoryGroup, hasBit и inDictionary. По умолчанию флажок снят.
    
    Вы можете изменить и удалить указанный оператор. Для изменения оператора нажмите на него и укажите новый оператор. Для удаления оператора нажмите на него и затем нажмите на клавишу Backspace.
    
    Если вы хотите добавить группу условий для фильтра, нажмите на кнопку Добавить группу.
    Вы можете добавить несколько групп условий.
  6. Если вы выбрали вариант Код, укажите текстовую команду фильтра.
    В правой части конструктора отображается навигатор для перемещения по коду фильтра. Перенос строк выполняется автоматически по логическим операторам И, ИЛИ, НЕ или запятым, являющимися разделителем элементов списка значений.
  7. Если вы хотите изменить порядок условий фильтрации, используйте значки изменения порядка . Если вы хотите удалить условие, нажмите на значок удаления .
  8. Нажмите Сохранить.
После создания пространства можно просматривать и удалять в параметрах набора ресурсов хранилища.

Нет необходимости создавать отдельное пространство для событий аудита. События этого типа (Type=4) автоматически помещаются в отдельное пространство Audit со сроком хранения не менее 365 дней, которое недоступно для редактирования или удаления из веб-интерфейса KUMA.
Если вы хотите переносить события на длительное хранение из кластера ClickHouse на диски, добавьте диски в хранилище в блоке параметров Диски холодного хранения.
Как добавить диск в хранилище
Дисков может быть несколько. Диски можно добавить с помощью кнопки Добавить диск и удалить, нажав на значок крестика в блоке нужного диска.

Укажите следующие параметры:
1. В раскрывающемся списке Тип выберите тип доменного имени подключаемого диска:
  - Локальный – для дисков, смонтированных в операционной системе как директории.
  - HDFS – для дисков распределенной файловой системы Hadoop Distributed File System.
  - S3 – для дисков облачного хранилища S3, использующихся в KUMA.
    Начиная с версии 4.2, данные, хранящиеся на дисках HDFS, будут постепенно перенесены на диски хранилища S3. Поддержка файловой системы HDFS будет прекращена в одном из будущих релизов KUMA.
2. В поле Название укажите название диска.
  Правила указания названия хранилища S3
  При указании названия хранилища S3 нужно выполнять следующие требования:
  - Название является уникальным в рамках одного хранилища.
  - Название состоит из строчных букв латинского алфавита и цифр. Вы также можете использовать в названии символ подчеркивания (_).
    Использование кириллических символов не допускается.
  - Название должно содержать от 1 до 128 символов в кодировке Unicode.
  Вы не можете изменить название диска хранилища S3 без изменения пути к этому диску.
3. Выполните одно из следующих действий в зависимости от выбранного типа:
  - Если в качестве типа доменного имени диска вы выбрали Локальный, в поле Путь введите абсолютный путь директории смонтированного локального диска. Путь должен начинаться и оканчиваться символом "/".
    Владельцем директории смонтированного локального диска должен быть пользователь KUMA.
  - Если в качестве типа доменного имени диска вы выбрали HDFS, в поле Хост введите путь к HDFS. Например: hdfs://hdfs1:9000/clickhouse/.
  - Если в качестве типа доменного имени диска вы выбрали S3, выполните следующие действия:
    1. В поле Хост укажите адрес хранилища S3 (например, https://www.company.com/clickhouse/storagefolder/).
      Правила указания адреса хранилища S3
      
      При указании адреса S3-хранилища нужно выполнять следующие требования:
      
      Адрес указывается в формате URL, например:
      https://<веб-адрес/IP-адрес сервера>/<путь к диску>/
      
      Адрес должен оканчиваться символом "/".
      Максимальная длина – 2048 символов.
      Использование кириллических символов не допускается.
      
      Вы не можете изменить адрес диска хранилища S3 без изменения названия диска.
    2. В поле Секрет укажите секрет для доступа к хранилищу S3. Вы можете выбрать секрет в раскрывающемся списке или создать новый секрет, нажав Создать.
    3. В поле Цепочка сертификатов укажите путь к файлу с полной цепочкой доверия сертификатов для подключения к хранилищу S3.
      Поле нужно заполнить, если для подключения к хранилищу S3 используется протокол HTTPS. Если используется HTTP, указывать сертификат не требуется. Файл должен содержать полную цепочку доверия сертификатов в формате BASE64, включая корневой сертификат, промежуточный (если используется) и сертификат хранилища S3.
4. Вернитесь к блоку общих параметров и заполните следующие поля:
  - Время хранения событий – общая длительность хранения событий в KUMA с момента поступления, в днях. По истечении указанного срока события будут автоматически удалены с диска холодного хранения. Значение по умолчанию – 0.
    Время хранения событий рассчитывается как сумма времени хранения событий в кластере горячего хранилища ClickHouse до наступления условия, заданного в параметре Варианты условий хранения, и времени хранения событий на диске холодного хранения. После наступления одного из условий хранения партиция данных за самую старую дату перемещается на диск холодного хранения и находится там до истечения времени хранения событий в KUMA.
    
    В зависимости от заданного условия хранения время хранения будет следующим:
    - Если вы задали условие хранения в днях и хотите, чтобы события попадали в холодное хранилище, значение параметра Время хранения событий должно быть больше количества дней, указанного в условии хранения. Срок холодного хранения событий будет рассчитан как Время хранения событий минус количество дней, указанное в параметре Варианты условий хранения.
      Если вы не хотите хранить события из этого пространства на диске холодного хранения, в параметре Время хранения событий вы можете указать такое же количество дней, как в условии хранения.
    - Если вы задали условие хранения в гигабайтах или процентах и хотите, чтобы события попадали в холодное хранилище, рекомендуется указывать относительно большое значение параметра Время хранения событий, чтобы избежать удаления событий. Это связано с тем, что невозможно рассчитать точный срок, когда будут выполнены условия, указанные в параметре Варианты условий хранения.
      Если вы не хотите хранить события из этого пространства на диске холодного хранения, в параметре Время хранения событий вы можете указать значение 0.
  - Срок холодного хранения событий аудита – количество дней хранения событий аудита. Минимальное значение – 0.
Если вы хотите настроить резервное копирование и восстановление хранилища, настройте необходимые параметры.
Как настроить резервное копирование и восстановление
Настройте следующие параметры:
1. В поле Резервное копирование хранилища укажите путь хранения файла резервной копии, например /mnt/data, с учетом следующих требований:
  - Путь должен быть одинаковым на всех узлах кластера хранения.
  - Путь не должен содержать префиксы.
    Список префиксов, которые невозможно использовать при указании путей к файлам
    Префиксы, которые невозможно использовать при указании путей к файлам:
    
    /*
    /bin
    /boot
    /dev
    /etc
    /home
    /lib
    /lib64
    /proc
    /root
    /run
    /sys
    /tmp
    /usr/*
    /usr/bin/
    /usr/local/*
    /usr/local/sbin/
    /usr/local/bin/
    /usr/sbin/
    /usr/lib/
    /usr/lib64/
    /var/*
    /var/lib/
    /var/run/
    /opt/kaspersky/kuma/
    Приведенные префиксы используются системой в качестве регулярных выражений для проверки пути. Символ * в префиксах соответствует любой последовательности символов и не должен указываться в самом пути вручную, если это не часть допустимого пути.
    
    Файлы по указанным ниже путям доступны:
    
    /opt/kaspersky/kuma/clickhouse/logs/
    /opt/kaspersky/kuma/metrics/log/
  - У пользователя должны быть права на чтение, запись и исполнение файлов в указанной директории.
  - Указанная директория должна быть второго или более глубокого уровня вложенности. Не допускается использовать директорию первого уровня вложенности, например /backup.
  - Имя директории не должно содержать точку.
  По указанному пути будут автоматически созданы две директории: backup и restore. Если путь не указан, функции резервного копирования по расписанию, ручного резервного копирования, восстановления из резервной копии и импорта будут недоступны.
2. Если вы хотите настроить резервное копирование по расписанию, включите переключатель Добавить автоматическое копирование и выполните следующие действия:
  1. В поле Резервное копирование через несколько дней укажите целое число, которое означает, через сколько дней после создания партиции будет выполняться резервное копирование. Например, при значении 1 резервное копирование будет выполняться для партиции, созданной позавчера.
  2. В раскрывающемся списке Реплики выберите одну реплику, для которой будет выполняться резервное копирование. При выборе нескольких реплик одного шарда произойдет дублирование данных.
  3. В блоке параметров Партиции нажмите Добавить партицию и настройте следующие параметры:
    - В раскрывающемся списке Тенант выберите тенант, в котором находится партиция для резервного копирования.
    - В раскрывающемся списке Пространства выберите одно или несколько пространств хранилища, которые принадлежат партиции для резервного копирования. Если значение не указано, будет выполнено резервное копирование партиции целиком.
    Вы можете добавить нескольких партиций. Например, если вы хотите выполнить резервное копирование пространства Audit и у вас 10 тенантов, необходимо настроить резервное копирование отдельно для каждого тенанта.
При необходимости перейдите на вкладку Дополнительные параметры и задайте следующие параметры:
- В поле Размер буфера укажите размер буфера в байтах, при достижении которого следует передать события в базу данных. Значение по умолчанию – 128 МБ. Если на виртуальной машине меньше свободной памяти, чем заданное значение Размер буфера, будет установлено ограничение в 128 МБ.
  Если ожидаемый трафик на сервис хранилища будет больше 1 Гбит/сек, рекомендуется изменить значение параметра Размер буфера в соответствии с известным вам значением и указать значение параметра Интервал очистки буфера равное 2.
  
  Значение параметра Размер буфера можно определить опытным путем. Если на метрике хранилища Insert QPS показатель превышает 1 и видно, что накапливается очередь запросов, воспользуйтесь рекомендациями по расчету и корректировке значения параметра Размер буфера, приведенными в статье Просмотр метрик KUMA.
- В поле Максимальный размер буфера укажите максимальный размер буфера в байтах. Значение по умолчанию – 256 МБ.
  По умолчанию события записываются в базу данных раз в секунду. Если поток событий возрастает и события начинают записываться чаще, чем раз в секунду, размер буфера автоматически увеличивается. Буфер увеличится максимум в три раза от значения в поле Размер буфера, но не может превысить значения в поле Максимальный размер буфера. После увеличения размера буфера при нормализации нагрузки размер не меняется, автоматическое уменьшение буфера не предусмотрено.
  
  Если вы укажете значение в поле Максимальный размер буфера меньшим или равным значению в поле Размер буфера, то размер буфера не изменится.
  
  При перезапуске сервиса хранилища увеличенный размер буфера сбрасывается до значения в поле Размер буфера.
- В поле Интервал очистки буфера укажите интервал в секундах, в течение которого решение будет ждать заполнения буфера. Если буфер не заполнен и указанное время прошло, события передаются в базу данных. Значение по умолчанию – 1 с.
- В поле Требуемый объем памяти укажите минимальный размер свободной оперативной памяти в байтах. Значение по умолчанию – 0.
  Если на узле, на котором установлено хранилище, свободной оперативной памяти окажется меньше указанного значения, запрос на запись событий в базу данных вернет ошибку, события будут записаны позже. Ограничение размера памяти позволяет избежать ситуации, когда память переполняется, если по какой-либо причине запись событий в базу данных блокируется и данные начинают накапливаться в памяти.
- В поле Ограничение размера дискового буфера укажите значение в байтах.
  Дисковый буфер используется для временного размещения тех событий, которые не удалось отправить для дальнейшей обработки или хранения. Если выделенное под дисковый буфер дисковое пространство исчерпано, события ротируются по следующему правилу: новые события замещают самые старые события, записанные в буфер. Значение по умолчанию – 10 ГБ.
- С помощью переключателя Дисковый буфер включите или выключите использование дискового буфера. По умолчанию дисковый буфер включен.
- С помощью переключателя Запись в локальную таблицу базы данных включите или выключите запись в локальную таблицу базы данных. По умолчанию запись выключена.
  Если вы включите запись, она будет выполняться только на том узле, на котором установлено хранилище. Мы рекомендуем использовать эту функцию только при условии, что у вас настроена балансировка на коллекторе и/или корреляторе: в коллекторе и/или корреляторе на шаге 6. Маршрутизация в разделе Дополнительные настройки в поле Политика выбора URL установлено значение По очереди.
  
  Если вы выключите запись, данные распределяются по шардам кластера.
- С помощью переключателя Отладка включите логирование операций сервиса.
- Переключатель Периодическое создание дампа используется по запросу Службы технической поддержки для генерации отчетов по потреблению ресурсов (например, CPU или RAM) в виде дампов.
- В поле Настройки дампа вы можете указать параметры создания дампа. Порядок заполнения этого поля уточняйте у Службы технической поддержки.

Набор ресурсов для хранилища создан и отображается в разделе Ресурсы → Хранилища.

Создание сервиса хранилища

Когда набор ресурсов для хранилища создан, создайте сервис хранилища:

В разделе Ресурсы → Активные сервисы нажмите Добавить сервис.
В открывшемся окне Выберите сервис выберите созданный набор ресурсов для хранилища и нажмите Создать сервис.

Сервис хранилища создан и отображается в разделе Ресурсы → Активные сервисы. Теперь сервис хранилища необходимо установить на каждом узле кластера ClickHouse, используя идентификатор сервиса. Для этого в разделе Ресурсы → Активные сервисы в контекстном меню созданного сервиса хранилища нажмите Копировать идентификатор.

Установка сервиса хранилища в сетевой инфраструктуре

При установке сервиса хранилища на узлах кластера убедитесь в сетевой связности системы и откройте используемые компонентами порты.

Войдите на сервер, на котором вы хотите установить сервис хранилища.
Установите сервис хранилища, выполнив следующую команду:
sudo /opt/kaspersky/kuma/kuma storage --core https://<FQDN>:<port> --pair.fingerprint <CA_cert_ID> --id <service_ID> --install

где:
- <FQDN> — полное доменное имя сервера Ядра KUMA.
- <port> — номер порта Ядра KUMA для внутренних коммуникаций (по умолчанию используется порт 7210).
- <CA_cert_ID> — идентификатор отпечатка CA-сертификата, используемый для проверки подлинности при подключении сервиса.
  Параметр --pair.fingerprint является необязательным. При создании сервиса KUMA автоматически добавляет этот параметр в команду установки и указывает идентификатор отпечатка.
  Вы можете выполнить установку сервиса без указания параметра --pair.fingerprint. В этом случае KUMA использует значение insecure по умолчанию, что не обеспечивает проверку подлинности CA-сертификата Ядра KUMA при установлении соединения. Если используется значение insecure, обновление отпечатка после перевыпуска CA-сертификата не требуется.
  
  Для обеспечения проверки подлинности CA-сертификата Ядра KUMA рекомендуется не удалять параметр --pair.fingerprint с идентификатором отпечатка при установке сервиса. При перевыпуске CA-сертификата необходимо скопировать новый отпечаток сертификата в веб-интерфейсе и перезапустить сервис с обновленным значением параметра.
- <service_ID> — идентификатор сервиса, скопированный из веб-интерфейса KUMA.
Пример

sudo /opt/kaspersky/kuma/kuma storage --core https://kuma.example.com:7210 --pair.fingerprint XXXXX --id XXXXX --install

При развертывании нескольких сервисов KUMA на одном узле в процессе установки необходимо указать уникальные порты для каждого компонента с помощью параметра --api.port <port>. По умолчанию используется значение --api.port 7221. На одном узле может быть установлен только один сервис хранилища.
Повторите шаги 1–2 для каждого сервиса хранилища.

Хранилище будет установлено.

Запуск сервиса хранилища возможен, если разрешены форматы IPv6 и IPv4. Если вы работаете только с IPv4, укажите в поле override configuration ресурса storage следующее:

<interserver_listen_host>0.0.0.0</interserver_listen_host>

Для корректной работы сервиса хранилища имя узла сервера должно соответствовать одному из его IP-адресов. Проверьте соответствие в файле /etc/hosts. Список локальных IP-адресов можно просмотреть с помощью команды:

ip a

После изменения параметров хранилища его сервис необходимо перезапустить.

Назад О кластере ClickHouse

Просмотр разделов хранилища Вперед

Вам помогла эта статья?

Что нам нужно улучшить?

Спасибо за ваш отзыв, вы помогаете нам становиться лучше!