Создание набора ресурсов для хранилища
Сервис хранилища в веб-интерфейсе KUMA создается на основе набора ресурсов для хранилища.
Чтобы создать набор ресурсов для хранилища в веб-интерфейсе KUMA:
- В веб-интерфейсе KUMA в разделе Ресурсы → Хранилища нажмите Добавить хранилище.
Откроется окно Создание хранилища.
- На вкладке Основные параметры в поле Название хранилища введите уникальное имя создаваемого сервиса. Название должно содержать от 1 до 128 символов в кодировке Unicode.
- В раскрывающемся списке Тенант выберите тенант, которому будет принадлежать хранилище.
- В поле Описание можно добавить описание сервиса: до 256 символов в кодировке Unicode.
- В поле Срок хранения укажите, в течение какого количества дней с момента поступления вы хотите хранить события в кластере ClickHouse. По истечении указанного срока события будут автоматически удалены из кластера ClickHouse. Если настроено холодное хранение событий и срок хранения событий в кластере ClickHouse истек, данные переносятся на диски холодного хранения. Если диск холодного хранения настроен неверно, данные удаляются.
- В поле Срок хранения событий аудита укажите, в течение какого количества дней вы хотите хранить события аудита. Минимальное значение и значение по умолчанию:
365
. - При необходимости холодного хранения данных введите сроки хранения событий:
- Срок холодного хранения – количество дней хранения событий. Минимальное значение –
1
. - Срок холодного хранения событий аудита – количество дней хранения событий аудита. Минимальное значение – 0.
- Срок холодного хранения – количество дней хранения событий. Минимальное значение –
- В раскрывающемся списке Отладка укажите, будет ли включено логирование ресурса. Значение по умолчанию: Выключено - это означает, что для всех компонентов KUMA в журнале регистрируются только ошибки. Если вы хотите получать детализированные данные в журналах, выберите значение Включено.
- При необходимости изменения параметров ClickHouse в поле Переопределение параметров ClickHouse вставьте строки c параметрами из XML-файла конфигурации ClickHouse /opt/kaspersky/kuma/clickhouse/cfg/config.xml. Указание корневых элементов <yandex>, </yandex> не требуется. Переданные в поле параметры конфигурации будут использоваться вместо параметров по умолчанию.
Пример:
<merge_tree>
<parts_to_delay_insert>600</parts_to_delay_insert>
<parts_to_throw_insert>1100</parts_to_throw_insert>
</merge_tree>
- При необходимости в разделе Пространства добавьте в хранилище пространства, по которым вы хотите распределять хранимые события.
Пространств может быть несколько. Пространства можно добавить с помощью кнопки Добавить пространство и удалить с помощью кнопки Удалить пространство.
Доступные параметры:
- В поле Название укажите название пространства: от 1 до 128 символов в кодировке Unicode.
- В поле Срок хранения укажите количество дней, в течение которых события будут храниться в кластере ClickHouse.
- При необходимости в поле Срок холодного хранения укажите количество дней, в течение которого события должны находиться на холодном хранении. Минимальное значение –
1
. - В разделе Фильтр можно задать условия определения событий, которые будут помещаться в это пространство. В раскрывающемся списке можно выбрать существующий фильтр или Создать новый фильтр.
После создания сервиса пространства можно просматривать и удалять в параметрах набора ресурсов хранилища.
Нет необходимости создавать отдельное пространство для событий аудита. События этого типа (Type=4) автоматически помещаются в отдельное пространство Audit со сроком хранения не менее 365 дней, которое недоступно для редактирования или удаления из веб-интерфейса KUMA.
- При необходимости в разделе Диски холодного хранения добавьте в хранилище диски, на которые вы хотите переносить события на длительное хранение из кластера ClickHouse.
Дисков может быть несколько. Диски можно добавить с помощью кнопки Добавить диск и удалить с помощью кнопки Удалить диск.
Доступные параметры:
- В раскрывающемся списке Тип выберите тип подключаемого диска:
- Локальный – для дисков, смонтированных в операционной системе как директории.
- HDFS – для дисков распределенной файловой системы Hadoop Distributed File System.
- В поле Название укажите название диска. Название должно содержать от 1 до 128 символов в кодировке Unicode.
- Если в качестве типа диска вы выбрали Локальный, в поле Путь введите абсолютный путь директории смонтированного локального диска. Путь должен начинаться и оканчиваться символом "/".
- Если в качестве типа диска вы выбрали HDFS, в поле Хост введите путь к HDFS. Например:
hdfs://hdfs1:9000/clickhouse/
.
- В раскрывающемся списке Тип выберите тип подключаемого диска:
- При необходимости в разделе Узлы кластера ClickHouse добавьте в хранилище узлы кластера ClickHouse.
Узлов может быть несколько. Узлы можно добавить с помощью кнопки Добавить узел и удалить с помощью кнопки Удалить узел.
Доступные параметры:
- В поле Полное доменное имя укажите FQDN добавляемого узла. Например,
kuma-storage-cluster1-server1.example.com
. - В полях идентификаторов шарда, реплики и кипера укажите роль узла в кластере ClickHouse. Идентификаторы шарда и кипера должны быть уникальными в рамках кластера, идентификатор реплики должен быть уникальным в рамках шарда. Ниже показан пример заполнения раздела Узлы кластера ClickHouse для хранилища с выделенными киперами в распределенной схеме установки. Вы можете адаптировать пример для своих потребностей.
Пример:
Узлы кластера ClickHouse
Полное доменное имя: kuma-storage-cluster1-server1.example.com
Идентификатор шарда: 0
Идентификатор реплики: 0
Идентификатор кипера: 1
Полное доменное имя: kuma-storage-cluster1server2.example.com
Идентификатор шарда: 0
Идентификатор реплики: 0
Идентификатор кипера: 2
Полное доменное имя: kuma-storage-cluster1server3.example.com
Идентификатор шарда: 0
Идентификатор реплики: 0
Идентификатор кипера: 3
Полное доменное имя: kuma-storage-cluster1server4.example.com
Идентификатор шарда: 1
Идентификатор реплики: 1
Идентификатор кипера: 0
Полное доменное имя: kuma-storage-cluster1server5.example.com
Идентификатор шарда: 1
Идентификатор реплики: 2
Идентификатор кипера: 0
Полное доменное имя: kuma-storage-cluster1server6.example.com
Идентификатор шарда: 2
Идентификатор реплики: 1
Идентификатор кипера: 0
Полное доменное имя: kuma-storage-cluster1server7.example.com
Идентификатор шарда: 2
Идентификатор реплики: 2
Идентификатор кипера: 0
- В поле Полное доменное имя укажите FQDN добавляемого узла. Например,
- Начиная с версии 2.1.3 доступна вкладка Дополнительные параметры. На вкладке Дополнительные параметры в поле Размер буфера укажите размер буфера в байтах, при достижении которого следует передать события в базу. Значение по умолчанию — 64 МБ. Максимального значения нет. Если на виртуальной машине меньше свободной памяти, чем заданное значение Размер буфера, KUMA установит ограничение в 128 МБ.
- На вкладке Дополнительные параметры в поле Интервал очистки буфера укажите интервал в секундах, в течение которого KUMA будет ждать заполнения буфера. Если буфер не заполнен, но указанное время прошло, KUMA передает события в базу. Значение по умолчанию 1 с.
- На вкладке Дополнительные параметры в поле Размер дискового буфера укажите значение в байтах. Дисковый буфер используется для временного размещения тех событий, которые не удалось отправить для дальнейшей обработки или хранения. Если выделенное под дисковый буфер дисковое пространство исчерпано, события ротируются по следующему правилу: новые события замещают самые старые события, записанные в буфер. Значение по умолчанию: 10 ГБ.
- На вкладке Дополнительные параметры в раскрывающемся списке Дисковый буфер выберите значение, с помощью которого можно Включить или Выключить использование дискового буфера. По умолчанию дисковый буфер включен.
- На вкладке Дополнительные параметры в раскрывающемся списке Запись в локальную таблицу базы данных выберите значение, с помощью которого можно Включить или Выключить запись. По умолчанию запись отключена.
В режиме Включить запись будет выполняться только на том узле, на котором установлено хранилище. Мы рекомендуем использовать эту функцию только при условии, что у вас настроена балансировка на коллекторе и/или корреляторе: в коллекторе и/или корреляторе на шаге 6. Маршрутизация в разделе Дополнительные настройки в поле Политика выбора URL установлено значение По очереди.
В режиме Выключить данные распределяются по шардам кластера.
Набор ресурсов для хранилища создан и отображается в разделе Ресурсы → Хранилища. Теперь можно создать сервис хранилища.