Холодное хранение событий

В KUMA можно настроить перенос устаревших данных с кластера ClickHouse на холодное хранение. Для холодного хранения могут использоваться смонтированные в операционной системе локальные диски или распределенная файловая система Hadoop Distributed File System (HDFS). Функция холодного хранения включается, если указан хотя бы один диск холодного хранения. Если используется несколько хранилищ, на каждом узле с данными должен быть смонтирован диск холодного хранения или диск HDFS по пути, указанному в конфигурации хранилища. Если диск холодного хранения не настроен и на сервере в горячем хранилище закончилось место, сервис хранилища остановится. Если есть горячее и холодное хранение и на диске холодного хранения закончилось место, сервис хранилища KUMA остановится. Рекомендуется избегать таких ситуаций с помощью добавления пользовательских условий хранения событий в горячем хранилище.

Диски холодного хранения можно добавлять и удалять. Если вы добавили несколько дисков холодного хранения, данные будут записываться на них по стандартному принципу чередования (англ. round-robin) по круговому циклу. Если данные, которые необходимо записать на диск, занимают больше места, чем свободно на этом диске, эти данные и все последующие будут записываться по принципу чередования на следующие диски холодного хранения. Если вы добавили только два диска холодного хранения, данные будут записываться на тот диск, на котором есть свободное место.

После изменения параметров холодного хранения сервис хранилища необходимо перезапустить. Если сервис не запускается, причина будет указана в журнале хранилища.

Если указанный в параметрах хранилища диск холодного хранения стал недоступен (например, вышел из строя), это может привести к ошибкам в работе сервиса хранилища. В этом случае необходимо воссоздать диск с таким же путем (для локальных дисков) или таким же адресом (для HDFS-дисков), а затем удалить его из параметров хранилища.

Правила переноса данных на диски холодного хранения

Вы можете настроить условия хранения событий в горячем хранилище кластера ClickHouse, задав ограничение по сроку хранения или по максимальному размеру хранилища. При задействованном холодном хранении KUMA раз в 15 минут и после перезагрузки Ядра проверяет выполнение заданных условий хранения следующим образом:

1. KUMA получает партиции для проверяемого хранилища и группирует их по дискам холодного хранения и пространствам.
2. Для каждого пространства KUMA проверяет, выполняется ли заданное условие хранения.
3. Если условие выполняется (например, в пространстве есть события, хранящиеся дольше указанного срока, или размер хранилища достиг или превышает указанное в условии значение), KUMA переносит все партиции за самую старую дату на диски холодного хранения либо удаляет эти партиции, если диск холодного хранения не настроен или настроен неверно. Это действие повторяется до тех пор, пока в пространстве выполняется заданное условие хранения, например, если после удаления партиций за одну дату размер хранилища все еще превышает заданный в условии максимальный размер.

   При начале и окончании переноса или удалении данных KUMA создает события аудита.

4. Если настроен срок хранения данных в KUMA, при переносе партиций на диски холодного хранения проверяется, выполняются ли на диске заданные условия. Если на диске обнаружены события, хранящиеся дольше срока, заданного в параметре Время хранения событий, который рассчитывается с момента их поступления в KUMA, решение удаляет эти события или все партиции за самую старую дату.

   При удалении данных KUMA создает события аудита.

Если диски кластера ClickHouse заполнены на 95%, самые большие партиции автоматически переносятся на диски холодного хранения. Это действие может происходить больше одного раза в час.

Во время переноса данных сервис хранилища продолжает работать, при этом в разделе веб-интерфейса KUMA Ресурсы → Активные сервисы для него сохраняется зеленый статус. При наведении курсора мыши на значок статуса отображается сообщение о переносе данных. При удалении холодного диска сервис хранилища отображается в желтом статусе.

Особенности хранения событий и доступа к ним

• При использовании для холодного хранения HDFS-дисков необходимо обеспечить защиту данных одним из следующих способов:
  • Настроить отдельный физический интерфейс в сети VLAN, в котором будут расположены только HDFS-диски и кластер ClickHouse.
  • Настроить правила сегментации сети и фильтрации трафика, исключающие прямой доступ к HDFS-диску или перехват трафика к диску со стороны ClickHouse.
• События, находящиеся в кластере ClickHouse и на дисках холодного хранения, одинаково доступны в веб-интерфейсе KUMA. Например, при поиске событий или при просмотре событий, относящихся к алертам.
• Допускается не хранить события или события аудита на дисках холодного хранения. Для этого в параметрах хранилища укажите следующие значения:
  • Если вы не хотите хранить события на дисках холодного хранения, выполните одно из следующих действий:
    • Если в поле Варианты условий хранения выбрано условие хранения в гигабайтах или процентах, в поле Время хранения событий укажите значение 0.
    • Если в поле Варианты условий хранения выбрано условие хранения в днях, в поле Время хранения событий укажите такое же значение дней, как в поле Варианты условий хранения.
  • Если вы не хотите хранить события аудита на дисках холодного хранения, в поле Срок холодного хранения событий аудита укажите значение 0 (дней).

Особенности использования HDFS-дисков

• Перед подключением HDFS-дисков на них необходимо создать директории для каждого узла кластера ClickHouse в формате <устройство HDFS-диска>/<идентификатор шарда>/<идентификатор реплики>. Например, если кластер состоит из двух узлов, на которых расположены две реплики одного шарда, необходимо создать следующие директории:
  • hdfs://hdfs-example-1:9000/clickhouse/1/1/
  • hdfs://hdfs-example-1:9000/clickhouse/1/2/

  События из узлов кластера ClickHouse будут переноситься в директории, в названии которых указаны идентификаторы их шарда и реплики. Если изменить эти параметры узла и при этом не создать соответствующую директорию на HDFS-диске, события при переносе могут быть потеряны.

• HDFS-диски, добавленные к хранилищу, работают в режиме JBOD. Это означает, что при отказе одного из дисков будет потерян доступ к хранилищу. При использовании HDFS следует учитывать необходимость отказоустойчивости и настроить RAID, а также хранение данных из разных реплик на различных устройствах.
• Скорость записи событий в HDFS, как правило, ниже скорости записи событий на локальные диски. Скорость доступа к событиям в HDFS, как правило, значительно ниже скорости доступа к событиям на локальных дисках. При использовании одновременно локальных дисков и HDFS-дисков запись будет происходить в них по очереди.
• HDFS используется только в качестве распределенного хранилища файловых данных ClickHouse. Для сжатия данных используются механизмы сжатия ClickHouse, а не HDFS.
• Сервер ClickHouse должен иметь доступ к соответствующему хранилищу HDFS с правами на запись.

В этом разделе Удаление дисков холодного хранения Отключение, архивирование и подключение партиций

В начало