Отключение, архивирование и подключение партиций

Если вы хотите оптимизировать дисковое пространство и ускорить выполнение запросов в OSMP, вы можете отключить в ClickHouse партиции с данными, архивировать партиции или перенести их на носитель. При необходимости вы можете снова подключить необходимые партиции и выполнить обработку данных.

Отключение партиций

Чтобы отключить партиции, выполните следующие шаги:

1. Определите шард, на всех репликах которого вы планируете отключить партицию.
2. Получите идентификатор партиции с помощью следующей команды:

   sudo /opt/kaspersky/kuma/clickhouse/bin/client.sh -d kuma --multiline --query "SELECT partition, name FROM system.parts;" |grep 20231130

   В приведенном примере в результате выполнения команды будет получен идентификатор партиции от 30 ноября 2023 года.

3. На каждой реплике шарда отключите партицию с помощью следующей команды, указав требуемый идентификатор:

   sudo /opt/kaspersky/kuma/clickhouse/bin/client.sh -d kuma --multiline --query "ALTER TABLE events_local_v2 DETACH PARTITION ID '<идентификатор партиции>'"

В результате партиция отключена на всех репликах шарда. Теперь вы можете перенести директорию с данными на носитель или заархивировать партицию.

Архивирование партиций

Чтобы архивировать отключенные партиции:

1. Найдите отключенную партицию в дисковой подсистеме сервера:

   sudo find /opt/kaspersky/kuma/clickhouse/data/ -name <идентификатор отключенной партиции>\*

2. Перейдите в директорию detached с отключенной партицией и, находясь в директории detached, выполните архивирование:

   sudo cd <путь к директории detached, содержащую отключенную партицию>

   sudo zip -9 -r detached.zip *

   Например:

   sudo cd /opt/kaspersky/kuma/clickhouse/data/store/d5b/d5bdd8d8-e1eb-4968-95bd-d8d8e1eb3968/detached/

   sudo zip -9 -r detached.zip *

Архивирование партиции выполнено.

Подключение партиций

Чтобы подключить архивные партиции к OSMP:

1. Увеличьте значение параметра Срок хранения.

   OSMP удаляет данные на основании даты, указанной в поле Timestamp, когда событие получено, и на основании значения параметра Срок хранения, которое вы задали для хранилища.

   Перед тем как выполнять восстановление архивных данных, убедитесь, что значение параметра Срок хранения перекрывает дату из поля Timestamp. В противном случае, архивные данные будут удалены в течение 1 часа.

2. Поместите архивную партицию в раздел detached вашего хранилища и распакуйте архив:

   sudo unzip detached.zip -d <путь к директории detached>

   Например:

   sudo unzip detached.zip -d /opt/kaspersky/kuma/clickhouse/data/store/d5b/d5bdd8d8-e1eb-4968-95bd-d8d8e1eb3968/detached/

3. Выполните команду подключения партиции:

   sudo /opt/kaspersky/kuma/clickhouse/bin/client.sh -d kuma --multiline --query "ALTER TABLE events_local_v2 ATTACH PARTITION ID '<идентификатор партиции>'"

   Повторите шаги распаковки архива и подключения партиции на каждой реплике шарда.

В результате архивная партиция подключена и события снова доступны для поиска.