Отключение, архивирование и подключение партиций

Если вы хотите оптимизировать дисковое пространство и ускорить выполнение запросов в KUMA, вы можете отключить в ClickHouse партиции с данными, архивировать партиции или перенести их на носитель. При необходимости вы можете снова подключить необходимые партиции и выполнить обработку данных.

Вы также можете использовать созданные архивы с партициями в качестве резервных копий этих партиций.

Отключение партиций

Чтобы отключить партиции:

1. Выберите шард, на всех репликах которого вы планируете отключить партицию.
2. Получите идентификатор партиции с помощью следующей команды:

   sudo /opt/kaspersky/kuma/storage/<идентификатор хранилища>/deps/clickhouse/bin/client.sh -d kuma --multiline --query "SELECT partition, name FROM system.parts;" |grep 20231130

   В приведенном примере в результате выполнения команды будет получен идентификатор партиции от 30 ноября 2023 года.

3. На каждой реплике шарда отключите партицию с помощью следующей команды, указав полученный идентификатор:

   sudo /opt/kaspersky/kuma/storage/<идентификатор хранилища>/deps/clickhouse/bin/client.sh -d kuma --multiline --query "ALTER TABLE events_local_v2 DETACH PARTITION ID '<идентификатор партиции>'"

Партиция отключена на всех репликах шарда. Теперь вы можете перенести данные на носитель или заархивировать партицию.

Архивирование партиций

Чтобы архивировать отключенные партиции:

1. Найдите отключенную партицию в дисковой подсистеме сервера:

   sudo find /opt/kaspersky/kuma/clickhouse/data/ -name <идентификатор отключенной партиции>\*

2. Перейдите в директорию detached с отключенной партицией и выполните архивирование:

   sudo cd <путь к директории detached, содержащей отключенную партицию>

   sudo zip -9 -r detached.zip *

   Пример

   sudo cd /opt/kaspersky/kuma/clickhouse/data/store/d5b/d5bdd8d8-e1eb-4968-95bd-d8d8e1eb3968/detached/

   sudo zip -9 -r detached.zip *

Архивирование партиции выполнено.

Подключение партиций

Чтобы подключить архивные партиции к решению:

1. В веб-интерфейсе откройте раздел Ресурсы → Хранилище и в параметрах используемого хранилища увеличьте значение параметра Время хранения событий.

   Данные удаляются в соответствии с датой, указанной в поле Timestamp (когда событие получено), и в соответствии со значением параметра Время хранения событий, которое вы задали для хранилища.

   Перед тем как выполнять восстановление архивных данных, убедитесь, что значение параметра Время хранения событий больше даты, указанной в поле Timestamp. В противном случае, архивные данные будут удалены в течение 1 часа.

2. Поместите архивную партицию в директорию detached вашего хранилища и распакуйте архив:

   sudo unzip detached.zip -d <путь к директории detached>

   Пример

   sudo unzip detached.zip -d /opt/kaspersky/kuma/clickhouse/data/store/d5b/d5bdd8d8-e1eb-4968-95bd-d8d8e1eb3968/detached/

3. Подключите партицию с помощью команды:

   sudo /opt/kaspersky/kuma/storage/<идентификатор хранилища>/deps/clickhouse/bin/client.sh -d kuma --multiline --query "ALTER TABLE events_local_v2 ATTACH PARTITION ID '<идентификатор партиции>'"

4. Повторите шаги распаковки архива и подключения партиции на каждой реплике шарда.

Архивная партиция подключена, и события снова доступны для поиска.