Восстановление в кластере Raft

В этом разделе описаны способы восстановить Ядро KUMA в кластере Raft, узел кластера Raft и кластер Raft.

Восстановить Ядро KUMA из резервной копии можно только в рамках одной версии KUMA. Если вы создадите резервную копию в одной версии KUMA, а восстановление из резервной копии будете выполнять в другой версии, вернется ошибка конфликта версий.

Восстановление Ядра KUMA без смены хоста для core-1

В этой инструкции описано восстановление Ядра KUMA из резервной копии на хосте, указанном в секции kuma_core, на котором было установлено Ядро KUMA.

Чтобы восстановить Ядро KUMA из резервной копии:

Подготовьте кластер к восстановлению. Для этого на каждом хосте, указанном в файле инвентаря в секции kuma_core_peers, выполните следующие действия:
1. В веб-интерфейсе откройте раздел Ресурсы и сервисы → Активные сервисы.
2. Установите флажок рядом с сервисом Ядра KUMA и в панели инструментов или в меню () выберите Копировать идентификатор.
  Идентификатор сервиса Ядра KUMA понадобится вам для остановки сервиса на хосте.
3. Установите флажок рядом с сервисом Ядра KUMA и в панели инструментов или в меню () нажмите Удалить.
4. На хосте кластера Raft, где установлен сервис Ядра KUMA, в консоли командной строки остановите сервис Ядра KUMA:
  sudo systemctl stop kuma-core-<идентификатор сервиса Ядра KUMA>.service
5. На хосте кластера Raft, где установлен сервис Ядра KUMA, удалите рабочую директорию:
  sudo rmdir <имя_директории>
6. На хосте кластера Raft, где установлен сервис Ядра KUMA, удалите службу systemd.
Все сервисы Ядра KUMA остановлены, и серверы готовы к восстановлению кластера.
Восстановите Ядро KUMA из резервной копии одним из следующих способов:
- С помощью REST API:
  curl -k --request POST 'https://<ip_kuma>:7223/api/v3/system/restore' --header 'Authorization: Bearer <token>' --data-binary '@/backup/backup.tar.gz'
- Через веб-интерфейс:
  1. В веб-интерфейсе откройте раздел Ресурсы и сервисы → Активные сервисы и в меню () нажмите Резервное копирование → Восстановить.
  2. В открывшемся окне выберите файл резервной копии, которую нужно восстановить.
    Если в вашем браузере настроены уведомления, в правом верхнем углу отобразится сообщение Восстановление Ядра KUMA выполнено.
Ядро KUMA будет восстановлено, и откроется страница входа в веб-интерфейс.
Если вы хотите обеспечить отказоустойчивость кластера Raft, восстановите остальные узлы кластера:
- Если вы хотите добавить серверы для сервисов Ядра KUMA, используйте установщик expand.sh и файл инвентаря expand.inventory.yml, чтобы расширить кластер Raft.
- Если вы используете прежние узлы:
  1. Получите идентификатор сервиса. Для этого в веб-интерфейсе в разделе Ресурсы → Активные сервисы откройте контекстное меню Ядра KUMA и нажмите Копировать идентификатор.
  2. Переустановите сервисы Ядра KUMA, указав параметр --raft.join, чтобы включить узлы в кластер Raft, с помощью следующей команды:
    sudo /opt/kaspersky/kuma/kuma core --raft.join <FQDN начального узла кластера>:7210 --pair.fingerprint <идентификатор отпечатка CA-сертификата Ядра KUMA> --id <идентификатор сервиса Ядра KUMA> --install
    
    где:
    
    <идентификатор отпечатка CA-сертификата Ядра KUMA> - идентификатор отпечатка CA-сертификата, используемый для проверки подлинности при подключении сервиса.
    
    Параметр --pair.fingerprint является необязательным. При создании сервиса KUMA автоматически добавляет этот параметр в команду установки и указывает идентификатор отпечатка.
    Вы можете выполнить установку сервиса без указания параметра --pair.fingerprint. В этом случае KUMA использует значение insecure по умолчанию, что не обеспечивает проверку подлинности CA-сертификата Ядра KUMA при установлении соединения. Если используется значение insecure, обновление отпечатка после перевыпуска CA-сертификата не требуется.
    
    Для обеспечения проверки подлинности CA-сертификата Ядра KUMA рекомендуется не удалять параметр --pair.fingerprint с идентификатором отпечатка при установке сервиса. При перевыпуске CA-сертификата необходимо скопировать новый отпечаток сертификата в веб-интерфейсе и перезапустить сервис с обновленным значением параметра.
Установите сервис Метрики с помощью установщика expand.sh и файла инвентаря expand.inventory.yml Перенесите данные из директории metrics на хост с восстановленным Ядром KUMA.

Ядро KUMA восстановлено из резервной копии.

Восстановление Ядра KUMA со сменой хоста для core-1

В этой инструкции описано восстановление Ядра KUMA из резервной копии на новом хосте.

Чтобы восстановить Ядро KUMA из резервной копии:

Подготовьте кластер к восстановлению. Для этого на всех хостах кластера Raft выполните следующие действия:
1. В веб-интерфейсе откройте разделе Ресурсы и сервисы → Активные сервисы.
2. Установите флажок рядом с сервисом Ядра KUMA и в панели инструментов или в меню () нажмите Копировать идентификатор.
  Идентификатор сервиса Ядра KUMA понадобится вам для остановки сервиса на хосте.
3. Установите флажок рядом с сервисом Ядра KUMA и в панели инструментов или в меню () нажмите Удалить.
4. На хосте кластера Raft, где установлен сервис Ядра KUMA, в консоли командной строки остановите сервис Ядра KUMA с помощью следующей команды:
  sudo systemctl stop kuma-core-<идентификатор сервиса Ядра KUMA, скопированный в веб-интерфейсе>.service
5. На хосте кластера Raft, где установлен сервис Ядра KUMA, удалите рабочую директорию:
  sudo rmdir <имя_директории>
6. На хосте кластера Raft, где установлен сервис Ядра KUMA, удалите службу systemd.
Все сервисы Ядра KUMA остановлены, и серверы готовы к восстановлению кластера.
Установите KUMA на одном сервере на новом хосте с помощью установщика install.sh и файла инвентаря single.inventory.yml, указав значение параметра deploy_example_services: false.
На указанном в файле инвентаря хосте будет установлено только Ядро KUMA.
Восстановите Ядро KUMA из резервной копии одним из следующих способов:
- С помощью REST API:
  curl -k --request POST 'https://<ip_kuma>:7223/api/v3/system/restore' --header 'Authorization: Bearer <token>' --data-binary '@/backup/backup.tar.gz'
- Через веб-интерфейс:
  1. В веб-интерфейсе откройте раздел Ресурсы → Активные сервисы и в меню () выберите Резервное копирование → Восстановить.
  2. В открывшемся окне выберите файл резервной копии, которую нужно восстановить.
    Если в вашем браузере настроены уведомления, в правом верхнем углу отобразится сообщение Восстановление Ядра KUMA выполнено.
Начальный узел кластера с Ядром KUMA будет восстановлен, и откроется страница входа в веб-интерфейс.
Если вы хотите обеспечить отказоустойчивость кластера Raft, выполните восстановление на остальных узлах кластера:
- Если вы хотите добавить серверы для сервисов Ядра KUMA, используйте установщик expand.sh и файл инвентаря expand.inventory.yml, чтобы расширить кластер Raft.
- Если вы используете прежние узлы:
  1. Получите идентификатор сервиса. Для этого в веб-интерфейсе в разделе Ресурсы → Активные сервисы откройте контекстное меню Ядра KUMA и нажмите Копировать идентификатор.
  2. Переустановите сервисы Ядра KUMA, указав параметр --raft.join, чтобы включить узлы в кластер Raft, с помощью следующей команды:
    sudo /opt/kaspersky/kuma/kuma core --raft.join <FQDN начального узла кластера>:7210 --pair.fingerprint <идентификатор отпечатка CA-сертификата Ядра KUMA> --id <идентификатор сервиса> --install
    
    где:
    
    <идентификатор отпечатка CA-сертификата Ядра KUMA> - идентификатор отпечатка CA-сертификата, используемый для проверки подлинности при подключении сервиса.
    
    Параметр --pair.fingerprint является необязательным. При создании сервиса KUMA автоматически добавляет этот параметр в команду установки и указывает идентификатор отпечатка.
    Вы можете выполнить установку сервиса без указания параметра --pair.fingerprint. В этом случае KUMA использует значение insecure по умолчанию, что не обеспечивает проверку подлинности CA-сертификата Ядра KUMA при установлении соединения. Если используется значение insecure, обновление отпечатка после перевыпуска CA-сертификата не требуется.
    
    Для обеспечения проверки подлинности CA-сертификата Ядра KUMA рекомендуется не удалять параметр --pair.fingerprint с идентификатором отпечатка при установке сервиса. При перевыпуске CA-сертификата необходимо скопировать новый отпечаток сертификата в веб-интерфейсе и перезапустить сервис с обновленным значением параметра.
Переподключите сервисы к новому Ядру KUMA с помощью следующей команды:
sudo /opt/kaspersky/kuma/kuma collector/correlator/storage/eventRouter --core https://<FQDN сервера Ядра KUMA>:<порт, используемый Ядром KUMA для внутренних коммуникаций (по умолчанию используется порт 7210)> --pair.fingerprint <идентификатор отпечатка CA-сертификата Ядра KUMA> --id <идентификатор сервиса> --api.port <порт, используемый для связи с устанавливаемым компонентом> --install
Установите сервис Метрики с помощью установщика expand.sh и файла инвентаря expand.inventory.yml. Перенесите данные из директории metrics на хост с восстановленным Ядром KUMA.
Перенастройте балансировщик, указав хосты с установленным сервисом Ядра KUMA.

Восстановление из резервной копии выполнено.

Восстановление узла кластера Raft

Если один или несколько узлов повреждены, но кластер по-прежнему работоспособен, вы можете восстановить узлы кластера Raft.

Восстановление узлов кластера Raft состоит из следующих этапов:

Удаление узла из кластера Raf
Удалите поврежденный узел из кластера Raft.
Создание узла с сервисом Ядра KUMA и добавление его в кластер с помощью параметра --raft.join
Добавьте новый узел с сервисом Ядра KUMA. Для этого создайте узел с помощью установщика expand.sh и файла инвентаря expand.inventory.yml. Затем создайте в веб-интерфейсе и установите сервис Ядра KUMA на сервере, указанном в файле инвентаря expand.inventory.yml в секции kuma_core_peers, с помощью команды установки с использованием параметра --raft.join. После этого новый узел будет добавлен в кластер Raft.

Новый узел получит полную копию состояния узла-лидера. При этом временные файлы, в том числе артефакты фоновых задач, которые могли находиться на поврежденном узле, восстановлены не будут.

Восстановление кластера Raft

Если большинство узлов кластера Raft повреждены и кластер неработоспособен, доступны следующие способы восстановления:

Из текущего состояния выбранного узла

Чтобы восстановить кластер Raft из текущего состояния выбранного узла:

Подготовьте кластер к восстановлению:
1. Выберите узел, который станет начальным узлом нового кластера. На этом узле нужно будет остановить сервис Ядра KUMA, но не удалять рабочую директорию и файл systemd.
2. На всех узлах кластера остановите сервис Ядра KUMA:
  sudo systemctl stop kuma-core-<идентификатор_сервиса_Ядра_KUMA>.service
3. На всех узлах кластера, за исключением начального узла, удалите рабочие директории:
  sudo rmdir <имя_директории>
4. На всех узлах кластера, за исключением начального узла, удалите службы systemd.
Все сервисы Ядра KUMA остановлены. Серверы готовы к восстановлению кластера.
Восстановите кластер Raft с одним Ядром KUMA:
1. На начальном узле нового кластера Raft создайте следующий файл:
  sudo touch /opt/kaspersky/kuma/core/<service_id>/raft/.reset
2. На начальном узле кластера Raft в файле systemd удалите параметр --raft.join и примените изменения, выполнив следующую команду:
  sudo systemctl daemon-reload
3. На начальном узле кластера Raft запустите Ядро KUMA:
  sudo systemctl start kuma-core-<идентификатор сервиса Ядра KUMA>.service
Кластер Raft восстановлен с одним Ядром KUMA. На остальных узлах сервисы Ядра KUMA остановлены, и узлы исключены из кластера.
Если вы хотите обеспечить отказоустойчивость кластера Raft, восстановите остальные узлы кластера:
- Если вы хотите добавить серверы для сервисов Ядра KUMA, используйте установщик expand.sh и файл инвентаря expand.inventory.yml, чтобы расширить кластер Raft.
- Если вы используете прежние узлы:
  1. Получите идентификатор сервиса. Для этого в веб-интерфейсе в разделе Ресурсы → Активные сервисы откройте контекстное меню Ядра KUMA и нажмите Копировать идентификатор.
  2. Переустановите сервисы Ядра KUMA, указав параметр --raft.join, чтобы включить узлы в кластер Raft, с помощью следующей команды:
    sudo /opt/kaspersky/kuma/kuma core --raft.join <FQDN начального узла кластера>:7210 --id <идентификатор сервиса Ядра KUMA> --install

Кластер будет восстановлен. Сертификаты сервисов, таких как коллекторы, корреляторы, хранилища и другие, сбрасывать не нужно.

С помощью резервной копии

Резервная копия не содержит временные файлы, включая артефакты фоновых задач.

Чтобы восстановить кластер Raft из резервной копии:

Подготовьте кластер к восстановлению:
1. На каждом узле кластера остановите сервис Ядра KUMA:
  sudo systemctl stop kuma-core-<идентификатор_сервиса_Ядра_KUMA>.service
2. На каждом узле, где установлен сервис Ядра KUMA, удалите рабочую директорию:
  sudo rmdir <имя_директории>
3. На каждом узле, где установлен сервис Ядра KUMA, удалите службу systemd.
Все сервисы Ядра KUMA остановлены. Серверы готовы к восстановлению кластера.
Восстановите кластер Raft с одним сервисом Ядра KUMA:
1. Выберите сервер, который станет новым начальным узлом кластера Raft, и разверните новый начальный узел кластера без параметра --raft.join:
  sudo /opt/kaspersky/kuma/kuma core --raft.node.listen 0.0.0.0:7209 --raft.node.addr "$(hostname -f):7209" --health 0.0.0.0:7208 --internal 0.0.0.0:7210 --private 0.0.0.0:7220 --cybertrace 0.0.0.0:7222 --rest 0.0.0.0:7223 --install
2. Выполните восстановление из резервной копии с помощью REST API.
Восстановление кластера Raft из резервной копии выполнено. Восстановлен начальный узел кластера с Ядром KUMA.
Если вы хотите обеспечить отказоустойчивость кластера Raft, выполните восстановление на остальных узлах кластера:
- Если вы хотите добавить серверы для сервисов Ядра KUMA, используйте установщик expand.sh и файл инвентаря expand.inventory.yml, чтобы расширить кластер Raft.
- Если вы используете прежние узлы:
  1. Получите идентификатор сервиса. Для этого в веб-интерфейсе в разделе Ресурсы → Активные сервисы откройте контекстное меню Ядра KUMA и нажмите Копировать идентификатор.
  2. Переустановите сервисы Ядра KUMA, указав параметр --raft.join, чтобы включить узлы в кластер Raft, с помощью следующей команды:
    sudo /opt/kaspersky/kuma/kuma core --raft.join <FQDN начального узла кластера>:7210 --id <идентификатор сервиса Ядра KUMA> --install

Кластер будет восстановлен. Сертификаты сервисов, таких как коллекторы, корреляторы, хранилища и другие, сбрасывать не нужно. Если список узлов кластера после восстановления изменился по сравнению с исходным, измените значение параметра --core в файле systemd, чтобы сервисы обращались к нужному Ядру KUMA.

Назад Восстановление в кластере Kubernetes

Обслуживание хостов в кластере Kubernetes Вперед

Вам помогла эта статья?

Что нам нужно улучшить?

Спасибо за ваш отзыв, вы помогаете нам становиться лучше!