Перенос данных S3-совместимого файлового хранилища

Развернуть всё | Свернуть всё

В Kaspersky Container Security 2.5 реализуется автоматический процесс переноса данных хранилища S3 из системы хранения MinIO в SeaweedFS с использованием специального пакета Helm Chart.

Процесс переноса данных позволяет:

• выполнить перенос данных без остановки работы Kaspersky Container Security;
• продолжать запись в существующее хранилище S3 во время переноса данных.

Этот способ обновления не является обязательным и предоставляется как инструмент для упрощенного и контролируемого перехода на SeaweedFS. Решение о применении этого способа принимается командой эксплуатации. Процесс обновления предполагает параллельную работу систем хранения MinIO и SeaweedFS до момента завершения переноса данных и обновления Kaspersky Container Security.

Перенос данных хранилища S3 из системы хранения MinIO в SeaweedFS состоит из следующих этапов:

1. Подготовка к переносу данных

   Полностью изучите представленную в этом разделе информацию до запуска процесса переноса данных.

   1. Подготовка условий для обновления

      Перед запуском процесса переноса данных удостоверьтесь, что соблюдаются следующие условия:

      • Установлено решение Kaspersky Container Security с действующей системой хранения MinIO для хранилища S3. Компонент Файловое хранилище (kcs-s3) работает в обычном режиме.
      • Новая система хранения SeaweedFS разворачивается в этом же пространстве имен с помощью специального пакета Helm Chart.
      • Учетные данные (имя пользователя и пароль) для доступа к старому и новому хранилищу S3 совпадают.

        Учетные данные нужно указать в файле values.yaml в специальном пакете Helm Chart.

      • Ресурсов кластера достаточно для одновременной работы старого и нового хранилища S3.
   2. Подготовка новых компонентов для переноса данных

      Подготовьте следующие новые компоненты для переноса данных хранилища S3:

      • Специальный пакет Helm Chart kcs-s3-upgrade для развертывания SeaweedFS и запуска переноса данных.
      • Новые образы контейнеров, необходимые для включения переноса данных на новый S3: initer:v2.5.0 и external/seaweedfs:4.23.1.
2. Перенос данных хранилища S3
   1. Установка специального пакета Helm Chart kcs-s3-upgrade

      Специальный пакет Helm Chart kcs-s3-upgrade устанавливается в том пространстве имен, в котором развернуто решение.

      Значения учетных данных и s3-бакета должны совпадать с уже существующими в MinIO значениями этих параметров.

      Установка kcs-s3-upgrade осуществляется с помощью следующей команды:

      ```sh

      helm upgrade --install kcs-s3-upgrade kcs-s3-upgrade-2.5.0.tgz \

      --timeout=31m \

      --namespace <namespace> \

      --set secret.s3infracreds.envs.MINIO_ROOT_USER="minio" \

      --set secret.s3infracreds.envs.MINIO_ROOT_PASSWORD="***" \

      --set configmap.s3infraconfig.envs.S3_BUCKET_NAME="reports" \

      --set configmap.s3infraconfig.envs.TLS_INTERNAL=true \

      --set configmap.s3infraconfig.envs.MIRROR_INTERVAL_SECONDS="60" \

      --set default.registryRoot="repo.kcs.kaspersky.com/images" \

      --set job.kcs-s3-migration-on.enabled=true

      ```

      Объект Job поддерживает интеграцию с HashiCorp Vault с помощью создания аннотаций для Vault-инжектора.
      Если вы указываете секреты в секции vault, запуск миграции будет отложен на 60 секунд.

      При установке Helm Chart kcs-s3-upgrade будет развернута система хранения SeaweedFS. Существующая система хранения MinIO также продолжит работать.

   2. Запуск объекта Job для осуществления переноса данных

      Для переноса данных объект Job использует команду mc mirror. Если бакет для хранения данных S3 отсутствует, перед копированием он автоматически создается в новой системе хранения.

      Вы можете совместить запуск объекта Job с установкой пакета Helm Chart kcs-s3-upgrade (job.kcs-s3-migration-on.enabled=true).

   3. Контроль лог-сообщений объекта Job

      Вам нужно проконтролировать наличие следующих сообщений скрипта в логах объекта Job kcs-s3-migration-on-job-?????:

      • сообщение об успешном подключении к обеим системам хранения данных s3;
      • сообщение о начале миграции;
      • сообщение об успешном окончании миграции.

        Пример ожидаемых сообщений: ```raw S3 connection OK: https://kcs-s3:9000 S3 connection OK: https://kcs-seaweedfs:9000 Starting migration: reports Migration completed successfully

   4. Периодический запуск объекта Job.

      После успешного переноса данных объект Job продолжит существовать и (в зависимости от значения указанной переменной MIRROR_INTERVAL_SECONDS) периодически будет запускаться, чтобы переносить новые данные.

      По умолчанию объект Job будет работать 24 часа (86400 секунд). Вы можете изменить максимальную длительность работы объекта Job, изменив значение параметра job.kcs-s3-migration-on.activeDeadlineSeconds. Значение этого параметра указывается в секундах.

   5. Удаление пакета специального Helm Chart

      После успешного переноса данных удалите созданный для переноса данных пакет Helm Chart с помощью следующей команды:

      ```sh

      helm -n <namespace> uninstall kcs-s3-upgrade

      ```

   6. Обновление и запуск Kaspersky Container Security с новой системой хранения данных

      Для запуска нового хранилища вам нужно применить пакет Helm Chart версии 2.5.0 или выше.

      Если вы используете конфигурационный файл values.yaml, не входящий в состав пакета Helm Chart, убедитесь, что в нем отсутствуют следующие конструкции от ранее применявшейся системы хранения данных: default.kcs-s3, persistentVolume.kcs-s3 и component.kcs-s3.

      Промежуточный пакет Helm Chart для обновления вы можете скачать, выполнив следующую команду:

      helm pull oci://repo.kcs.kaspersky.com/charts/kcs-s3-upgrade --version 2.5.0

   7. Подключение к консоли управления и проверка работоспособности

      У вас должна быть возможность формировать и сохранять отчеты, а также скачивать ранее сформированные отчеты.

Данные перенесены, вы можете работать с хранилищем S3 в системе хранения SeaweedFS.

После переноса данных хранилища s3 из системы хранения MinIO в SeaweedFS останутся PVC и PV с данными старой системы хранения. Все дальнейшие действия с PVC и PV осуществляются на усмотрение администратора безопасности.