Управление динамикой накопления данных

Развернуть всё | Свернуть всё

В результате работы компонентов Kaspersky Container Security накапливается большой объем данных, для хранения которых выделяются значительные ресурсы дискового пространства. Вы можете управлять динамикой накопления данных с помощью ограничения срока хранения и очистки базы данных.

Самую большую нагрузку на выделенное дисковое пространство для хранения данных осуществляют следующие компоненты решения:

• СУБД PostgreSQL.

  Вы можете временно снизить использование пространства базой данных с помощью команды vacuum. Для этого необходимо подключиться к контейнеру kcs-postgres, например, с помощью команды kubectl exec:

  kubectl exec -it kcs-postgres-0 -n kcs -- psql -U pguser -d api -c "VACUUM FULL;"

  Вы можете снизить риск полного заполнения базы данных, изменив срок хранения наиболее ресурсоемких данных: результатов сканирований и событий в журнале событий безопасности.

  Чтобы снизить риск полного заполнения базы данных:

  1. В конфигурационном файле values.yaml измените параметры следующих переменных:
     • EVENT_LIFETIME_HOURS – переменная, определяющая срок хранения событий в журнале событий безопасности.
     • SCAN_LIFETIME_HOURS – переменная, определяющая срок хранения истории результатов сканирования.

     Значения переменных указываются в часах, минимально допустимое значение – 1 час. По умолчанию установлено 2160 часов (90 дней).

  2. Выполните команду helm upgrade, например:

     helm upgrade kcs . --namespace kcs-namespace --values values.yaml

  Перед развертыванием модуля основной бизнес-логики решения с измененными значениями указанных переменных требуется остановить работу модуля основной бизнес-логики решения (kcs-middleware) и брокера агентов (kcs-ab). Если этого не сделать, эти компоненты продолжат обрабатывать данные при выполнении очистки и могут заблокировать этот процесс.

  В тестовых (пилотных) инфраструктурах, где не требуется поддержание целостности и согласованности данных и даже допускается их потеря, Вы можете применить более быстрый способ очистки. Для этого необходимо удалить PostgreSQL PV и создать PostgreSQL PV заново без данных. Созданный Persistent Volume может быть аналогичного или большего размера.

  Для оптимизации объема хранения в PostgreSQL в Kaspersky Container Security 2.5 с помощью конфигурационного файла values.yaml вы можете настроить следующие параметры хранения записей в истории сканирования образа:

  • MAX_DIGESTS_PER_IMAGE – максимальное количество записей в истории сканирования образа, которые хранятся в базе данных. По умолчанию установлено значение 5.
  • SCAN_DELETE_DAYS – срок хранения записей в истории сканирования образа в днях, по истечению которого записи удаляются. По умолчанию установлено значение 180.
• S3-совместимое файловое хранилище.

  Kaspersky Container Security использует S3-совместимое файловое хранилище только для хранения файлов отчетов.

  Хранение файлов в S3-совместимом файловом хранилище осуществляется с помощью бакетов (англ. bucket), которые представляют собой сущности для организации хранения в хранилище. Сроки хранения и удаления отчетов устанавливаются в переменных окружения инструмента ротации в составе модуля основной бизнес-логики решения (middleware). Вы можете настроить параметры ротации с помощью конфигурационного файла values.yaml в пакете Helm Chart или запроса Kaspersky Container Security OpenAPI.

  Решение поддерживает два сценария ротации (удаления) файлов с помощью квот:

  • по времени: устанавливается квота по времени хранения объектов, по истечению которого файлы удаляются.
  • по уровню заполнения бакета: устанавливается квота, которая контролирует уровень заполнения бакета в процентах от имеющегося объема бакета.

    Значение квоты указывается в конфигурационном файле values.yaml в следующих переменных окружения:

    • Если для хранения отчетов используется внешний S3-бакет, квота указывается в переменной S3_EXT_QUOTA.
    • Если для хранения отчетов используется компонент Файловое хранилище (kcs-s3), по умолчанию квота устанавливается равной объему PV внутреннего S3-бакета. Вы можете изменить квоту внутреннего бакета, добавив в конфигурационный файл values.yaml переменную S3_QUOTA и указав необходимое значение.

    Параметры S3_EXT_QUOTA и S3_QUOTA можно указать только с помощью конфигурационного файла values.yaml в пакете Helm Chart при установке или обновлении решения.

    Процесс очистки бакета запускается при достижении значения, указанного в переменной quota_percent, и сначала из бакета удаляются наиболее старые объекты.

    Файлы, не привязанные с помощью UUID к отчетам в Kaspersky Container Security, удаляются из S3-совместимого файлового хранилища автоматически.

  Далее в таблице представлены переменные окружения инструмента ротации, их минимальные и максимальные значения, а также значения, установленные в конфигурационном файле по умолчанию.

  Переменные окружения инструмента ротации

  Переменная	Описание	Минимальное значение	Максимальное значение	Значение по умолчанию
  S3_ROTATE_BY_DAYS	Удаление файлов по истечению времени хранения в днях.			false
  S3_ROTATE_BY_QUOTA	Удаление файлов по достижению квоты.			false
  S3_ROTATIONS_PERIOD_HOURS	Период в часах, по истечению которого удаляются файлы.	1	8760 (один год)	24
  S3_RETENTION_DAYS	Период хранения файлов в днях.	1	1095 (три года)	30
  S3_EXT_QUOTA	Квота на уровень заполнения бакета при использовании внешнего S3-бакета для хранения отчетов. Значение указывается с двоичной приставкой (например, 100GI, 500MI).			8Gi
  S3_QUOTA_PERCENT	Уровень заполнения бакета в процентах, при достижении которого запускается ротация файлов.	1	99	90
  S3_RETENTION_QUOTA_ROTATE_PERCENT	Уровень заполнения бакета, до которого осуществляется ротация файлов.	1	99	60

  Вы можете изменять параметры инструмента ротации (кроме S3_EXT_QUOTA и S3_QUOTA) и просматривать их значения с помощью следующих методов Kaspersky Container Security Public API:

  • PUT – изменение политики ротации S3-бакетов, например:

    PUT /api/v1/storage/config

    Content-Type: application/json

    Authorization: Bearer <token>

    {

    "rotate_by_days": true,

    "rotate_by_quota": true,

    "rotation_period_hours" : 24,

    "retention_days": 90,

    "quota_percent": 90,

    "retention_quota_rotate_percent": 60

    }

  • GET – получение данных о политике ротации S3-бакетов.

  Администратор кластера при необходимости также может удалить данные из хранилища вручную.

  Чтобы очистить хранилище вручную необходимо выполнить следующие действия:

  1. Подключиться к компоненту Файловое хранилище (kcs-s3) с использованием опции port forward.
  2. Скачать все отчеты и при необходимости сохранить их в другом месте для дальнейшего хранения.
  3. Удалить данные.

  Решение отображает информацию о взаимодействии middleware с S3-совместимым файловым хранилищем в разделах Администрирование → События → Алерты и Администрирование → События → Администрирование, а также отправляет сообщения об этих событиях в подключенную SIEM-систему.

• СУБД ClickHouse.

  Настройки таблиц в базе данных Сlickhouse, которые использует решение, предполагают их постоянное очищение. Если нагрузка в инфраструктуре очень большая, ресурсы могут не успевать освобождаться. В этом случае вы можете увеличить объем Persistent Volume штатными средствами кластера.

  Сроки хранения и получения данных устанавливаются в переменных окружения компонента Event Broker, который обрабатывает данные в ClickHouse. Далее в таблице представлены переменные окружения компонента Event Broker, их минимальные, максимальные и установленные по умолчанию значения.

  Переменные окружения компонента Event Broker

  Переменная	Описание	Минимальное значение	Максимальное значение	Значение по умолчанию
  PARTITION_VOLUME	Размер партиции. Значение параметра указывается в часах.	4	24	24
  PARTITION_STORAGE_COUNT	Количество хранимых партиций. При расчете объема хранения необходимо учитывать дополнительную партицию, которая находится в процессе заполнения.	2	90	2
  MAIN_STORAGE_TIME	Время осуществления переноса данных из горячего хранилища в холодное. Значение параметра указывается в минутах. Параметр не применяется для экземпляров решения с одним диском.	30	720	30

  Параметры хранения данных взаимосвязаны следующим образом:

  • Если вы указали PARTITION_VOLUME = 24 и PARTITION_STORAGE_COUNT = 2, срок хранения данных составляет двое суток (48 часов).
  • Значение времени хранения данных до удаления (TTL) рассчитывается по следующей формуле:

    TTL = PARTITION_VOLUME × PARTITION_STORAGE_COUNT

    Минимальное значение TTL – 8 часов, максимальное значение – 2160 часов. По умолчанию установлено значение 48 часов.

  Мониторинг свободного дискового пространства и динамики его использования требуется организовать самостоятельно с помощью сторонних утвержденных в рамках инфраструктуры решения инструментов.

Резервное копирование и восстановление данных