Требования к аппаратному обеспечению для переноса данных

В этом разделе рассматриваются требования к аппаратному обеспечению и месту на диске для успешного переноса данных.

Этот расчет приведен для схемы развертывания на одном узле.

Требования к внешнему диску

• Размер:

  Необходимо выделить дополнительное место на диске для временного хранения данных в процессе переноса. Для расчета минимального требуемого размер диска можно использовать следующую формулу:

  Disk_size_GB = 2 * ( (N_ioa_alerts + N_ioc_alerts) * 0.00005GB + N_ext_alerts * 0.2GB + 0.8 * Storage_GB + 1GB)

  Здесь:

  • Disk_size_GB – минимальный размер диска.
  • N_ioa_alerts – количество алертов в таблице ioa_alerts.
  • N_ioc_alerts – количество алертов в таблице ioc_scan_ep_alert.
  • N_ext_alerts – количество алертов, полученных с помощью обнаружений внешнего API.
  • Storage_GB – размер хранилища объектов (S3), указанного в веб-интерфейсе KATA. Из этого объема 40% занимает edr_storage_bucket, еще по 20% занимают am-quarantine-bucket и sb-artifacts-bucket.
  • 1GB – максимальный общий размер других экспортируемых данных активов, параметров и правил.
  • Умножение на два в начале формулы требуется для учета дополнительного места, необходимого для создания архива экспорта.
• Оборудование:

  Аппаратные требования зависят от сценария переноса данных телеметрии. Следующие требования относятся к сценарию, в котором данные телеметрии передаются с использованием внешнего диска.

  • Тип: SSD (RAID 0).
  • Производительность: 200 ROPS (операций чтения в секунду), 200 WOPS (операций записи в секунду), ~1 ГБ/сек.
  • Требуемый размер диска рассчитывается путем умножения объема данных Elasticsearch на 2,6. Общий объем данных в Elasticsearch можно рассчитать по следующей формуле:

    <эффективное количество устройств>/15000 * (460GB * <период хранения данных в днях>)/0.65

    Здесь:

    • <эффективное количество хостов> определяется в соответствии с вашей IT-инфраструктурой.
    • <период хранения данных в днях> соответствует значению параметра telemetry-keep-days, указанному при экспорте.

Требования для импорта

Для переноса данных на целевом сервере Kaspersky EDR Expert 8.0 необходимо зарезервировать следующие ресурсы:

Для приведенных ниже расчетов не учитываются ресурсы, необходимые для переноса данных телеметрии. Рекомендуется выделить вдвое больше места, чем было рассчитано на основе Руководства по масштабированию.

• Процессор: 4 ядра.
• Оперативная память: 4 ГБ.
• Доступное место на диске: Storage_GB, размер хранилища объектов (S3), указанного в веб-интерфейсе KATA.

Из требования резервирования следует, что либо текущая нагрузка на Kaspersky EDR Expert 8.0 должна позволять выделить указанные ресурсы, либо импорт должен выполняться в период пониженной нагрузки (в нерабочее время). Также ресурсы, необходимые для импорта, можно выделить за счет запуска импорта данных в периоды низкой загрузки сервера.

Требования для переноса данных телеметрии

Сценарий переноса данных телеметрии, который включает создание коллектора KUMA (типа elastic), требует дополнительных ресурсов.

Для каждого индекса в Elasticsearch необходимо создать отдельный коннектор. Индексов может быть довольно много, так что рекомендуется использовать скрипты для экспорта и импорта телеметрии с отдельным внешним хранилищем (укажите параметр --step third при запуске скрипта).

Чтобы получить список индексов, выполните следующую команду:

docker exec -t $(docker ps -q -f name=elasticsearch.1) curl localhost:9200/_cat/indices?h=index,store.size

Для импорта данных можно создавать и использовать несколько коннекторов. Рекомендуется использовать не более пяти коннекторов одновременно.

Чтобы обеспечить стабильность процесса переноса данных телеметрии, необходимо обеспечить выполнение следующих требований на сервере Kaspersky EDR Expert 8.0, на который будет выполняться перенос данных:

• Для сценария передачи телеметрии без внешнего хранилища:
  • При экспорте из одного индекса скорость передачи составляет 9000 EPS, и требуются следующие дополнительные ресурсы:
    • Процессор: 6 ядра.
    • Оперативная память: 4 ГБ.
  • При одновременном экспорте из пяти индексов скорость передачи составляет 20 000 EPS, и требуются следующие дополнительные ресурсы:
    • Процессор: 12 ядра.
    • Оперативная память: 8 ГБ.

  Дополнительные требования к процессору и ОЗУ можно уменьшить путем переноса коллектора Elasticsearch на отдельный сервер и добавления этого сервера в кластер KUMA в соответствии с инструкцией. В этом случае требования к ресурсам следующие:

  • Ресурсы для отдельного устройства:
    • Для одного индекса: 5 ядер, 1 ГБ оперативной памяти.
    • Для пяти индексов: 10 ядер, 1 ГБ оперативной памяти.
  • Расширение конфигурации сервера Kaspersky EDR Expert 8.0:
    • Для одного индекса: 2 ядра, 4 ГБ оперативной памяти.
    • Для пяти индексов: 4 ядра, 8 ГБ оперативной памяти.

  После завершения процесса переноса данных вы можете удалить коллектор, развернутый на отдельном сервере, чтобы освободить ресурсы.

• Для сценария передачи телеметрии с использованием внешнего хранилища скорость передачи составляет 40 000 EPS и требуется следующее увеличение размеров:
  • Расширение конфигурации сервера Kaspersky EDR Expert 8.0:
    • Процессор: 18 ядра.
    • Оперативная память: 12 ГБ.
  • Если коллектор KUMA на отдельном устройстве:
    • Ресурсы для отдельного хоста: 12 ядер, 1 ГБ оперативной памяти.
    • Расширение конфигурации сервера Kaspersky EDR Expert 8.0: +6 ядер, +12 ГБ ОЗУ.
• При переносе данных телеметрии с использованием внешнего хранилища ресурсы коллектора KUMA могут быть ограничены, независимо от того, находится ли коллектор на отдельном хосте или на сервере OSMP. Рекомендуется ограничить количество ядер процессора, используемых коллектором KUMA Collector, до двух. Обратите внимание, что в результате скорость передачи данных снижается примерно в 2,7 раза до 15 000 EPS.
  • Для коллектора KUMA на сервере OSMP необходимо масштабировать сервер OSMP:
    • Процессор: 4 ядра.
    • Оперативная память: 8 ГБ.
  • Если коллектор KUMA на отдельном устройстве:
    • Ресурсы для отдельного устройства: 3 ядра, 1 ГБ оперативной памяти.
    • Расширение конфигурации сервера OSMP: +3 ядра, оперативной памяти +8 ГБ.

  Чтобы ограничить количество процессоров, выполните следующую команду:

  systemctl set-property kuma-collector-<id>.service CPUQuota=<количество ядер>*100%

  Например, чтобы ограничить количество процессоров на 200% (равное 2 ядрам), выполните команду:

  systemctl set-property kuma-collector-<id>.service CPUQuota=200%

• Пропускная способность сети: не менее 800 Мбит/с.
• События из Elasticsearch, которые хранятся в ClickHouse, имеют примерно тот же размер, что и события, полученные через стандартный коллектор. Соотношение размеров 1:1.
• Дополнительное хранилище для данных телеметрии:
  • Логика хранения данных, перенесенных из KATA, зависит от конфигурации пространств хранилищ KUMA (с учетом срока хранения), в которых коллектор KUMA (типа elastic) будет хранить данные.
  • Передаваемая телеметрия должна быть расположена в отдельном месте.
  • Из-за особенностей процесса переноса данных (последовательная передача данных не гарантируется) рекомендуется выделить вдвое больше места, чем было рассчитано на основе Руководства по масштабированию.