Рекомендуемые требования к оборудованию
В этом разделе приведены требования к оборудованию для обработки различных вариантов потока событий в секунду (Events per Second, далее EPS), поступающих в KUMA.
В таблице ниже приведены аппаратные и программные требования к оборудованию для установки компонентов KUMA, исходя из представления, что кластер ClickHouse принимает только запросы INSERT. Требования к оборудованию для удовлетворения потребностей по запросам SELECT рассчитывается отдельно под конкретный профиль использования СУБД заказчика.
Рекомендуемые требования к оборудованию для хранилищ кластера ClickHouse
Конфигурацию оборудования необходимо подбирать исходя из профиля нагрузки системы. Допустимо использовать конфигурацию типа "All-in-one" при обрабатываемом потоке событий до 10 000 EPS и при использовании графических панелей, поставляемых с системой.
KUMA поддерживает работу с процессорами Intel или AMD с поддержкой набора инструкций SSE 4.2 и набора инструкций AVX.
|
До 3000 EPS |
До 10 000 EPS |
До 20 000 EPS |
До 50 000 EPS |
|---|---|---|---|---|
Конфигурация |
Установка на одном сервере. Одно устройство. Характеристики устройства: От 16 потоков или vCPU. От 32 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – SSD*. Скорость передачи данных – от 100 Мбит/с.
|
Установка на одном сервере. Одно устройство. Характеристики устройства: От 24 потоков или vCPU. От 64 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – SSD*. Скорость передачи данных - от 100 Мбит/с.
|
1 сервер для Ядра + 1 сервер для Коллектора + 1 сервер для Коррелятора + 3 выделенных сервера с ролью Кипера + 2 сервера для Хранилища* *Рекомендуемая конфигурация. 2 сервера для Хранилища используются при конфигурации ClickHouse с 2 репликами в каждом шарде для обеспечения отказоустойчивости и доступности собранных в хранилище событий. Если требования отказоустойчивости к хранилищу не применяются, допустимо использовать конфигурацию ClickHouse с 1 репликой в каждом шарде и использовать, соответственно, 1 сервер для Хранилища. |
1 сервер для Ядра + 2 сервера для Коллектора + 1 сервер для Коррелятора + 3 выделенных сервера с ролью Кипера + 4 сервера для Хранилища* *Рекомендуемая конфигурация. 4 сервера для Хранилища используются при конфигурации ClickHouse с 2 репликами в каждом шарде для обеспечения отказоустойчивости и доступности собранных в хранилище событий. Если требования отказоустойчивости к хранилищу не применяются, допустимо использовать конфигурацию ClickHouse с 1 репликой в каждом шарде и использовать, соответственно, 2 сервера для Хранилища. |
Требования к Ядру KUMA |
– |
– |
Одно устройство. Характеристики устройства: От 10 потоков или vCPU. От 24 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – SSD. Скорость передачи данных – от 100 Мбит/с.
|
Одно устройство. Характеристики устройства: От 10 потоков или vCPU. От 24 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – SSD. Скорость передачи данных – от 100 Мбит/с.
|
Требования к коллектору |
– |
– |
Одно устройство. Характеристики устройства: От 8 потоков или vCPU. От 16 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – допустим HDD. Скорость передачи данных – от 100 Мбит/с.
|
Два устройства. Характеристики каждого устройства: От 8 потоков или vCPU. От 16 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – допустим HDD. Скорость передачи данных – от 100 Мбит/с.
|
Требования к коррелятору |
– |
– |
Одно устройство. Характеристики устройства: От 8 потоков или vCPU. От 32 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – допустим HDD. Скорость передачи данных – от 100 Мбит/с.
|
Одно устройство. Характеристики устройства: От 8 потоков или vCPU. От 32 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – допустим HDD. Скорость передачи данных – от 100 Мбит/с.
|
Требования к Киперу |
– |
– |
Три устройства. Характеристики каждого устройства: От 6 потоков или vCPU. От 12 ГБ оперативной памяти. От 50 ГБ в каталоге /opt. Тип хранилища данных – SSD. Скорость передачи данных – от 100 Мбит/с.
|
Три устройства. Характеристики каждого устройства: От 6 потоков или vCPU. От 12 ГБ оперативной памяти. От 50 ГБ в каталоге /opt. Тип хранилища данных – SSD. Скорость передачи данных – от 100 Мбит/с.
|
Требования к хранилищу |
– |
– |
Два устройства. Характеристики каждого устройства: От 24 потоков или vCPU. От 64 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – SSD*. Рекомендуемая скорость передачи данных между узлами ClickHouse должна быть не менее 10 Гбит/с, если поток событий равен или превышает 20 000 EPS.
|
Четыре устройства. Характеристики каждого устройства: От 24 потоков или vCPU. От 64 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – SSD*. Рекомендуемая скорость передачи данных между узлами ClickHouse должна быть не менее 10 Гбит/с, если поток событий равен или превышает 20 000 EPS.
|
Операционные системы |
|
|||
Криптонаборы TLS |
Поддерживается протокол TLS версии 1.2 и 1.3. Интеграция с сервером, не поддерживающим версии и криптонаборы TLS, которые требует KUMA, невозможна. Поддерживаемые криптонаборы TLS 1.2:
Поддерживаемые криптонаборы TLS 1.3:
|
|||
В зависимости от количества и сложности запросов к БД, выполняемых пользователями, отчетами, панелями мониторинга объем необходимых ресурсов может быть увеличен.
На каждые 50 000 (сверх 50 000) активов необходимо добавить к ресурсам компонента Ядро 2 дополнительных потока или vCPU и 4 ГБ оперативной памяти.
На каждые 100 (сверх 100) сервисов, которыми управляет компонент Ядро необходимо добавить к ресурсам компонента Ядро 2 дополнительных потока или vCPU.
Необходимо размещать ClickHouse на твердотельных накопителях (англ. solid state drive, далее - SSD). Использование SSD позволяет повысить скорость доступа к данным.
* - если профиль использования системы не предполагает выполнения агрегационных SQL-запросов к Хранилищу с глубиной более 24 часов, допускается использовать дисковые массивы на базе HDD (HDD 15 000 RPM, интерфейс SAS, объединенные в RAID-10).
Для размещения данных с использованием технологии HDFS могут быть использованы жесткие диски.
Экспорт событий записывается на диск компонента Ядро во временную папку /opt/kaspersky/kuma/core/tmp/. Экспортированные данные хранятся в течение 10 суток, затем автоматически удаляются. Если вы планируете экспортировать большой объем событий, необходимо выделить дополнительное место.
Работа в виртуальных средах
Поддерживается установка KUMA в следующих виртуальных средах:
Работа в облачных средах
Поддерживается работа в облачной инфраструктуре. Система может быть установлена на виртуальные машины по модели IaaS (инфраструктура как сервис).
Для работы в облачной инфраструктуре мы рекомендуем использовать конфигурации "Установка на одном сервере" для 3 000 EPS и 10 000 EPS. Виртуальные машины должны удовлетворять аппаратным и программным требованиям, предъявляемым к обычной установке.
При выборе дисковой подсистемы сервера, следует ориентироваться на параметр "количество операций ввода/вывода (IOPS)". Рекомендуемое минимальное значение 1000 IOPS.
Рекомендации касательно ресурсов для компонента Коллектор
Следует учитывать, что для эффективной обработки событий количество ядер процессора важнее, чем их частота. Например, восемь ядер процессора со средней частотой будут эффективнее справляться с обработкой событий, чем четыре ядра с высокой частотой.
Также необходимо иметь в виду, что количество потребляемой коллектором оперативной памяти зависит от настроенных методов обогащения (DNS, учетные записи, активы, обогащение данными из Kaspersky CyberTrace) и использования агрегации (на потребление оперативной памяти влияет параметр окна агрегации данных, количество полей, по которым выполняется агрегация данных, объем данных в агрегируемых полях). Показатели использования KUMA вычислительных ресурсов зависят от типа анализируемых событий и от эффективности нормализатора.
Например, при потоке событий 1000 EPS и выключенном обогащении событий (обогащение событий выключено, агрегация событий выключена, 5000 учетных записей, 5000 активов в тенанте) одному коллектору требуются следующие ресурсы:
Например, для 5 коллекторов, которые не выполняют обогащение событий потребуется выделить следующие ресурсы: 5 процессорных ядер, 2,5 ГБ оперативной памяти и 5 ГБ свободного дискового пространства.
Рекомендации экспертов "Лаборатории Касперского" для серверов хранилищ
Для подключения системы хранения данных (далее СХД) к серверам хранилища следует использовать высокоскоростные протоколы, например Fibre Channel или iSCSI 10G. Для подключения СХД не рекомендуется использовать протоколы прикладного уровня, такие как NFS и SMB.
На серверах кластера ClickHouse рекомендуется использовать файловую систему ext4.
При использовании RAID-массивов рекомендуется использовать RAID 0 для достижения высокой производительности, а RAID 10 для обеспечения высокой производительности и отказоустойчивости.
Для обеспечения отказоустойчивости и быстродействия подсистемы хранения данных мы рекомендуем разворачивать все узлы ClickHouse исключительно на разных дисковых массивах.
Если вы используете виртуализированную инфраструктуру для размещения компонентов системы, мы рекомендуем разворачивать узлы кластера ClickHouse на различных гипервизорах. При этом необходимо ограничить возможность работы двух виртуальных машин с ClickHouse на одном гипервизоре.
Для высоконагруженных инсталляций KUMA рекомендуется устанавливать ClickHouse на аппаратных серверах.
Требования к устройствам для установки агентов
Для передачи данных в коллектор KUMA на устройствах сетевой инфраструктуры требуется установить агенты. Требования к устройствам приведены в таблице ниже.
|
Устройства с ОС Windows |
Устройства с ОС Linux |
|
|---|---|---|---|
Процессор |
Одноядерный, 1.4 ГГц или выше. |
Одноядерный, 1.4 ГГц или выше. |
|
ОЗУ |
512 МБ |
512 МБ |
|
Свободное дисковое пространство |
1 ГБ |
1 ГБ |
|
Операционные системы |
|
|
|
Требования к устройствам для установки агентов KUMA с транспортами WEC, ETW и WMI
Агенты KUMA, установленные на устройствах с операционной системой Windows, могут использовать различные типы транспортов для получения событий: WEC (Windows Event Collector), ETW (Event Tracing for Windows) и WMI (Windows Management Instrumentation). Производительность агентов и их влияние на систему зависят от ограничений Windows, а также от количества и типа обрабатываемых событий (см.таблицу ниже).
Требования к агентам по типам транспорта
Тип транспорта |
Максимальная производительность (EPS) |
Ограничения со стороны Windows |
Ограничения со стороны KUMA |
Рекомендуемая конфигурация агента |
Загрузка процессора и ОЗУ |
|---|---|---|---|---|---|
WEC |
До 2500 событий в секунду |
При записи в системные журналы (Application, System, Hardware Events) Windows ограничивает скорость записи примерно 2500 событиями в секунду. При одновременной записи в несколько журналов производительность снижается: до 1100 EPS при 2 журналах, до 800 EPS при 3 журналах, до 500 EPS при 4 журналах. |
Агент может обрабатывать события в диапазоне 1500–2500 EPS без задержек. |
Процессор: 1 ядро с 2 потоками или 2 vCPU. Оперативная память: 4 ГБ. |
Средняя загрузка процессора агентом: до 0,18 (что эквивалентно примерно 0,28% от общей производительности системы). Использование ОЗУ – до 209 МБ. |
ETW |
До 700 событий в секунду |
Поддерживается только один системный журнал: Microsoft → Windows → DNS-Server. Операционная система Windows не позволяет записывать более 700 событий в секунду в этот журнал. |
Ограничений на стороне KUMA не выявлено, однако при EPS выше 700 агент не получает данные из-за ограничений Windows. |
Процессор: 1 ядро с 2 потоками или 2 vCPU. Оперативная память: 4 ГБ. |
Средняя загрузка процессора агентом: до 0,267 (что эквивалентно примерно 0,42% от общей производительности системы). Использование ОЗУ – до 186 МБ. |
WMI |
До 5000 событий в секунду |
Обойти ограничения Windows можно за счет подключения нескольких устройств. Каждое дополнительное устройство увеличивает общий объем событий на 1000–1500 EPS. |
При достижении отметки 5000 EPS агент начинает обрабатывать события с задержкой. |
Процессор: 1 ядро с 2 потоками или 2 vCPU. Оперативная память: 4 ГБ. |
Средняя загрузка процессора агентом: до 0,61 (что эквивалентно примерно 0,95% от общей производительности системы). Использование ОЗУ – до 311 МБ. |
Требования к устройствам для работы с сервисом AI-рейтинг и статус активов
Процессор: 2 ядра по 2,7 ГГц.
ОЗУ: 8 ГБ.
Тип накопителя: SSD или HDD.
Свободное дисковое пространство: 10 ГБ для самого сервиса и место под ОС.
Требования к клиентским устройствам для работы с веб-интерфейсом KUMA
Процессор:
ОЗУ: 8 ГБ.
Поддерживаемые браузеры:
Требования к устройствам для установки KUMA в Kubernetes
Кластер Kubernetes для развертывания KUMA в отказоустойчивом варианте включает в минимальной конфигурации:
Минимальные аппаратные требования к устройствам для установки KUMA в Kubernetes представлены в таблице ниже.
Минимальные аппаратные требования к устройствам для установки KUMA в Kubernetes
|
Балансировщик |
Контроллер |
Рабочий узел |
|---|---|---|---|
Процессор |
1 ядро с 2 потоками или 2 vCPU. |
1 ядро с 2 потоками или 2 vCPU. |
12 потоков или 12 vCPU. |
ОЗУ |
От 2 ГБ |
От 2 ГБ |
От 24 ГБ |
Свободное дисковое пространство |
От 30 ГБ |
От 30 ГБ |
От 1 ТБ в директории /opt/
От 32 ГБ в директории /var/lib/
|
Пропускная способность сети |
10 Гбит/с |
10 Гбит/с |
10 Гбит/с |