Хранение событий

Хранилище KUMA – сервис, который предназначен для хранения нормализованных событий и быстрого доступа к ним для извлечения аналитических данных. Хранилище представляет собой кластер ClickHouse, связанный с сервисом хранилища и остальными сервисами KUMA. Сервис хранилища получает данные от коллекторов и корреляторов, передает их в ClickHouse и позволяет настроить параметры хранения данных.

Встроенные механизмы ClickHouse обеспечивают кластеризацию базы данных, перенос данных между горячим и холодным хранилищами, а также архивирование данных. Кластеры ClickHouse можно дополнять дисками холодного хранения данных.

Нормализованные события хранятся на серверах сетевой инфраструктуры, на которых развернут кластер узлов ClickHouse.

Перед созданием хранилища должна быть развернута необходимая сетевая инфраструктура с учетом требований вашей организации к хранению событий. Дополнительные сведения см. в документации ClickHouse.

В хранилищах можно создавать пространства для организации структуры данных, например для совместного хранения событий определенного типа.

Рекомендации для серверов хранилищ

Для подключения системы хранения данных к серверам хранилища рекомендуется использовать высокоскоростные протоколы, например Fibre Channel или iSCSI 10G. Не рекомендуется использовать протоколы прикладного уровня, такие как NFS и SMB.

На серверах кластера ClickHouse в качестве файловой системы рекомендуется использовать ext4.

При использовании RAID-массивов рекомендуется:

• для обеспечения высокой производительности – RAID 0;
• для обеспечения высокой производительности и отказоустойчивости – RAID 10.

Для обеспечения отказоустойчивости и быстродействия подсистемы хранения данных рекомендуется разворачивать узлы ClickHouse на разных дисковых массивах.

При использовании виртуальной инфраструктуры рекомендуется разворачивать узлы кластера ClickHouse на разных гипервизорах. При этом требуется исключить возможность разместить две виртуальные машины с ClickHouse на одном гипервизоре.

Для высоконагруженных экземпляров Kaspersky SIEM рекомендуется использовать аппаратные серверы для размещения ClickHouse.

Рекомендации по использованию системной памяти

Если вы создаете хранилище в системах с ограниченным объемом памяти и хотите регулировать потребление памяти, рекомендуется определить объем используемой памяти и увеличить значение параметра max_server_memory_usage. Этот параметр определяет максимальный объем памяти, который может использовать сервер. Значение указывается в байтах.

По умолчанию для max_server_memory_usage указано значение 0. В этом случаем сервер может использовать всю доступную память.

Значение параметра max_server_memory_usage дополнительно ограничивается переменной max_server_memory_usage_to_ram_ratio, определяющей отношение используемой памяти ко всей доступной памяти. Например, значение 0,9 означает, что сервер может использовать до 90% доступной памяти.

При определении объема используемой памяти учитывайте следующие ограничения:

• Оптимальный объем памяти, доступный хранилищу, составляет около 75% общего объема системной памяти.

  Не рекомендуется использовать 100% доступной памяти, так как это может привести к нехватке памяти при обработке поступающих запросов.

• Если на сервере установлены другие приложения, требуется выделить память для их работы.
• При изменении аппаратных параметров сервера, на котором развернуто хранилище, нужно скорректировать значения параметров использования памяти.