Kaspersky Unified Monitoring and Analysis Platform
[Topic 217904]

Требования к установке программы

Требования при установке на операционной системе Oracle Linux

  • Образ диска для установки доступен на официальном сайте Oracle.
  • Убедиться, что в операционной системе установлен Python версии 3.6 или выше.
  • Убедиться, что в операционной системе НЕ включен модуль SELinux. Работа KUMA и установщика KUMA совместно с включенным SELinux не поддерживается.
  • Убедиться, что в операционной системе установлена система управления пакетами pip3.
  • Убедиться, что в операционной системе установлены следующие пакеты:
    • netaddr
    • firewalld

    Эти пакеты можно установить с помощью следующих команд:

    • pip3 install netaddr
    • yum install firewalld

Требования при установке на операционной системе Astra Linux Special Edition

  • Убедиться, что в операционной системе установлен Python версии 3.6 или выше.
  • Убедиться, что в операционной системе установлена система управления пакетами pip3.
  • Убедиться, что в операционной системе установлены следующие пакеты:
    • python3-apt
    • curl
    • libcurl4

    Эти пакеты можно установить с помощью команды apt install python3-apt curl libcurl4.

  • Убедиться, что в операционной системе установлены следующие зависимые пакеты:
    • netaddr
    • python3-cffi-backend

    Эти пакеты можно установить с помощью следующих команд:

    • apt install python3-cffi-backend
    • pip3 install netaddr

    Если вы собираетесь из KUMA обращаться к базам данных Oracle DB, необходимо установить пакет libaio1.

  • Пользователю, под которым вы собираетесь устанавливать программу, требуется присвоить необходимый уровень прав с помощью команды sudo pdpl-user -i 63 <имя пользователя>.

Общие требования к установке

  • Имя сервера, на котором запускается установщик, должно отличаться от localhost или localhost.<домен>. Установщик можно запустить из любой папки.
  • Перед развертыванием программы требуется убедиться, что серверы, предназначенные для установки ее компонентов, соответствуют аппаратным и программным требованиям.
  • Адресация компонентов KUMA осуществляется по полному доменному имени (FQDN) хоста. Перед установкой программы убедитесь, что команда hostnamectl status возвращает правильное имя FQDN хоста в поле Static hostname.
  • Для синхронизации времени на всех серверах с сервисами KUMA рекомендуется использовать протокол Network Time Protocol (NTP).
  • В качестве файловой системы на серверах кластера ClickHouse рекомендуется использовать ext4.
В начало
[Topic 231034]

Установка для демонстрации

Для демонстрации вы можете развернуть компоненты KUMA на одном сервере. Перед установкой программы ознакомьтесь с требованиями к установке KUMA, а также аппаратными и системными требованиями.

Установка KUMA происходит в несколько этапов:

  1. Подготовка контрольной машины

    Контрольная машина используется в процессе установки программы: на ней распаковывается и запускаются файлы установщика.

  2. Подготовка целевой машины

    На целевые машины устанавливаются компоненты программы. Контрольную машину можно использовать в качестве целевой.

  3. Подготовка файла инвентаря для демонстрационной установки

    Создайте файл инвентаря с описанием сетевой структуры компонентов программы, с помощью которого установщик сможет развернуть KUMA.

  4. Установка программы для демонстрации

    Установите программу и получите URL и учетные данные для входа в веб-интерфейс.

При необходимости установленную на демонстрации программу можно разнести на разные серверы для полноценной работы.

В этом разделе

Подготовка файла инвентаря для демонстрационной установки

Демонстрационная установка программы

Расширение демонстрационной установки

В начало
[Topic 217908]

Подготовка файла инвентаря для демонстрационной установки

Установка, обновление и удаление компонентов KUMA производится из папки с распакованным установщиком с помощью инструмента Ansible и созданного пользователем файла инвентаря с перечнем хостов компонентов KUMA и других параметров. В случае демонстрационной установке хост для всех компонентов будет указан один и тот же. Файл инвентаря имеет формат YAML.

Чтобы создать файл инвентаря для демонстрационной установки:

  1. Перейдите в директорию установщика KUMA, выполнив следующую команду:

    cd kuma-ansible-installer

  2. Создайте файл инвентаря, скопировав шаблон single.inventory.yml.template:

    cp single.inventory.yml.template single.inventory.yml

  3. Отредактируйте параметры файла инвентаря single.inventory.yml:
    • Если вы хотите, чтобы при установке были созданы демонстрационные сервисы, присвойте параметру deploy_example_services значение true.

      deploy_example_services: true

      Демонстрационные сервисы можно создать только при первичной установке KUMA – при обновлении системы с помощью того же файла инвентаря демонстрационные сервисы созданы не будут.

    • Если вы устанавливаете KUMA в производственной среде и имеете отдельную контрольную машину, присвойте параметру ansible_connection значение ssh:

      ansible_connection: ssh

  4. Замените в файле инвентаря все строки kuma.example.com на хост целевой машины, на которую следует установить компоненты KUMA.

Файл инвентаря создан. С его помощью можно установить KUMA для демонстрации.

Рекомендуется не удалять файл инвентаря после установки KUMA:

  • Если этот файл изменить (например, дополнить данными о новом сервере для коллектора), его можно использовать повторно для обновления системы новым компонентом.
  • Этот же файл инвентаря можно использовать для удаления KUMA.
В начало
[Topic 222158]

Демонстрационная установка программы

Установка KUMA производится помощью инструмента Ansible и YML-файла инвентаря. Установка производится с контрольной машины, при этом все компоненты KUMA устанавливаются на целевых машинах.

Чтобы установить KUMA для демонстрации:

  1. На контрольной машине войдите в папку с распакованным установщиком.
  2. Подложите в папку <папка установщика>/roles/kuma/files/ файл с лицензионным ключом.

    Файл ключа должен иметь название license.key.

  3. Запустите установщик, выполнив следующую команду:

    sudo ./install.sh single.inventory.yml

  4. Примите условия Лицензионного соглашения.

    Если вы не примите условия Лицензионного соглашения, программа не будет установлена.

Компоненты KUMA установлены на целевой машине. На экране будет отображен URL веб-интерфейса KUMA и указано имя пользователя и пароль, которые необходимо использовать для доступа к веб-интерфейса.

По умолчанию адрес веб-интерфейса KUMA – https://kuma.example.com:7220.

Учетные данные, используемые для входа по умолчанию (после первого входа требуется изменить пароль учетной записи admin):
- логин – admin
- пароль – mustB3Ch@ng3d!

Рекомендуется сохранить файл инвентаря, использованный для установки программы. С его помощью можно дополнить систему компонентами или удалить KUMA.

Демонстрационную установку можно расширить до полноценной.

В начало
[Topic 222159]

Расширение демонстрационной установки

Расширение демонстрационной установки производится путем установки программы по шаблону distributed.inventory.yml поверх установленной KUMA.

Расширение демонстрационной установки производится в несколько этапов:

  1. Установка программы

    На этапе подготовке файла инвентаря укажите хост демонстрационного сервера поместите в группе core.

  2. Удаление демонстрационных сервисов

    В веб-интерфейсе KUMA в разделе РесурсыАктивные сервисы скопируйте идентификаторы существующих сервисов и удалите их.

    Затем удалите сервисы с машины, где они были установлены, с помощью команды sudo /opt/kaspersky/kuma/kuma <collector/correlator/storage> --id <идентификатор сервиса> --uninstall. Повторите команду удаления для каждого сервиса.

  3. Пересоздание сервисов на нужных машинах
В начало
[Topic 222160]

Установка KUMA в производственной среде

Перед установкой программы ознакомьтесь с требованиями к установке KUMA, а также аппаратными и системными требованиями. Установка KUMA происходит в несколько этапов:

  1. Настройка сетевого доступа

    Убедитесь, что все необходимые порты открыты для взаимодействия между компонентами KUMA с учетом структуры безопасности на вашем предприятии.

  2. Подготовка контрольной машины

    Контрольная машина используется в процессе установки программы: на ней распаковывается и запускаются файлы установщика.

  3. Подготовка целевых машин

    На целевые машины устанавливаются компоненты программы.

  4. Подготовка файла инвентаря

    Создайте файл инвентаря с описанием сетевой структуры компонентов программы, с помощью которого установщик сможет развернуть KUMA.

  5. Установка программы

    Установите программу и получите URL и учетные данные для входа в веб-интерфейс.

  6. Создание сервисов

    Создайте сервисы в веб-интерфейсе KUMA и установите их на предназначенных для них целевых машинах.

В этом разделе

Настройка сетевого доступа

Подготовка контрольной машины

Подготовка целевой машины

Подготовка файла инвентаря

Установка программы

Создание сервисов

Изменение корневого сертификата

Дополнительные кластеры ClickHouse

В начало
[Topic 217917]

Настройка сетевого доступа

Для правильной работы программы нужно убедиться, что компоненты KUMA могут взаимодействовать с другими компонентами и программами по сети через протоколы и порты, указанные во время установки компонентов KUMA. В таблице ниже показаны значения сетевых портов по умолчанию.

Сетевые порты, используемые для взаимодействия компонентов KUMA друг с другом

Протокол

Порт

Направление

Назначение подключения

HTTPS

7222

От клиента KUMA к серверу с компонентом Ядро KUMA.

Реверс-прокси к системе CyberTrace.

HTTPS

8123

От сервиса хранилища к узлу кластера ClickHouse.

Запись и получение нормализованных событий в кластере ClickHouse.

HTTPS

9009

Между репликами кластера ClickHouse.

Внутренняя коммуникация между репликами кластера ClickHouse для передачи данных кластера.

TCP

2181

От узлов кластера ClickHouse к сервису координации репликации ClickHouse keeper.

Получение и запись репликами серверов ClickHouse метаинформации о реплицировании.

TCP

2182

От сервисов координации репликации ClickHouse keeper друг к другу.

Внутренняя коммуникация между сервисами координации репликации, используемая для достижения кворума.

TCP

7210

От всех компонентов KUMA на сервер Ядра KUMA

Получение конфигурации KUMA от сервера Ядра KUMA

TCP

7215

От коллектора KUMA к коррелятору KUMA

Отправка данных коллектором в коррелятор KUMA

TCP

7220

От клиента KUMA к серверу с компонентом Ядро KUMA

Доступ пользователей к веб-интерфейса KUMA

TCP

7221 и другие порты, используемые для установки сервисов в качестве значения параметра --api.port <порт>

От Ядра KUMA к сервисам KUMA

Администрирование сервисов из веб-интерфейса KUMA

TCP

7223

К серверу Ядра KUMA.

Порт, используемый по умолчанию для API-запросов.

TCP

8001

От Victoria Metrics к серверу ClickHouse.

Получение метрик работы сервера ClickHouse.

TCP

9000

От клиента ClickHouse к узлу кластера ClickHouse.

Запись и получение данных в кластере ClickHouse.

В начало
[Topic 217770]

Подготовка контрольной машины

Контрольная машина используется в процессе установки программы: на ней распаковывается и запускаются файлы установщика.

Чтобы подготовить контрольную машину для установки KUMA:

  1. Установите на контрольную машину операционную систему и установите на нее необходимые пакеты.
  2. Настройте сетевой интерфейс.

    Для удобства можно воспользоваться утилитой с графическим интерфейсом nmtui.

  3. Настройте синхронизацию системного времени с NTP-сервером:
    1. Если машина не имеет прямого доступа в интернет, отредактируйте файл /etc/chrony.conf, заменив значение 2.pool.ntp.org на имя или IP-адрес внутреннего NTP-сервера вашей организации.
    2. Запустите сервис синхронизации системного времени, выполнив следующую команду:

      sudo systemctl enable --now chronyd

    3. Выждите несколько секунд и выполните следующую команду:

      sudo timedatectl | grep 'System clock synchronized'

      Если системное время синхронизировано верно, вывод будет содержать строку System clock synchronized: yes.

  4. Сгенерируйте SSH-ключ для аутентификации на SSH-серверах целевых машин, выполнив следующую команду:

    sudo ssh-keygen -f /root/.ssh/id_rsa -N "" -C kuma-ansible-installer

  5. Убедитесь, что контрольная машина имеет сетевой доступ ко всем целевым машинам по имени хоста и скопируйте SSH-ключ на каждую из них, выполнив следующую команду:

    sudo ssh-copy-id -i /root/.ssh/id_rsa root@<имя хоста контрольной машины>

  6. Скопируйте архив с установщиком KUMA на контрольную машину и распакуйте его с помощью следующей команды (потребуется около 2 ГБ дискового пространства):

    sudo tar -xpf kuma-ansible-installer-<version>.tar.gz

Контрольная машина готова для установки KUMA.

В начало
[Topic 222083]

Подготовка целевой машины

На целевые машины устанавливаются компоненты программы.

Чтобы подготовить целевую машину для установки компонентов KUMA:

  1. Установите на контрольную машину операционную систему и установите на нее необходимые пакеты.
  2. Настройте сетевой интерфейс.

    Для удобства можно воспользоваться утилитой с графическим интерфейсом nmtui.

  3. Настройте синхронизацию системного времени с NTP-сервером:
    1. Если машина не имеет прямого доступа в интернет, отредактируйте файл /etc/chrony.conf, заменив значение 2.pool.ntp.org на имя или IP-адрес внутреннего NTP-сервера вашей организации.
    2. Запустите сервис синхронизации системного времени, выполнив следующую команду:

      sudo systemctl enable --now chronyd

    3. Выждите несколько секунд и выполните следующую команду:

      sudo timedatectl | grep 'System clock synchronized'

      Если системное время синхронизировано верно, вывод будет содержать строку System clock synchronized: yes.

  4. Установите имя хоста. Настоятельно рекомендуется использовать FQDN. Например: kuma-1.mydomain.com.

    Не следует изменять имя хоста KUMA после установки: это приведет к невозможности проверки подлинности сертификатов и нарушит сетевое взаимодействие между компонентами программы.

  5. Зарегистрируйте целевую машину в DNS-зоне вашей организации для преобразования имен хостов в IP-адреса.

    Если в вашей организации не используется DNS-сервер, вы можете использовать для преобразования имен файл /etc/hosts. Содержимое файлов можно автоматически создать для каждой целевой машины при установке KUMA.

  6. Выполните следующую команду и запишите результат:

    hostname -f

    Данное имя хоста потребуется указать при установке KUMA. Целевая машина должна быть доступна по этому имени для контрольной машины.

Целевая машина готова для установки компонентов KUMA.

Контрольную машину можно использовать в качестве целевой. Для этого подготовьте контрольную машину, а затем выполните на ней шаги 4–6 из инструкции по подготовке целевой машины.

В начало
[Topic 217955]

Подготовка файла инвентаря

Установка, обновление и удаление компонентов KUMA производится из папки с распакованным установщиком с помощью инструмента Ansible и созданного пользователем файла инвентаря с перечнем хостов компонентов KUMA и других параметров. Файл инвентаря имеет формат YAML.

Чтобы создать файл инвентаря:

  1. Перейдите в директорию установщика KUMA, выполнив следующую команду:

    cd kuma-ansible-installer

  2. Создайте файл инвентаря, скопировав шаблон distributed.inventory.yml.template:

    cp distributed.inventory.yml.template distributed.inventory.yml

  3. Отредактируйте параметры файла инвентаря:
    • Если вы хотите, чтобы при установке были созданы демонстрационные сервисы, присвойте параметру deploy_example_services значение true.

      deploy_example_services: true

      Демонстрационные сервисы можно создать только при первичной установке KUMA – при обновлении системы с помощью того же файла инвентаря демонстрационные сервисы созданы не будут.

    • Если машины не зарегистрированы в DNS-зоне вашей организации, присвойте параметру generate_etc_hosts значение true, а также для каждой машины в инвентаре замените значения параметра ip (0.0.0.0) на актуальные IP-адреса.

      generate_etc_hosts: true

      При использование этого параметра установщик автоматически дополнит файлы /etc/hosts на машинах, куда устанавливаются компоненты KUMA, IP-адресами машин из файла инвентаря.

    • Если вы устанавливаете KUMA в производственной среде и имеете отдельную контрольную машину, присвойте параметру ansible_connection значение ssh:

      ansible_connection: ssh

  4. Укажите в файле инвентаря хост целевых машин, на которых следует установить компоненты KUMA. Если машины не зарегистрированы в DNS-зоне вашей организации, замените значения параметра ip (0.0.0.0) на актуальные IP-адреса.

    Хосты указываются в следующих разделах файла инвентаря:

    • core – раздел для указания хоста и IP-адреса целевой машины, на которой будет установлено Ядро KUMA. В этом разделе можно указать только один хост.
    • collector – раздел для указания хоста и IP-адреса целевой машины, на которой будет установлен коллектор. В этом разделе можно указать один или более хостов.
    • correlator – раздел для указания хоста и IP-адреса целевой машины, на которой будет установлен коррелятор. В этом разделе можно указать один или более хостов.
    • storage – раздел для указания хостов и IP-адресов целевых машин, на которых будут установлены компоненты хранилища. В этом разделе можно указать один или более хостов.

      Компоненты хранилища: кластеры, шарды, реплики, киперы

      Кластер ClickHouse (cluster) – логическая группа машин, обладающих всеми накопленными нормализованными событиями KUMA. Подразумевает наличие одного или нескольких логических шардов.

      Шард (shard) – логическая группа машин, обладающих некоторой частью всех накопленных в кластере нормализованных событий. Подразумевает наличие одной или нескольких реплик. Увеличение количества шардов позволяет:

      • Накапливать больше событий за счет увеличения общего количества серверов и дискового пространства.
      • Поглощать больший поток событий за счет распределения нагрузки, связанной со вставкой новых событий.
      • Уменьшить время поиска событий за счет распределения поисковых зон между несколькими машинами.

      Реплика (replica) – машина, являющаяся членом логического шарда и обладающая одной копией данных этого шарда. Если реплик несколько – копий тоже несколько (данные реплицируются). Увеличение количества реплик позволяет:

      • Улучшить отказоустойчивость.
      • Распределить общую нагрузку, связанную с поиском данных, между несколькими машинами (однако для этой цели лучше увеличить количество шардов).

      Кипер (keeper) – машина, участвующая в координации репликации данных на уровне всего кластера. На весь кластер требуется хотя бы одна машина с этой ролью. Рекомендуемое количество машин с такой ролью – 3. Число машин, участвующих в координации репликации, должно быть нечетным. Роль кипера и реплики можно совмещать.

      Каждая машина в разделе storage может иметь следующие комбинации параметров:

      • shard + replica + keeper
      • shard + replica
      • keeper

      Если указаны параметры shard и replica, машина является частью кластера и принимает участие в накоплении и поиске нормализованных событий KUMA. Если дополнительно указан параметр keeper, машина также принимает участие в координации репликации данных на уровне всего кластера.

      Если указан только параметр keeper, машина не будет накапливать нормализованные события, но будет участвовать в координации репликации данных на уровне всего кластера. Значения параметра keeper должны быть уникальными.

      Если в рамках одного шарда определено несколько реплик, значение параметра replica должно быть уникальным в рамках этого шарда.

Файл инвентаря создан. С его помощью можно установить KUMA.

Рекомендуется не удалять файл инвентаря после установки KUMA:

  • Если этот файл изменить (например, дополнить данными о новом сервере для коллектора), его можно использовать повторно для обновления системы новым компонентом.
  • Этот же файл инвентаря можно использовать для удаления KUMA.
В начало
[Topic 222085]

Установка программы

Установка KUMA производится помощью инструмента Ansible и YML-файла инвентаря. Установка производится с контрольной машины, при этом все компоненты KUMA устанавливаются на целевых машинах.

Чтобы установить KUMA:

  1. На контрольной машине войдите в папку с распакованным установщиком.
  2. Подложите в папку <папка установщика>/roles/kuma/files/ файл с лицензионным ключом.

    Файл ключа должен иметь название license.key.

  3. Запустите установщик, выполнив следующую команду:

    sudo ./install.sh distributed.inventory.yml

  4. Примите условия Лицензионного соглашения.

    Если вы не примите условия Лицензионного соглашения, программа не будет установлена.

Компоненты KUMA установлены на целевых машинах. На экране будет отображен URL веб-интерфейса KUMA и указано имя пользователя и пароль, которые необходимо использовать для доступа к веб-интерфейса.

По умолчанию адрес веб-интерфейса KUMA – https://kuma.example.com:7220.

Учетные данные, используемые для входа по умолчанию (после первого входа требуется изменить пароль учетной записи admin):
- логин – admin
- пароль – mustB3Ch@ng3d!

Рекомендуется сохранить файл инвентаря, использованный для установки программы. С его помощью можно дополнить систему компонентами или удалить KUMA.

В начало
[Topic 217914]

Создание сервисов

Сервисы KUMA следует устанавливать только после завершения развертывания KUMA. Сервисы можно устанавливать в любом порядке.

При развертывании нескольких сервисов KUMA на одном хосте в процессе установки требуется указать уникальные порты для каждого сервиса с помощью параметров --api.port <порт>.

Ниже перечислены разделы, в которых описано создание сервисов:

В начало
[Topic 217903]

Изменение корневого сертификата

После установки Ядра KUMA создается уникальный самоподписанный корневой сертификат с соответствующим ключом. Этот сертификат используется для подписи всех других сертификатов, используемых для внутренней связи между компонентами KUMA, а также для запросов REST API. Корневой сертификат хранится на сервере Ядра KUMA в папке /opt/kaspersky/kuma/core/certificates/.

Вы можете использовать сертификат и ключ своей компании вместо самоподписанного корневого сертификата и ключа KUMA.

Перед изменением сертификата KUMA обязательно сделайте резервную копию предыдущего сертификата и ключа с именами backup_external.cert и backup_external.key.

Чтобы изменить корневой сертификат KUMA:

  1. Переименуйте файлы сертификата и ключа вашей компании в external.cert и external.key.

    Ключи должны быть в PEM-формате.

  2. Поместите external.cert и external.key в папку /opt/kaspersky/kuma/core/certificates/.
  3. Перезапустите службу kuma-core, выполнив команду sudo systemctl restart kuma-core.
  4. Перезапустите браузер, с помощью которого вы работаете в веб-интерфейсе KUMA.

Сертификат и ключ вашей компании используются для внутренней связи между компонентами KUMA и для запросов REST API.

В начало
[Topic 217747]

Дополнительные кластеры ClickHouse

В KUMA можно добавить более одного кластера хранилища ClickHouse. Добавление дополнительного кластера ClickHouse производится в несколько этапов:

  1. Подготовка целевой машины

    На целевой машине необходимо в директории /etc/hosts указать FQDN сервера с Ядром KUMA.

  2. Подготовка файла инвентаря кластера

    В зависимости от типа установки – локальной или удаленной, – файл инвентаря готовится на целевой машине или на машине с установленным Ядром KUMA.

  3. Установка дополнительного кластера
  4. Создание хранилища

При создании узлов кластера хранилища убедитесь в сетевой связности системы и откройте используемые компонентами порты.

В этом разделе

Подготовка файла инвентаря кластера

Установка дополнительного кластера

Удаление кластера

В начало
[Topic 238599]

Подготовка файла инвентаря кластера

Установка, обновление и удаление компонентов KUMA производится из директории с распакованным установщиком с помощью инструмента Ansible и созданного пользователем файла инвентаря с перечнем хостов компонентов KUMA и других параметров. Файл инвентаря имеет формат YAML.

Чтобы создать файл инвентаря:

  1. Перейдите в директорию распакованного установщика KUMA, выполнив следующую команду:

    cd kuma-ansible-installer

  2. Создайте файл инвентаря, скопировав шаблон additional-storage-cluster.inventory.yml.template:

    cp additional-storage-cluster.inventory.yml.template additional-storage-cluster.inventory.yml

  3. Отредактируйте параметры файла инвентаря:
    • Если вы хотите, чтобы при установке были созданы демонстрационные сервисы, присвойте параметру deploy_example_services значение true.

      deploy_example_services: true

      Демонстрационные сервисы можно создать только при первичной установке KUMA – при обновлении системы с помощью того же файла инвентаря демонстрационные сервисы созданы не будут.

    • Если машины не зарегистрированы в DNS-зоне вашей организации, присвойте параметру generate_etc_hosts значение true, а также для каждой машины в инвентаре замените значения параметра ip (0.0.0.0) на актуальные IP-адреса.

      generate_etc_hosts: true

      При использование этого параметра установщик автоматически дополнит файлы /etc/hosts на машинах, куда устанавливаются компоненты KUMA, IP-адресами машин из файла инвентаря.

    • Присвойте параметру ansible_connection значение:
      • Укажите local, если хотите установить кластер локально, на предназначенном ему сервере:

        ansible_connection: local

      • Укажите ssh, если хотите установить кластер централизовано, с сервера с установленным Ядром KUMA:

        ansible_connection: ssh

  4. Укажите в файле инвентаря в разделе storage полные имена доменов хостов, на которых вы хотите установить ноды кластера. Если машины не зарегистрированы в DNS-зоне вашей организации, замените значения параметра ip (0.0.0.0) на актуальные IP-адреса.

    Компоненты хранилища: кластеры, шарды, реплики, киперы

    Кластер ClickHouse (cluster) – логическая группа машин, обладающих всеми накопленными нормализованными событиями KUMA. Подразумевает наличие одного или нескольких логических шардов.

    Шард (shard) – логическая группа машин, обладающих некоторой частью всех накопленных в кластере нормализованных событий. Подразумевает наличие одной или нескольких реплик. Увеличение количества шардов позволяет:

    • Накапливать больше событий за счет увеличения общего количества серверов и дискового пространства.
    • Поглощать больший поток событий за счет распределения нагрузки, связанной со вставкой новых событий.
    • Уменьшить время поиска событий за счет распределения поисковых зон между несколькими машинами.

    Реплика (replica) – машина, являющаяся членом логического шарда и обладающая одной копией данных этого шарда. Если реплик несколько – копий тоже несколько (данные реплицируются). Увеличение количества реплик позволяет:

    • Улучшить отказоустойчивость.
    • Распределить общую нагрузку, связанную с поиском данных, между несколькими машинами (однако для этой цели лучше увеличить количество шардов).

    Кипер (keeper) – машина, участвующая в координации репликации данных на уровне всего кластера. На весь кластер требуется хотя бы одна машина с этой ролью. Рекомендуемое количество машин с такой ролью – 3. Число машин, участвующих в координации репликации, должно быть нечетным. Роль кипера и реплики можно совмещать.

    Каждая машина в разделе storage может иметь следующие комбинации параметров:

    • shard + replica + keeper
    • shard + replica
    • keeper

    Если указаны параметры shard и replica, машина является частью кластера и принимает участие в накоплении и поиске нормализованных событий KUMA. Если дополнительно указан параметр keeper, машина также принимает участие в координации репликации данных на уровне всего кластера.

    Если указан только параметр keeper, машина не будет накапливать нормализованные события, но будет участвовать в координации репликации данных на уровне всего кластера. Значения параметра keeper должны быть уникальными.

    Если в рамках одного шарда определено несколько реплик, значение параметра replica должно быть уникальным в рамках этого шарда.

Файл инвентаря создан. С его помощью можно создать кластер ClickHouse.

Рекомендуется не удалять файл инвентаря после установки KUMA:

  • Если этот файл изменить (например, дополнить данными о новом сервере для коллектора), его можно использовать повторно для обновления системы новым компонентом.
  • Этот же файл инвентаря можно использовать для удаления KUMA.
В начало
[Topic 238675]

Установка дополнительного кластера

Установка KUMA производится помощью инструмента Ansible и YML-файла инвентаря.

Чтобы установить дополнительный кластер KUMA:

  1. На подготовленной целевой машине или машине с установленным Ядром KUMA (в зависимости от параметра ansible_connection) войдите в папку с распакованным установщиком.
  2. Запустите установщик, выполнив следующую команду:

    PYTHONPATH="$(pwd)/ansible/site-packages:${PYTHONPATH}" python3 ./ansible/bin/ansible-playbook -i additional-storage-cluster.inventory.yml additional-storage-cluster.playbook.yml

Дополнительный кластер ClickHouse установлен. Для записи данных в кластер с помощью KUMA необходимо создать хранилище.

В начало
[Topic 238677]

Удаление кластера

Чтобы удалить кластер ClickHouse,

выполните следующую команду:

systemctl stop kuma-storage-<идентификатор хранилища> && systemctl stop kuma-clickhouse && systemctl disable kuma-storage-<идентификатор хранилища> && systemctl disable kuma-clickhouse && rm -rf /usr/lib/systemd/system/kuma-storage-<идентификатор хранилища>.service && rm -rf /usr/lib/systemd/system/kuma-clickhouse.service && systemctl daemon-reload && rm -rf /opt/kaspersky/kuma

Сервисы хранилища KUMA и кластера ClickHouse будут остановлены и удалены.

В начало
[Topic 239283]

Удаление KUMA

При удалении KUMA используется инструмент Ansible и созданный пользователем файл инвентаря.

Чтобы удалить KUMA:

  1. На контрольной машине войдите в директорию установщика:

    cd kuma-ansible-installer

  2. Выполните следующую команду:

    sudo ./uninstall.sh <файл инвентаря>

KUMA и все данные программы удалены с серверов.

Базы данных, которые использовались KUMA (например, база данных хранилища ClickHouse), и содержащуюся в них информацию следует удалить отдельно.

В начало
[Topic 217962]

Обновление предыдущих версий KUMA

KUMA версии 2.x можно установить поверх версий 1.5.x и выше. Для этого следуйте инструкции по установке программы в производственной среде и на этапе подготовке файла инвентаря перечислите в нем хосты уже развернутой системы KUMA.

После обновления KUMA необходимо очистить кеш браузера.

Если после обновления KUMA в журналах хранилища отображаются ошибки о подозрительных строках, выполните следующую команду на сервере хранилища KUMA: touch /opt/kaspersky/kuma/clickhouse/data/flags/force_restore_data && systemctl restart kuma-clickhouse.

В начало
[Topic 222156]