Содержание
Вход в веб-интерфейс программы
Чтобы войти в веб-интерфейс программы:
- В браузере введите следующий адрес:
https://<IP-адрес или FQDN сервера Ядра KUMA>:7220
Откроется страница авторизации веб-интерфейса с запросом на ввод логина и пароля учетной записи.
- В поле Логин введите логин учетной записи.
- В поле Пароль введите пароль указанной учетной записи.
- Нажмите на кнопку Логин.
Откроется главное окно веб-интерфейса программы.
В режиме мультитенантности при первом входе в веб-интерфейс программы пользователю отображаются данные только для тех тенантов, которые были выбраны для него при создании его учетной записи.
Чтобы выйти из веб-интерфейса программы,
откройте веб-интерфейс KUMA, в левом нижнем углу окна нажмите на имя учетной записи пользователя и в открывшемся меню учетной записи нажмите на кнопку Выход.
В началоМониторинг сервисов
Вы можете использовать следующие возможности, чтобы отслеживать состояние всех сервисов, кроме холодного хранилища и агента:
- Просматривать алерты Victoria Metrics.
Пользователи с ролью Главный администратор могут настраивать пороговые значения параметров сервисов KUMA и если заданные пороговые значения будут превышены, произойдут следующие изменения:
- KUMA зарегистрирует событие аудита Зарегистрирован алерт Victoria Metrics для сервиса.
- KUMA отправит уведомление Главному администратору по электронной почте.
- Сервисы будут отображаться в разделе Активные сервисы в желтом статусе. Если вы наведете курсор на значок статуса, сообщение об ошибке будет доступно для просмотра.
- Просматривать метрики Victoria Metrics при условии наличия у пользователя роли с правами доступа к метрикам.
В следующих примерах показано, каким образом вы можете отслеживать состояние сервисов.
- Если в разделе Активные сервисы сервис коллектора находится в желтом статусе и вы видите сообщение Enrichment errors increasing, вы можете выполнить следующие действия:
- Перейти в раздел KUMA Метрики → <тип сервиса> → <имя сервиса> → Enrichment → Errors для сервиса в желтом статусе, выяснить, какое именно обогащение работает с ошибками, и просмотреть график, чтобы уточнить когда именно началась проблема и отследить динамику.
- Поскольку вероятной причиной ошибок обогащения может быть недоступность DNS-сервера или ошибки обогащения CyberTrace, вы можете проверить параметры подключения DNS или CyberTrace.
- Если в разделе Активные сервисы сервис коллектора находится в желтом статусе и вы видите сообщение Output Event Loss increasing, вы можете выполнить следующие действия:
- Перейти в раздел KUMA Метрики → <тип сервиса> → <имя сервиса> → IO → Output Event Loss для сервиса в желтом статусе и просмотреть график, чтобы уточнить когда именно началась проблема и отследить динамику.
- Поскольку вероятной причиной потери событий может быть превышение размера буфера или недоступность точки назначения, вы можете проверить доступность и правильность подключения точки назначения или выяснить, почему превышен размер буфера.
Настройка параметров мониторинга сервисов
Чтобы настроить параметры сервисов:
- В веб-консоли KUMA перейдите в раздел Параметры → Мониторинг сервисов.
- Укажите значения параметров мониторинга для сервисов.
Мониторинг сервисов не распространяется на холодное хранилище.
Если вы указали некорректное значение, которое не подходит по диапазону или формату, значение будет сброшено до ранее установленного.
- Нажмите Сохранить.
После сохранения параметров KUMA регистрирует аудит событие Пороговые значение параметров мониторинга сервисов изменены.
KUMA отслеживает состояние сервисов по заданным параметрам.
В разделе Активные сервисы вы можете отфильтровать сервисы по статусам или указать в поле поиска слово из текста ошибки, например "QPS" или "buffer", и нажать ENTER. В результате будет список сервисов с ошибками. Использование специальных символы ", },{, для поиска недопустимо, результаты будут нерелевантны.
Отключение мониторинга сервисов
Чтобы отключить мониторинг сервисов:
- В веб-консоли KUMA перейдите в раздел Параметры → Мониторинг сервисов.
- Если вы хотите отключить мониторинг сервисов только для коллекторов, в окне Мониторинг сервисов. Настройка пороговых значений в блоке параметров Коллекторы установите флажок Отключить ошибки коннекторов.
В результате будет отключен только анализ метрики Connector errors для коллекторов.
- Если вы хотите отключить мониторинг всех сервисов, в окне Мониторинг сервисов. Настройка пороговых значений установите флажок Выключить.
Мониторинг сервисов KUMA будет отключен, при этом сервисам не будет присваиваться желтый статус.
Просмотр метрик KUMA
Для отслеживания работы своих компонентов, потока событий, контекста корреляции в KUMA выполняется сбор и хранение большого количества параметров. Для сбора, хранения и анализа параметров используется решение VictoriaMetrics, представляющее собой СУБД в формате временных рядов. Визуализация собранных метрик осуществляется с помощью Grafana. В разделе KUMA → Meтрики представлены панели мониторинга с визуализацией ключевых параметров работы различных компонентов KUMA.
Сервис Ядра KUMA выполняет настройку параметров VicrtoriaMectics и Grafana автоматически, участие пользователя не требуется.
Визуализация собранных метрик осуществляется с помощью решения Grafana. RPM-пакет службы kuma-core формирует конфигурацию Grafana и создает отдельную панель мониторинга для визуализации метрик каждого сервиса. Графики в разделе Метрики появляются с задержкой около 1,5 минут.
Полная информация о метриках доступна в разделе Метрики веб-интерфейса KUMA. При выборе этого раздела открывается автоматически обновляемый портал Grafana, развернутый во время установки Ядра. Если в разделе Метрики вы видите core:<номер порта>, это означает, что KUMA развернута в отказоустойчивой конфигурации и метрики получены с хоста, на котором было установлено Ядро. В прочих конфигурациях отображается имя хоста, с которого KUMA получает метрики.
Метрики коллекторов
Название метрики |
Описание |
---|---|
IO (ввод-вывод) – метрики, относящиеся к вводу и выводу сервиса. |
|
Processing EPS (обрабатываемые события в секунду) |
Количество событий, обработанных за секунду. |
Output EPS (вывод событий) |
Количество событий, отправленных точке назначения за секунду. |
Output Latency (задержка вывода) |
Время в миллисекундах, затраченное на отправку пакета событий точке назначения и получение от нее ответа. Отображается медиана. |
Output Errors (ошибки вывода) |
Количество ошибок, возникших за секунду при отправке пакетов событий точке назначения. Сетевые ошибки и ошибки записи в дисковый буфер точки назначения отображаются отдельно. |
Output Event Loss (потеря событий) |
Количество событий, потерянных за секунду. События могут быть потеряны из-за сетевых ошибок или ошибок записи в дисковый буфер точки назначения. События также теряются, если точка назначения отвечает кодом ошибки, например при недействительном запросе. |
Output Disk Buffer SIze (размер дискового буфера) |
Размер дискового буфера коллектора, связанного с точкой назначения, в байтах. Если отображается ноль, в дисковой буфер коллектора не помещен ни один пакет событий, и сервис работает правильно. |
Write Network BPS (байты, принятые в сеть) |
Количество байт, принятых в сеть за секунду. |
Connector errors (ошибки коннектора) |
Количество ошибок в логах коннектора. |
Normalization (нормализация) – метрики, относящиеся к нормализаторам. |
|
Raw & Normalized event size (размер сырых и нормализованных событий) |
Размер необработанного и нормализованного событий. Отображается медиана. |
Errors (ошибки) |
Количество ошибок нормализации, возникших за секунду. |
Filtration (фильтрация) – метрики, относящиеся к фильтрам. |
|
EPS (события, обрабатываемые за секунду) |
Количество событий, удовлетворяющих условиям фильтра и отправленных в обработку за секунду. Коллектор обрабатывает события, удовлетворяющие условиям фильтра, только если пользователь добавил фильтр в конфигурацию сервиса коллектора. |
Aggregation (агрегация) – показатели, относящиеся к правилам агрегации. |
|
EPS (события, обрабатываемые в секунду) |
Количество событий, полученных и созданных правилом агрегации за секунду. Эта метрика помогает определить эффективность правил агрегации. |
Buckets (контейнеры) |
Количество контейнеров в правиле агрегации. |
Enrichment (обогащение) – метрики, относящиеся к правилам обогащения. |
|
Cache RPS (запросы к кешу в секунду) |
Количество запросов, отправленных локальному кешу за секунду. |
Source RPS (запросы к источнику в секунду) |
Количество запросов, отправленных источнику обогащения, например словарю, за секунду. |
Source Latency (задержка источника) |
Время в миллисекундах, затраченное на отправку запроса источнику обогащения и получение от него ответа. Отображается медиана. |
Queue (очередь) |
Размер очереди запросов на обогащение. Эта метрика помогает найти "узкие места" в правилах обогащения. |
Errors (ошибки) |
Количество ошибок, возникших за секунду при отправке запросов источнику обогащения. |
Метрики корреляторов
Название метрики |
Описание |
---|---|
IO (ввод-вывод) – метрики, относящиеся к вводу и выводу сервиса. |
|
Processing EPS (обрабатываемые события в секунду) |
Количество событий, обработанных за секунду. |
Output EPS (вывод событий) |
Количество событий, отправленных точке назначения за секунду. |
Output Latency (задержка вывода) |
Время в миллисекундах, затраченное на отправку пакета событий точке назначения и получение от нее ответа. Отображается медиана. |
Output Errors (ошибки вывода) |
Количество ошибок, возникших за секунду при отправке пакетов событий точке назначения. Сетевые ошибки и ошибки записи в дисковый буфер точки назначения отображаются отдельно. |
Output Event Loss (потеря событий) |
Количество событий, потерянных за секунду. События могут быть потеряны из-за сетевых ошибок или ошибок записи в дисковый буфер точки назначения. События также теряются, если точка назначения отвечает кодом ошибки, например при недействительном запросе. |
Output Disk Buffer SIze (размер дискового буфера) |
Размер дискового буфера коллектора, связанного с точкой назначения, в байтах. Если отображается ноль, в дисковой буфер коллектора не помещен ни один пакет событий, и сервис работает правильно. |
Correlation (корреляция) – метрики, относящиеся к правилам корреляции. |
|
EPS (события, обрабатываемые в секунду) |
Количество корреляционных событий, созданных правилом корреляции за секунду. |
Buckets (контейнеры) |
Количество контейнеров в правиле корреляции стандартного типа. |
Rate Limiter Hits (лимит срабатываний) |
Количество превышений правилом корреляции лимита срабатываний за секунду. |
Active Lists OPS (запросы к активному листу в секунду) |
Количество запросов на выполнение операций, отправленных активному листу за секунду, и сами операции. |
Active Lists Records (записи в активном листе) |
Количество записей в активном листе. |
Active Lists On-Disk Size (размер на диске) |
Размер активного листа на диске в байтах. |
Enrichment (обогащение) – метрики, относящиеся к правилам обогащения. |
|
Cache RPS (запросы к кешу в секунду) |
Количество запросов, отправленных локальному кешу за секунду. |
Source RPS (запросы к источнику в секунду) |
Количество запросов, отправленных источнику обогащения, например словарю, за секунду. |
Source Latency (задержка источника) |
Время в миллисекундах, затраченное на отправку запроса источнику обогащения и получение от него ответа. Отображается медиана. |
Queue (очередь) |
Размер очереди запросов на обогащение. Эта метрика помогает найти "узкие места" в правилах обогащения. |
Errors (ошибки) |
Количество ошибок, возникших за секунду при отправке запросов источнику обогащения. |
Response (ответ) – метрики, относящиеся к правилам реагирования. |
|
RPS (запросы в секунду) |
Количество активаций правила реагирования за секунду. |
Метрики хранилища
Название метрики |
Описание |
---|---|
Clickhouse / General (общие параметры) – метрики, относящиеся к общим параметрам кластера ClickHouse. |
|
Active Queries (активные запросы) |
Количество выполняемых запросов, отправленных кластеру ClickHouse. Эта метрика отображается для каждого экземпляра ClickHouse. |
QPS (запросы в секунду) |
Количество запросов, отправленных кластеру ClickHouse за секунду. |
Failed QPS (безуспешные запросы в секунду) |
Количество безуспешных запросов, отправленных кластеру ClickHouse за секунду. |
Allocated memory (назначенная память) |
Количество RAM в гигабайтах, назначенное процессу ClickHouse. |
Clickhouse / Insert (вставка) – метрики, относящиеся к вставке событий в экземпляр ClickHouse. |
|
Insert EPS (вставка событий) |
Количество событий, вставленных в экземпляр ClickHouse за секунду. |
Insert QPS (запросы на вставку в секунду) |
Количество запросов на вставку событий в экземпляр ClickHouse, отправленных кластеру ClickHouse за секунду. |
Failed Insert QPS (безуспешные запросы на вставку в секунду) |
Количество безуспешных запросов на вставку событий в экземпляр ClickHouse, отправленных кластеру ClickHouse за секунду. |
Delayed Insert QPS (отложенные запросы на вставку в секунду) |
Количество отложенных запросов на вставку событий в экземпляр ClickHouse, отправленных кластеру ClickHouse за секунду. Запросы были отложены узлом ClickHouse из-за превышения мягкого лимита активных слияний. |
Rejected Insert QPS (отклоненные запросы на вставку в секунду) |
Количество отклоненных запросов на вставку событий в экземпляр ClickHouse, отправленных кластеру ClickHouse за секунду. Запросы были отклонены узлом ClickHouse из-за превышения жесткого лимита активных слияний. |
Active Merges (активные слияния) |
Количество активных слияний. |
Distribution Queue (очередь распределения) |
Количество временных файлов с событиями, которые не удалось вставить в экземпляр ClickHouse из-за того, что он был недоступен. Эти события невозможно найти с помощью поиска. |
Clickhouse / Select (выборка) – метрики, относящиеся к выборке событий в экземпляре ClickHouse. |
|
Select QPS (запросы на выборку в секунду) |
Количество запросов на выборку событий в экземпляре ClickHouse, отправленных кластеру ClickHouse за секунду. |
Failed Select QPS (безуспешные запросы на выборку в секунду) |
Количество безуспешных запросов на выборку событий в экземпляре ClickHouse, отправленных кластеру ClickHouse за секунду. |
Clickhouse / Replication (репликация) – метрики, относящиеся к репликам узлов ClickHouse. |
|
Active Zookeeper Connections (активные подключения к Zookeeper) |
Количество активных подключений к узлам кластера Zookeeper. При нормальной работе это число должно быть равным количеству узлов кластера Zookeeper. |
Read-only Replicas (реплики read-only) |
Количество реплик узлов ClickHouse в режиме read-only. При нормальной работе таких реплик узлов ClickHouse быть не должно. |
Active Replication Fetches (активные процессы скачивания) |
Количество активных процессов скачивания данных с узла ClickHouse при репликации данных. |
Active Replication Sends (активные процессы отправки) |
Количество активных процессов отправки данных узлу ClickHouse при репликации данных. |
Active Replication Consistency Checks (активные процессы проверки консистентности) |
Количество активных проверок консистентности данных на репликах узлов ClickHouse при репликации данных. |
Clickhouse / Networking (сеть) – метрики, относящиеся к сети кластера ClickHouse. |
|
Active HTTP Connections (активные HTTP-подключения) |
Количество активных подключений к HTTP-серверу кластера ClickHouse. |
Active TCP Connections (активные TCP-подключения) |
Количество активных подключений к TCP-серверу кластера ClickHouse. |
Active Interserver Connections (активные подключения между серверами) |
Количество активных служебных подключений между узлами ClickHouse. |
Метрики Ядра
Название метрики |
Описание |
---|---|
Raft – метрики, относящиеся к чтению и обновлению состояния Ядра. |
|
Lookup RPS (запросы на чтение в секунду) |
Количество запросов на выполнение процедур чтения, отправленных Ядру за секунду, и сами процедуры. |
Lookup Latency (время обработки запроса на чтение) |
Время в миллисекундах, затраченное на выполнение процедур чтения, и сами процедуры. Отображается время для 99-ого процентиля процедур чтения. Один процент процедур чтения может выполняться дольше. |
Propose RPS (запросы на обновление состояния в секунду) |
Количество запросов на выполнение процедур обновления состояния, отправленных Ядру за секунду, и сами процедуры. |
Propose Latency (время обработки запроса на обновление состояния) |
Время в миллисекундах, затраченное на выполнение процедур обновления состояния, и сами процедуры. Отображается время для 99-ого процентиля процедур обновления состояния. Один процент процедур обновления состояния может выполняться дольше. |
API – метрики, относящиеся к API-запросам. |
|
RPS (запросы в секунду) |
Количество API-запросов, отправленных Ядру за секунду. |
Latency (задержка) |
Время в миллисекундах, затраченное на обработку одного API-запроса к Ядру. Отображается медиана. |
Errors (ошибки) |
Количество ошибок, возникших за секунду при отправке API-запросов Ядру. |
Notification Feed (фид уведомлений) – метрики, относящиеся к активности пользователей. |
|
Subscriptions (подписки) |
Количество клиентов, подключенных к Ядру через SSE для получения сообщений сервера в реальном времени. Обычно это число равно количеству клиентов, использующих веб-интерфейс KUMA. |
Errors (ошибки) |
Количество ошибок, возникших за секунду при отправке уведомлений пользователям. |
Schedulers (планировщики) – метрики, относящиеся к задачам Ядра. |
|
Active (активные) |
Количество повторяющихся активных системных задач. Задачи, созданные пользователем, игнорируются. |
Latency (задержка) |
Время в миллисекундах, затраченное на выполнение задачи. Отображается медиана. |
Errors (ошибки) |
Количество ошибок, возникших за секунду при выполнении задач. |
Метрики агента KUMA
Название метрики |
Описание |
---|---|
IO (ввод-вывод) – метрики, относящиеся к вводу и выводу сервиса. |
|
Processing EPS (обрабатываемые события в секунду) |
Количество событий, обработанных за секунду. |
Output EPS (вывод событий) |
Количество событий, отправленных точке назначения за секунду. |
Output Latency (задержка вывода) |
Время в миллисекундах, затраченное на отправку пакета событий точке назначения и получение от нее ответа. Отображается медиана. |
Output Errors (ошибки вывода) |
Количество ошибок, возникших за секунду при отправке пакетов событий точке назначения. Сетевые ошибки и ошибки записи в дисковый буфер точки назначения отображаются отдельно. |
Output Event Loss (потеря событий) |
Количество событий, потерянных за секунду. События могут быть потеряны из-за сетевых ошибок или ошибок записи в дисковый буфер точки назначения. События также теряются, если точка назначения отвечает кодом ошибки, например при недействительном запросе. |
Output Disk Buffer SIze (размер дискового буфера) |
Размер дискового буфера коллектора, связанного с точкой назначения, в байтах. Если отображается ноль, в дисковой буфер коллектора не помещен ни один пакет событий, и сервис работает правильно. |
Write Network BPS (байты, принятые в сеть) |
Количество байт, принятых в сеть за секунду. |
Метрики Event routers
Название метрики |
Описание |
---|---|
IO (ввод-вывод) – метрики, относящиеся к вводу и выводу сервиса. |
|
Processing EPS (обрабатываемые события в секунду) |
Количество событий, обработанных за секунду. |
Output EPS (вывод событий) |
Количество событий, отправленных точке назначения за секунду. |
Output Latency (задержка вывода) |
Время в миллисекундах, затраченное на отправку пакета событий точке назначения и получение от нее ответа. Отображается медиана. |
Output Errors (ошибки вывода) |
Количество ошибок, возникших за секунду при отправке пакетов событий точке назначения. Сетевые ошибки и ошибки записи в дисковый буфер точки назначения отображаются отдельно. |
Output Event Loss (потеря событий) |
Количество событий, потерянных за секунду. События могут быть потеряны из-за сетевых ошибок или ошибок записи в дисковый буфер точки назначения. События также теряются, если точка назначения отвечает кодом ошибки, например при недействительном запросе. |
Output Disk Buffer SIze (размер дискового буфера) |
Размер дискового буфера коллектора, связанного с точкой назначения, в байтах. Если отображается ноль, в дисковой буфер коллектора не помещен ни один пакет событий, и сервис работает правильно. |
Write Network BPS (байты, принятые в сеть) |
Количество байт, принятых в сеть за секунду. |
Connector Errors (ошибки коннектора) |
Количество ошибок в журнале коннектора. |
Метрики, общие для всех сервисов
Название метрики |
Описание |
---|---|
Process – общие метрики процесса. |
|
Memory (память) |
Использование RAM (RSS) в мегабайтах. |
DISK BPS (считанные/записанные байты диска) |
Количество байтов, считанных/записанных на диск за секунду. |
Network BPS (байты, принятые/переданные по сети) |
Количество байтов, принятых/переданных по сети за секунду. |
Network Packet Loss (потеря пакетов) |
Количество сетевых пакетов, потерянных за секунду. |
GC Latency (задержка сборщика мусора) |
Время в миллисекундах, затраченное на проведение цикла сборщика мусора GO (Garbage Collector). Отображается медиана. |
Goroutines (гоурутины) |
Количество активных гоурутин. Это число отличается от количества потоков операционной системы. |
OS (ОС) – метрики, относящиеся к операционной системе. |
|
Load (нагрузка) |
Средняя нагрузка. |
CPU (ЦП) |
Загрузка центрального процессора в процентах. |
Memory (память) |
Использование RAM (RSS) в процентах. |
Disk (диск) |
Использование дискового пространства в процентах. |
Срок хранения метрик
По умолчанию данные о работе KUMA хранятся 3 месяца. Этот срок можно изменить.
Чтобы изменить срок хранения метрик KUMA:
- Войдите в ОС сервера, на котором установлено Ядро KUMA.
- В файле /etc/systemd/system/multi-user.target.wants/kuma-victoria-metrics.service в параметре ExecStart измените флаг
--retentionPeriod=<срок хранения метрик в месяцах>
, подставив нужный срок. Например,--retentionPeriod=4
означает, что метрики будут храниться 4 месяца. - Перезапустите KUMA, выполнив последовательно следующие команды:
systemctl daemon-reload
systemctl restart kuma-victoria-metrics
Срок хранения метрик изменен.
В началоУсловия срабатывания алертов по метрикам KUMA
Если значение метрики KUMA о работе сервиса превышает пороговое значение соответствующего параметра, настроенного в разделе KUMA Мониторинг сервисов, от решения VictoriaMetrics поступает алерт, и в статусе этого сервиса отображается сообщение об ошибке.
Получение алертов от VictoriaMetrics происходит со следующей периодичностью:
- VictoriaMetrics собирает информацию от сервисов KUMA каждые 15 секунд.
- VictoriaMetrics обновляет алерты для сервисов KUMA каждую минуту.
- Сервис Ядро KUMA собирает информацию от VictoriaMetrics каждые 15 секунд.
Таким образом общая длительность задержки в обновлении статуса сервиса может достигать не более 2-3 минут.
Если вы отключили получение алертов от VictoriaMetrics, некоторые сервисы KUMA все равно могут отображаться с желтым статусом. Это может произойти в следующих случаях:
- Для сервиса хранилище:
- если алерт пришел по API запросу в параметре /status от ClickHouse;
- если холодное хранилище сервиса Хранилище не проверяется.
- Для сервиса коллектор: если алерт пришел по API-запросу в параметре /status.
- Для сервиса коррелятор: если есть правило реагирования, для которого требуется модуль Advanced Responses, но этот модуль отсутствует в действующей лицензии или срок действия лицензии, в которой есть этот модуль, истек.
В таблице ниже представлена информация о том, какие сообщения об ошибке могут появиться в статусе сервиса при получении алерта от VictoriaMetrics и как и на основании каких метрик и параметров они рассчитываются. Подробнее о метриках KUMA, на основании которых могут сработать алерты VictoriaMetrics, см. Просмотр метрик KUMA.
Например, если в таблице Активные сервисы для сервиса отображается желтый статус и сообщение об ошибке High distribution queue
(в таблице ниже – столбец "Сообщение об ошибке"), вы можете посмотреть данные в виджете Enrichment, метрика Distribution Queue (в таблице ниже – столбец "Метрики KUMA").
Описание сообщений об ошибках для сервисов KUMA
Сообщение об ошибке |
Настраиваемые параметры для алертов |
Метрика KUMA |
Описание |
---|---|---|---|
|
Интервал/Окно QPS, минуты Порог QPS |
Clickhouse / General (общие параметры) → Failed QPS (безуспешные запросы в секунду) |
Сообщение об ошибке отображается, если значение метрики Failed QPS превышает заданное значение параметра Порог QPS в течение интервала времени, заданного параметром Интервал/Окно QPS, минуты. Например, если из 100 запросов от решения VictoriaMetrics к сервису 25 пришли безуспешные, а параметр Порог QPS равен 0.2, алерт рассчитывается следующим образом: (25 / 100) * 100 > 0.2 * 100 25% > 20% Так как процент безуспешных запросов больше, чем заданный порог, для сервиса отобразится сообщение об ошибке. |
|
Интервал/Окно расчета ошибочных вставок QPS, минуты Порог вставок QPS |
Clickhouse / Insert (вставка) → Failed Insert QPS (безуспешные запросы на вставку в секунду) |
Сообщение об ошибке отображается, если значение метрики Failed Insert QPS превышает заданное значение параметра Порог вставок QPS в течение интервала времени, заданного параметром Интервал/Окно расчета ошибочных вставок QPS, минуты. Например, если из 100 запросов от решения VictoriaMetrics к сервису 25 пришли безуспешные, а параметр Порог вставок QPS равен 0.2, алерт рассчитывается следующим образом: (25 / 100) * 100 > 0.2 * 100 25% > 20% Так как процент безуспешных запросов больше, чем заданный порог, для сервиса отобразится сообщение об ошибке. |
|
Порог очереди распределения Интервал/Окно расчета очереди распределения, минуты |
Clickhouse / Insert (вставка) → Distribution Queue (очередь распределения) |
Сообщение об ошибке отображается, если значение метрики Distribution Queue превышает заданное значение параметра Порог очереди распределения в течение интервала времени, заданного параметром Интервал/Окно расчета очереди распределения, минуты. |
|
Порог свободного места на диске |
OS (ОС) → Disk (диск) |
Сообщение об ошибке отображается, если размер свободного места на диске (в процентах) в значении метрики Disk меньше, чем задано в параметре Порог свободного места на диске. Например, сообщение об ошибке отобразится, если если раздел, на котором установлена KUMA, занимает все место на диске. |
|
Порог свободного места на разделе диска |
OS (ОС) → Disk (диск) |
Сообщение об ошибке отображается, если размер свободного места в разделе диска, с которым работает KUMA (в процентах), осталось меньше, чем задано в параметре Порог свободного места на разделе диска. Например, сообщение об ошибке отобразится в следующих случаях:
|
|
Потери исходящих событий |
IO (ввод-вывод) → Output Event Loss (потеря событий) |
Сообщение об ошибке отображается, если значение метрики Output Event Loss возрастает в течение одной минуты. Вы можете включить или выключить отображение этого сообщения об ошибке с помощью параметра Потери исходящих событий. |
|
Интервал/Окно увеличения дискового буфера, минуты |
IO (ввод-вывод) → Output Disk Buffer Size (размер дискового буфера) |
Сообщение об ошибке отображается, если в течение 10 минут с интервалом, заданным параметром Интервал/Окно увеличения дискового буфера, минуты, значение метрики Output Disk Buffer Size монотонно возрастает. Например, при значении параметра Интервал/Окно увеличения дискового буфера, минуты равном 2 минуты сообщение об ошибке отобразится, если в течение 10 минут размер дискового буфера будет монотонно возрастать каждые 2 минуты (см. рис. ниже). |
|
Интервал/Окно увеличения очереди обогащения, минуты |
Enrichment (обогащение) → Queue (очередь) |
Сообщение об ошибке отображается, если в течение 10 минут с интервалом, заданным параметром Интервал/Окно увеличения очереди обогащения, минуты, значение метрики Queue монотонно возрастает. Например, при значении параметра Интервал/Окно увеличения очереди обогащения, минуты равном 3 минуты сообщение об ошибке отобразится, если в течение 10 минут очередь обогащения будет монотонно возрастать каждые три минуты. В случае, изображенном на рисунке ниже, сообщение об ошибке не отобразится, так как на девятой минуте значение метрики уменьшилось, поэтому последовательного монотонного возрастания нет. |
|
Ошибки обогащения |
Enrichment (обогащение) → Errors (ошибки) |
Сообщение об ошибке отображается, если значение метрики Errors (количество ошибок) возрастает в течение одной минуты. Вы можете включить или выключить отображение этого сообщения об ошибке с помощью параметра Ошибки обогащения. |
|
Отключить ошибки коннекторов |
IO (ввод-вывод) → Connector Errors (ошибки коннектора) |
Сообщение об ошибке отображается, если значение метрики Connector Errors (количество ошибок) возрастает между последовательными опросами метрики решением VictoriaMetrics в течение одной минуты. Вы можете включить или выключить отображение этого сообщения об ошибке с помощью параметра Отключить ошибки коннекторов. |
Работа с задачами KUMA
При работе в веб-интерфейсе программы вы можете выполнять различные операции с помощью задач. Например, вы можете выполнить импорт активов или экспортировать информацию о событиях KUMA в TSV-файл.
Просмотр таблицы задач
Таблица задач содержит список созданных задач и находится в разделе Диспетчер задач окна веб-интерфейса программы.
Вы можете просматривать задачи, созданные вами (текущим пользователем). Пользователь с ролью главного администратора может просматривать задачи всех пользователей.
По умолчанию в разделе Диспетчер задач применен фильтр Отображать только свои. Чтобы просматривать все задачи, снимите флажок с фильтра Отображать только свои.
В таблице задач содержится следующая информация:
- Статус – статус задачи. Задаче может быть присвоен один из следующих статусов:
- Мигает зеленая точка – задача активна.
- Завершено – задача выполнена.
- Отмена – задача отменена пользователем.
- Ошибка – задача не была завершена из-за ошибки. Сообщение об ошибке отображается при наведении курсора мыши на значок восклицательного знака.
- Задача – тип задачи. В программе доступны следующие типы задач:
- Экспорт событий – экспорт событий KUMA.
- Threat Lookup – запрос данных с портала Kaspersky Threat Intelligence Portal.
- Ретроспективная проверка – задание на воспроизведение событий.
- Импорт активов KSC – импорт данных об активах с серверов Kaspersky Security Center.
- Импорт учетных записей – импорт данных о пользователях из Active Directory.
- Импорт активов KICS for Networks – импорт данных об активах из KICS for Networks.
- Обновление репозитория - обновления репозитория KUMA для получения пакетов с ресурсами из указанного в настройках источника.
- Создал – пользователь, создавший задачу. Если задача создана автоматически, в столбце указано Задача по расписанию.
- Создана – время создания задачи.
- Последнее обновление – время обновления задачи.
- Тенант – название тенанта, в котором была запущена задача.
Формат даты задачи зависит от языка локализации, выбранного в настройках программы. Возможные варианты формата даты:
- Английская локализация: ГГГГ-ММ-ДД.
- Русская локализация: ДД.ММ.ГГГГ.
Настройка отображения таблицы задач
Вы можете настроить отображение столбцов, а также порядок их следования в таблице задач.
Чтобы настроить отображение и порядок следования столбцов в таблице задач:
- В веб-интерфейсе KUMA выберите раздел Диспетчер задач.
Отобразится таблица задач.
- В заголовочной части таблицы нажмите на кнопку шестеренки (
).
- В отобразившемся окне выполните следующие действия:
- Если вы хотите включить отображение столбца в таблице, установите флажок рядом с названием того параметра, который должен отображаться в таблице.
- Если вы не хотите, чтобы параметр отображался в таблице, снимите флажок.
Должен быть установлен хотя бы один флажок.
- Если вы хотите сбросить настройки, нажмите на ссылку По умолчанию.
- Если вы хотите изменить порядок отображения столбцов в таблице, наведите курсор мыши на название столбца, зажмите левую клавишу мыши и перетащите столбец в нужное место.
Отображение столбцов в таблице задач будет настроено.
В началоПросмотр результата выполнения задачи
Чтобы просмотреть результат выполнения задачи:
- В веб-интерфейсе KUMA выберите раздел Диспетчер задач.
Отобразится таблица задач.
- Нажмите на ссылку с типом задачи в столбце Задача.
Отобразится список доступных для этого типа задач операций.
- Выберите Показать результат.
Откроется окно с результатом выполнения задачи.
В данном разделе по умолчанию применен фильтр Отображать только свои в столбце Создал таблицы задач. Для просмотра всех задач вам необходимо отключить этот фильтр.
В началоПовторный запуск задачи
Чтобы перезапустить задачу:
- В веб-интерфейсе KUMA выберите раздел Диспетчер задач.
Отобразится таблица задач.
- Нажмите на ссылку с типом задачи в столбце Задача.
Отобразится список доступных для этого типа задач операций.
- Выберите Перезапустить.
Задача будет запущена повторно.
В началоПодключение к SMTP-серверу
В KUMA можно настроить отправку уведомлений по электронной почте с помощью SMTP-сервера. Пользователи будут получать уведомления, если в настройках их профиля установлен флажок Получать уведомления по почте.
Для обработки уведомлений KUMA можно добавить только один SMTP-сервер. Управление подключением к SMTP-серверу осуществляется в разделе веб-интерфейса KUMA Параметры → Общие → Параметры подключения к SMTP-серверу.
Чтобы настроить подключение к SMTP-серверу:
- Откройте веб-интерфейс KUMA и выберите раздел Параметры → Общие.
- В блоке параметров Параметры подключения к SMTP-серверу измените необходимые параметры:
- Выключено – установите этот флажок, если хотите отключить подключение к SMTP-серверу.
- Адрес сервера (обязательно) – адрес SMTP-сервера в одном из следующих форматов: hostname, IPv4, IPv6.
- Порт (обязательно) – порт подключения к почтовому серверу. Значение должно быть целым числом от 1 до 65 535.
- От кого (обязательно) – адрес электронной почты отправителя сообщения. Например,
kuma@company.com
. - Псевдоним сервера Ядра KUMA – отличное от FQDN название сервера Ядра KUMA, которое используется в вашей сети.
- При необходимости в раскрывающемся списке Секрет выберите секрет типа credentials, в котором записаны учетные данные для подключения к SMTP-серверу.
- Выберите периодичность уведомлений в раскрывающемся списке Регулярность уведомлений мониторинга.
Уведомления о срабатывании политики мониторинга от источника будут повторяться через выбранный период, пока статус источника не станет вновь зеленым.
Если вы выберете значение Не повторять, уведомление о срабатывании политики мониторинга придет только один раз.
- Включите переключатель Выключить уведомления мониторинга, если не хотите получать уведомления о состоянии источников событий. По умолчанию переключатель выключен.
- Нажмите Сохранить.
Соединение с SMTP-сервером настроено, пользователи могут получать сообщения электронной почты от KUMA.
В началоРабота с задачами Kaspersky Security Center
Вы можете подключить активы Kaspersky Security Center к KUMA и загружать на эти активы обновления баз и программных модулей или запускать на них антивирусную проверку с помощью задач Kaspersky Security Center. Задачи запускаются в веб-интерфейсе KUMA.
Для запуска задач Kaspersky Security Center на активах, подключенных к KUMA, рекомендуется использовать следующий сценарий:
- Создание в Консоли администрирования Kaspersky Security Center учетной записи пользователя
Данные этой учетной записи используются при создании секрета для установки соединения с Kaspersky Security Center и могут использоваться при создании задачи.
Подробнее о создании учетной записи и назначении прав пользователю см. в справке Kaspersky Security Center.
- Создание задач в Kaspersky Security Center
- Настройка интеграции KUMA с Kaspersky Security Center
- Импорт информации об активах Kaspersky Security Center в KUMA
- Назначение категории импортированным активам
После импорта активы автоматически помещаются в группу Устройства без категории. Вы можете назначить импортированным активам одну из существующих категорий или создать категорию и назначить ее активам.
- Запуск задач на активах
Вы можете запускать задачи вручную в информации об активе или настроить автоматический запуск задач.
О создании задач KUMA в Kaspersky Security Center
Вы можете запустить на активах Kaspersky Security Center, подключенных к KUMA, задачу обновления антивирусных баз и модулей программы и задачу антивирусной проверки. На активах должны быть установлены программы Kaspersky Endpoint Security для Windows или Linux. Задачи создаются в Kaspersky Security Center Web Console.
Подробнее о создании задач Обновление и Антивирусная проверка на активах с Kaspersky Endpoint Security для Windows см. в справке Kaspersky Endpoint Security для Windows.
Подробнее о создании задач Обновление и Антивирусная проверка на активах с Kaspersky Endpoint Security для Linux см. в справке Kaspersky Endpoint Security для Linux.
Название задач должно начинаться с "kuma" (без учета регистра и без кавычек). Например, KUMA antivirus check
. В противном случае задача не отображается в списке доступных задач в веб-интерфейсе KUMA.
Запуск задач Kaspersky Security Center вручную
Вы можете вручную запускать на активах Kaspersky Security Center, подключенных к KUMA, задачу обновления антивирусных баз и модулей программы и задачу антивирусной проверки. На активах должны быть установлены программы Kaspersky Endpoint Security для Windows или Linux.
Предварительно вам нужно настроить интеграцию Kaspersky Security Center с KUMA и создать задачи в Kaspersky Security Center.
Чтобы запустить задачу Kaspersky Security Center вручную:
- В разделе Активы веб-интерфейса KUMA выберите актив, импортированный из Kaspersky Security Center.
Откроется окно Информация об активе.
- Нажмите на кнопку Реагирование KSC.
Кнопка отображается, если подключение к Kaspersky Security Center, к которому принадлежит выбранный актив, включено.
- В открывшемся окне Выберите задачу установите флажки рядом с задачами, которые вы хотите запустить, и нажмите на кнопку Запустить.
Kaspersky Security Center запускает выбранные задачи.
Некоторые типы задач доступны только для определенных активов.
Информация об уязвимостях и программном обеспечении доступна только для активов с операционной системой Windows.
В началоАвтоматический запуск задач Kaspersky Security Center
Вы можете настроить автоматический запуск задачи обновления антивирусных баз и модулей программы и задачи антивирусной проверки на активах Kaspersky Security Center, подключенных к KUMA. На активах должны быть установлены программы Kaspersky Endpoint Security для Windows или Linux.
Предварительно вам нужно настроить интеграцию Kaspersky Security Center с KUMA и создать задачи в Kaspersky Security Center.
Настройка автоматического запуска задач Kaspersky Security Center включает следующие этапы:
Шаг 1. Добавление правила корреляции
Чтобы добавить правило корреляции:
- В веб-интерфейсе KUMA выберите раздел Ресурсы.
- Выберите Правила корреляции и нажмите на кнопку Добавить правило корреляции.
- На вкладке Общие укажите следующие параметры:
- В поле Название укажите название правила.
- В раскрывающемся списке Тенант выберите тенант, которому принадлежит ресурс.
- В раскрывающемся списке Тип выберите simple.
- В поле Наследуемые поля добавьте следующие поля: DestinationAssetID.
- При необходимости укажите значения для следующих полей:
- В поле Частота срабатывания укажите максимальное количество срабатываний правила в секунду.
- В поле Уровень важности укажите уровень важности алертов и корреляционных событий, которые будут созданы в результате срабатывания правила.
- В поле Описание укажите любую дополнительную информацию.
- На вкладке Селекторы → Параметры выполните следующие действия:
- В раскрывающемся списке Фильтр выберите Создать.
- В поле Условия нажмите на кнопку Добавить группу.
- В поле с оператором для добавленной группы выберите И.
- Добавьте условие для фильтрации по значению поля DeviceProduct:
- В поле Условия нажмите на кнопку Добавить условие.
- В поле с условием выберите Если.
- В поле Левый операнд выберите поле события.
- В поле события выберите DeviceProduct.
- В поле оператор выберите =.
- В поле Правый операнд выберите константа.
- В поле значение введите KSC.
- Добавьте условие для фильтрации по значению поля Name:
- В поле Условия нажмите на кнопку Добавить условие.
- В поле с условием выберите Если.
- В поле Левый операнд выберите поле события.
- В поле события выберите Name.
- В поле оператор выберите =.
- В поле Правый операнд выберите константа.
- В поле значение введите имя события, при обнаружении которого вы хотите автоматически запускать задачу.
Например, если вы хотите, чтобы задача Антивирусная проверка запускалась при регистрации событий Kaspersky Security Center Обнаружен вредоносный объект, вам нужно указать в поле значение это имя.
Имя события можно посмотреть в поле Name в информации о событии.
- На вкладке Действия укажите следующие параметры:
- В разделе Действия откройте раскрывающийся список На каждом событии.
- Установите флажок Отправить на дальнейшую обработку.
Другие поля заполнять не требуется.
- Нажмите на кнопку Сохранить.
Правило корреляции будет создано.
Шаг 2. Создание коррелятора
Вам нужно запустить мастер установки коррелятора. На шаге 3 мастера вам требуется выбрать правило корреляции, добавленное при выполнении этой инструкции.
В поле DeviceHostName должно отображаться доменное имя (FQDN) актива. Если оно не отображается, вам нужно создать запись для этого актива в системе DNS и на шаге 4 мастера создать правило обогащения с помощью DNS.
Шаг. 3. Добавление фильтра
Чтобы добавить фильтр:
- В веб-интерфейсе KUMA выберите раздел Ресурсы.
- Выберите Фильтры и нажмите на кнопку Добавить фильтр.
- В поле Название укажите название фильтра.
- В раскрывающемся списке Тенант выберите тенант, которому принадлежит ресурс.
- В поле Условия нажмите на кнопку Добавить группу.
- В поле с оператором для добавленной группы выберите И.
- Добавьте условие для фильтрации по значению поля DeviceProduct:
- В поле Условия нажмите на кнопку Добавить условие.
- В поле с условием выберите Если.
- В поле Левый операнд выберите поле события.
- В поле события выберите Type.
- В поле оператор выберите =.
- В поле Правый операнд выберите константа.
- В поле значение введите 3.
- Добавьте условие для фильтрации по значению поля Name:
- В поле Условия нажмите на кнопку Добавить условие.
- В поле с условием выберите Если.
- В поле Левый операнд выберите поле события.
- В поле события выберите Name.
- В поле оператор выберите =.
- В поле Правый операнд выберите константа.
- В поле значение введите имя правила корреляции, созданного на шаге 1.
Шаг 4. Добавление правила реагирования
Чтобы добавить правило реагирования:
- В веб-интерфейсе KUMA выберите раздел Ресурсы.
- Выберите Правила реагирования и нажмите на кнопку Добавить правило реагирования.
- В поле Название укажите название правила.
- В раскрывающемся списке Тенант выберите тенант, которому принадлежит ресурс.
- В раскрывающемся списке Тип выберите Реагирование через KSC.
- В раскрывающемся списке Задача Kaspersky Security Center выберите задачу Kaspersky Security Center, которую требуется запустить.
- В раскрывающемся списке Поле события выберите DestinationAssetID.
- В поле Рабочие процессы укажите количество процессов, которые сервис может запускать одновременно.
По умолчанию количество рабочих процессов соответствует количеству виртуальных процессоров сервера, на котором установлен сервис коррелятора.
- В поле Описание вы можете добавить до 4000 символов в кодировке Unicode.
- В раскрывающемся списке Фильтр выберите фильтр, добавленный на шаге 3 этой инструкции.
Для отправки запросов в Kaspersky Security Center необходимо убедиться, что Kaspersky Security Center доступен по протоколу UDP.
Если правила реагирования принадлежат общему тенанту, то в качестве доступных для выбора задач Kaspersky Security Center отображаются задачи от сервера Kaspersky Security Center, к которому подключен главный тенант.
Если в правиле реагирования выбрана задача, которая отсутствует на сервере Kaspersky Security Center, к которому подключен тенант, для активов этого тенанта задача не будет выполнена. Такая ситуация может возникнуть, например, когда два тенанта используют общий коррелятор.
Шаг 5. Добавление правила реагирования в коррелятор
Чтобы добавить правило реагирования в коррелятор:
- В веб-интерфейсе KUMA выберите раздел Ресурсы.
- Выберите Корреляторы.
- В списке корреляторов выберите коррелятор, добавленный на шаге 2 этой инструкции.
- В дереве шагов выберите Правила реагирования.
- Нажмите на кнопку Добавить.
- В раскрывающемся списке Правило реагирования выберите правило, добавленное на шаге 4 этой инструкции.
- В дереве шагов выберите Проверка параметров.
- Нажмите на кнопку Сохранить и перезапустить сервисы.
- Нажмите на кнопку Сохранить.
Правило реагирования будет добавлено в коррелятор.
Автоматический запуск задачи обновления антивирусных баз и модулей программы или задачи антивирусной проверки на активах Kaspersky Security Center, подключенных к KUMA, будет настроен. Задачи запускаются при обнаружении угрозы на активах и получении KUMA соответствующих событий.
В началоПроверка статуса задач Kaspersky Security Center
В веб-интерфейсе KUMA можно проверить, была ли запущена задача Kaspersky Security Center или завершен ли поиск событий из коллектора, который прослушивает события Kaspersky Security Center.
Чтобы выполнить проверку статуса задач Kaspersky Security Center:
- Выберите раздел KUMA Ресурсы → Активные сервисы.
- Выберите коллектор, настроенный на получение событий с сервера Kaspersky Security Center, и нажмите на кнопку Перейти к событиям.
Откроется новая вкладка браузера в разделе События KUMA. В таблице отобразятся события с сервера Kaspersky Security Center. Статус задач отображается в столбце Название.
Поля событий Kaspersky Security Center:
- Name (Название) – статус или тип задачи.
- Message (Сообщение) – сообщение о задаче или событии.
- FlexString<номер>Label (Заголовок настраиваемого поля <номер>) – название атрибута, полученного от Kaspersky Security Center. Например,
FlexString1Label=TaskName
. - FlexString<номер> (Настраиваемое поле <номер>) – значение атрибута, указанного в поле поля FlexString<номер>Label. Например,
FlexString1=Download updates
. - DeviceCustomNumber<номер>Label (Заголовок настраиваемого поля <номер>) – название атрибута, относящегося к состоянию задачи. Например,
DeviceCustomNumber1Label=TaskOldState
. - DeviceCustomNumber<номер> (Настраиваемое поле <номер>) – значение, относящееся к состоянию задачи. Например,
DeviceCustomNumber1=1
означает, что задача выполняется. - DeviceCustomString<номер>Label (Заголовок настраиваемого поля <номер>) – название атрибута, относящегося к обнаруженной уязвимости: например, название вируса, уязвимого приложения.
- DeviceCustomString<номер> (Настраиваемое поле <номер>) – значение, относящееся к обнаруженной уязвимости. Например, пары атрибут-значение
DeviceCustomString1Label=VirusName
иDeviceCustomString1=EICAR-Test-File
означают, что обнаружен тестовый вирус EICAR.
Уведомления KUMA
Стандартные уведомления
В KUMA можно настроить отправку уведомлений по электронной почте с помощью SMTP-сервера. Для этого необходимо настроить подключение к SMTP-серверу, а также установить флажок Получать уведомления по почте. Только пользователь с ролью Главный администратор может получать уведомления по почте.
Если для пользователя с ролью Главный администратор установлен флажок Получать уведомления по почте, раз в 6 часов с момента включения настройки пользователю будет отправлено уведомление по электронной почте по следующему правилу:
- Если на момент отправки письма есть хотя бы один сервис у которого поле Warning не пусто, письмо с уведомлением будет отправлено.
- Одно письмо на все сервисы с желтым статусом. Если нет сервисов с желтым статусом, письмо не будет отправлено.
Интервал в 6 часов будет соблюдаться, если не будет перезапуска Ядра KUMA. После каждого перезапуска Ядра отсчет 6-часового интервала начинается заново.
KUMA автоматически уведомляет пользователей о следующих событиях:
- создан отчет (уведомление получают пользователи, перечисленные в параметрах расписания шаблона отчета);
- создан алерт (уведомление получают все пользователи);
- алерт назначен пользователю (уведомление получает пользователь, которому был назначен алерт);
- выполнена задача (уведомление получают пользователи, создавшие задачу).
- доступны новые пакеты с ресурсами, которые можно получить путем обновления репозитория KUMA (уведомление получают пользователи, чей адрес электронной почты указан в параметрах задачи).
- превышено среднесуточное количество EPS, ограниченное лицензией.
- превышено среднечасовое количество EPS, ограниченное лицензией SMB.
Пользовательские уведомления
Вместо стандартных уведомлений KUMA о создании алертов можно рассылать уведомления на основании пользовательских шаблонов. Настройка пользовательских уведомлений взамен стандартных происходит по шагам:
- Создание шаблона электронной почты.
- Создание правила уведомления, в котором указываются правила корреляции и адреса электронной почты.
Когда по выбранным правилам корреляции будет создаваться алерт, на указанные адреса электронной почты будут отправляться уведомления, созданные на основе пользовательских шаблонов электронной почты. Стандартные уведомления KUMA о том же событии на указанные адреса отправлены не будут.
В началоЖурналы KUMA
В KUMA предусмотрены следующие типы журналов:
- Журналы установщика.
- Журналы компонентов.
Журналы установщика
KUMA автоматически создает файлы с журналами установки, изменения конфигурации или удаления.
Журналы хранятся в папке ./log/ в директории установщика. В названии файла журнала используется дата и время запуска соответствующего скрипта.
Названия формируются в следующих форматах:
- Журнал установки: install-YYYYMMDD-HHMMSS.log. Например, install-20231031-102409.log
- Журналы удаления: uninstall-YYYYMMDD-HHMMSS.log. Например, uninstall-20231031-134011.log
- Журналы изменения конфигурации: expand-YYYYMMDD-HHMMSS.log. Например, expand-20231031-105805.log
При каждом запуске скрипта установки, изменения конфигурации или удаления KUMA создает новый файл. Ротация или автоматическое удаление журналов не предусмотрено.
Журнал содержит строки файла инвентаря, использованного при вызове соответствующей команды, и журнал ansible. Для каждой задачи последовательно отображается время запуска задачи (Вторник 31 октября 2023 10:29:14 +0300), время выполнения предыдущей задачи (0:00:02.611) и общее время с момента запуска установки, изменения конфигурации или удаления (0:04:56.906).
Пример:
TASK [Add columns to the replicated table] ***************************************
Вторник 31 октября 2023 10:29:14 +0300 (0:00:02.611) 0:04:56.906 *******
Журналы компонентов
По умолчанию для всех компонентов KUMA в журнале регистрируются только ошибки. Чтобы получать детализированные данные в журналах, следует настроить в параметрах компонента режим Отладка.
Журналы Ядра хранятся в директории /opt/kaspersky/kuma/core/00000000-0000-0000-0000-000000000000/log/core и архивируются при достижении размера 5 ГБ или срока жизни 7 дней, в зависимости от того, что наступит раньше. Проверка выполнения условий выполняется ежедневно. Архивы хранятся в папке с журналами в течение 7 дней, по истечении 7 дней архив удаляется. Одновременно на сервере хранится не более четырех заархивированных журналов. При появлении нового архива журнала, если архивов становится больше четырех, самый давний архив удаляется. При высоком темпе заполнения журналов необходимо иметь достаточно места на диске для создания копии файла журнала и ее архивирования при ротации.
Журналы компонентов пополняются, пока файл не достигнет размера 5 ГБ. По достижении 5 ГБ журнал архивируется и события начинают записываться в новый журнал. Архивы хранятся в папке с журналами в течение 7 дней, по истечении 7 дней архив удаляется. Одновременно на сервере хранится не более четырех заархивированных журналов. При появлении нового архива журнала, если архивов становится больше четырех, самый давний архив удаляется.
Режим Отладка доступен для следующих компонентов:
Ядро |
Как включить: в веб-интерфейсе KUMA в разделе Параметры → Общие → Параметры Ядра → Отладка. Где хранятся: /opt/kaspersky/kuma/core/00000000-0000-0000-0000-000000000000/log/core Журналы Ядра можно скачать в веб-интерфейсе KUMA в разделе Ресурсы → Активные сервисы, выбрав сервис Ядра и нажав на кнопку Журнал. Если KUMA установлена в отказоустойчивой конфигурации, см. ниже раздел Просмотр журналов Ядра в Kubernetes. |
Сервисы:
|
Как включить: в параметрах сервиса с помощью переключателя Отладка. Где хранятся: в директории установки сервиса. Например, /opt/kaspersky/kuma/<имя сервиса>/<ID сервиса>/log/<имя сервиса>. Журналы сервисов можно скачать в веб-интерфейсе KUMA в разделе Ресурсы → Активные сервисы, выбрав нужный сервис и нажав на кнопку Журнал. Журналы на машинах Linux можно просмотреть с помощью команды journalctl и tail. Например:
|
Ресурсы:
|
Как включить: в параметрах сервиса, к которому привязан ресурс, с помощью переключателя Отладка. Где хранятся: журналы хранятся на машине, на которой установлен сервис, использующий требуемый ресурс. Детализированные данные для ресурсов можно посмотреть в журнале сервиса, к которому привязан ресурс. |
Просмотр журналов Ядра в Kubernetes
Файлы журналов Ядра архивируются, по достижении 100 Мб записывается новый журнал. Одновременно хранится не более пяти файлов. При появлении нового журнала, если файлов становится больше пяти, самый старый файл удаляется.
На рабочих узлах можно просмотреть журналы контейнеров и подов, размещенных на этих узлах, в файловой системе узла.
Например:
/var/log/pods/kuma_core-deployment-<UID>/core/*.log
/var/log/pods/kuma_core-deployment-<UID>/mongodb/*.log
Чтобы просмотреть журналы всех контейнеров пода core:
k0s kubectl logs -l app=core --all-containers -n kuma
Чтобы просмотреть журнал определенного контейнера:
k0s kubectl logs -l app=core -c <имя_контейнера> -n kuma
Чтобы включить просмотр журналов в реальном времени, добавьте ключ -f:
k0s kubectl logs -f -l app=core --all-containers -n kuma
Чтобы просмотреть журналы "предыдущего" пода, который был замещен новым, например, при восстановлении после критической ошибки или после повторного развертывания, добавьте ключ --previous:
k0s kubectl logs -l app=core -c core -n kuma --previous
Для доступа к журналам с других хостов, не входящих в кластер, необходим файл k0s-kubeconfig.yml с реквизитами доступа, который создается при установке KUMA, и локально установленная утилита управления кластером kubectl.
Контроллер кластера или балансировщик трафика, указанные в параметре server файла k0s-kubeconfig.yml, должны быть доступны по сети.
Путь к файлу необходимо экспортировать в переменную: export KUBECONFIG=/<путь к файлу>/k0s-kubeconfig.yml
Для просмотра журналов можно использовать kubeclt, например:
kubectl logs -l app=core -c mongodb -n kuma