Тип file

Тип file используется для получения данных из любого текстового файла. Одна строка файла считается одним событием. Разделители между строк: \n. Коннектор этого типа доступен для Linux-агентов.

Чтобы обеспечить передачу файлов с сервера Windows для обработки коллектором KUMA, выполните следующие действия:

1. На сервере Windows предоставьте доступ для чтения по сети к папке с файлами, подлежащими обработке.
2. На сервере Linux примонтируйте сетевую папку с файлами на сервере Linux (cм. список поддерживаемых ОС).
3. На сервере Linux установите коллектор, который будет обрабатывать файлы из примонтированной сетевой папки.

При создании этого типа коннектора вам требуется указать значения для следующих параметров:

• Вкладка Основные параметры:
  • Название (обязательно) – уникальное имя для этого типа ресурса. Должно содержать от 1 до 128 символов в кодировке Unicode.
  • Тенант (обязательно) – название тенанта, которому принадлежит ресурс.
  • Тип (обязательно) – тип коннектора, file.
  • URL (обязательно) – полный путь до файла, с которым требуется выполнять взаимодействие. Например, /var/log/*som?[1-9].log.

    Шаблоны масок для файлов и директорий

    Маски:

    • '*' – соответствует любой последовательности символов;
    • '[' [ '^' ] { <диапазон символов> } ']' – класс символов (не должен быть пустым);
    • '?' – соответствует любому одиночному символу.

    Диапазоны символов:

    • [0-9] – числа;
    • [a-zA-Z] – буквы латинского алфавита.

      Пример: Маски можно использовать как в путях Linux, так и Windows с заменой прямой косой черты на обратную: Для Linux: /var/log/*som?[1-9].log /mnt/dns_logs/*/dns.log /mnt/proxy/access*.log Для Windows: C:\var\log\test123.log D:\data\*\report?.txt

    Ограничения при использовании префиксов к путям файлов

    Префиксы, которые невозможно использовать при указании путей к файлам:

    • /*
    • /bin
    • /boot
    • /dev
    • /etc
    • /home
    • /lib
    • /lib64
    • /proc
    • /root
    • /run
    • /sys
    • /tmp
    • /usr/*
    • /usr/bin/
    • /usr/local/*
    • /usr/local/sbin/
    • /usr/local/bin/
    • /usr/sbin/
    • /usr/lib/
    • /usr/lib64/
    • /var/*
    • /var/lib/
    • /var/run/
    • /opt/kaspersky/kuma/

    Эти шаблоны задаются в виде регулярных выражений и используются системой для проверки пути. Символ * в шаблонах соответствует любой последовательности символов и не должен указываться в самом пути вручную, если это не часть допустимого пути.

    Файлы по указанным ниже путям доступны:

    • /opt/kaspersky/kuma/clickhouse/logs/
    • /opt/kaspersky/kuma/mongodb/log/
    • /opt/kaspersky/kuma/victoria-metrics/log/

    Ограничение количества отслеживаемых файлов по маске

    Количество одновременно отслеживаемых файлов по маске может быть ограничено параметром Ядра max_user_watches. Для просмотра значения параметра выполните команду:

    cat /proc/sys/fs/inotify/max_user_watches

    Если количество файлов для отслеживания превышает значение параметра max_user_watches, коллектор больше не сможет считывать события из файлов и в журнале коллектора появится следующая ошибка:

    Failed to add files for watching {"error": "no space left on device"}

    Для продолжения правильной работы коллектора вы можете настроить правильную ротацию файлов, чтобы количество файлов не превышало значение параметра max_user_watches, или увеличить значение max_user_watches.

    Для увеличения значения параметра выполните команду:

    sysctl fs.inotify.max_user_watches=<количество файлов>

    sysctl -p

    Вы можете добавить значение параметра max_user_watches в sysctl.conf, чтобы значение сохранялось всегда.

    После того, как вы увеличите значение параметра max_user_watches, коллектор успешно продолжит работу.

  • Описание – описание ресурса: до 4000 символов в кодировке Unicode.
• Вкладка Дополнительные параметры:
  • Кодировка символов – параметр для установки кодировки символов. Значение по умолчанию: UTF-8.
  • Отладка – переключатель, с помощью которого можно указать, будет ли включено логирование ресурса. По умолчанию положение Выключено.

В начало