Тип file

Тип file используется для получения данных из любого текстового файла. Одна строка файла считается одним событием. Разделители между строк: \n. Коннектор этого типа доступен для Linux-агентов.

Чтобы обеспечить передачу файлов с сервера Windows для обработки коллектором KUMA, выполните следующие действия:

1. На сервере Windows предоставьте доступ для чтения по сети к папке с файлами, подлежащими обработке.
2. На сервере Linux примонтируйте сетевую папку с файлами на сервере Linux (cм. список поддерживаемых ОС).
3. На сервере Linux установите коллектор, который будет обрабатывать файлы из примонтированной сетевой папки.

При создании этого типа коннектора вам требуется указать значения для следующих параметров:

• Вкладка Основные параметры:
  • Название (обязательно) – уникальное имя для этого типа ресурса. Должно содержать от 1 до 128 символов в кодировке Unicode.
  • Тенант (обязательно) – название тенанта, которому принадлежит ресурс.
  • Тип (обязательно) – тип коннектора, file.
  • URL (обязательно) – полный путь до файла, с которым требуется выполнять взаимодействие. Например, /var/log/*som?[1-9].log.

    Шаблоны масок для файлов и директорий

    Маски:

    • '*' – соответствует любой последовательности символов;
    • '[' [ '^' ] { диапазон символов } ']' – класс символов (не должен быть пустым);
    • '?' – соответствует любому одиночному символу.

    Диапазоны символов:

    • [0-9] – числа;
    • [a-zA-Z] – буквы латинского алфавита.

    Примеры:

    • /var/log/*som?[1-9].log
    • /mnt/dns_logs/*/dns.log
    • /mnt/proxy/access*.log

    Ограничения при использовании префиксов к путям файлов

    Префиксы, которые невозможно использовать при указании путей к файлам:

    • /*
    • /bin
    • /boot
    • /dev
    • /etc
    • /home
    • /lib
    • /lib64
    • /proc
    • /root
    • /run
    • /sys
    • /tmp
    • /usr/*
    • /usr/bin/
    • /usr/local/*
    • /usr/local/sbin/
    • /usr/local/bin/
    • /usr/sbin/
    • /usr/lib/
    • /usr/lib64/
    • /var/*
    • /var/lib/
    • /var/run/
    • /opt/kaspersky/kuma/

    Файлы по указанным ниже путям доступны:

    • /opt/kaspersky/kuma/clickhouse/logs/
    • /opt/kaspersky/kuma/mongodb/log/
    • /opt/kaspersky/kuma/victoria-metrics/log/

    Ограничение количества отслеживаемых файлов по маске

    Количество одновременно отслеживаемых файлов по маске может быть ограничено параметром Ядра max_user_watches. Чтобы просмотреть значение параметра, выполните следующую команду:

    cat /proc/sys/fs/inotify/max_user_watches

    Если количество файлов для отслеживания превышает значение параметра max_user_watches, коллектор больше не сможет считывать события из файлов и в журнале коллектора появится следующая ошибка:

    Failed to add files for watching {"error": "no space left on device"}

    Чтобы коллектор продолжил корректно работать, вы можете настроить правильную ротацию файлов, чтобы количество файлов не превышало значение параметра max_user_watches, или увеличить значение max_user_watches.

    Чтобы увеличить значение параметра:

    sysctl fs.inotify.max_user_watches=<количество файлов>

    sysctl -p

    Также вы можете добавить значение параметра max_user_watches в sysctl.conf, чтобы значение сохранялось всегда.

    После того, как вы увеличите значение параметра max_user_watches, коллектор успешно продолжит работу.

  • Описание – описание ресурса: до 4000 символов в кодировке Unicode.
• Вкладка Дополнительные параметры:
  • Кодировка символов – параметр для установки кодировки символов. Значение по умолчанию: UTF-8.
  • Отладка – переключатель, с помощью которого можно указать, будет ли включено логирование ресурса. По умолчанию положение Выключено.