Параметры настройки Feed Utility
22 августа 2024
ID 171650
Feed Utility считывает параметры конфигурации, правила потоков данных об угрозах, правила фильтрации и правила парсинга для потоков данных об угрозах из конфигурационного файла. В этом файле в формате XML несколько групп параметров.
Пути в конфигурационном файле должны содержать только символы, используемые в локали операционной системы, иначе Feed Utility не будет работать.
Feed (правила потоков данных об угрозах, правила фильтрации и правила парсинга)
Параметр Feed
содержит правила для определенного потока данных об угрозах. Этот элемент имеет несколько типов вложенных параметров:
- Правила потока данных об угрозах определяют, как данный конкретный поток данных об угрозах должен обрабатываться в Feed Utility.
- Правила фильтрации — это критерии, которые Feed Utility использует для фильтрации исходных файлов потока данных об угрозах. Правила фильтрации являются составной частью правил для каждого потока данных об угрозах.
- Правила парсинга — это правила для пользовательских потоков данных об угрозах (потоков данных об угрозах OSINT и других потоков данных об угрозах, не являющихся потоками данных об угрозах Kaspersky Threat Data Feeds). Эти параметры определяют, как должен выполняться парсинг каждого потока данных об угрозах в Feed Utility.
У этого параметра есть следующие атрибуты:
enabled
Указывает, должна ли Feed Utility загружать и обрабатывать этот поток данных об угрозах.
Если параметр
enabled
имеет значение «true», Feed Utility загружает и обрабатывает этот поток данных об угрозах. Если параметрenabled
имеет значение «false», Feed Utility пропускает этот поток данных об угрозах.
В следующем примере показаны вложенные правила потока данных об угрозах, правила фильтрации и правила парсинга в конфигурационном файле.
<Settings> ... <Feeds> ... <Feed enabled="true"> <Name>Malicious_Hash_Data_Feed</Name> <!-- Other feed rules for this feed --> <Filters> <Field name="popularity" value="4;5"/> <!-- Other filtering rules for this feed --> </Filters> </Feed> <Feed> <Name>Botnet_CnC_URL_Data_Feed</Name> <!-- Other feed rules for this feed --> <!-- This feed has no filtering rules --> </Feed> ... </Feeds> ... </Settings> |
FeedsDir
Параметр FeedsDir
задает каталог, в который Feed Utility помещает обработанные файлы потоков данных об угрозах.
WorkDir
Параметр WorkDir
задает каталог, в который Feed Utility помещает загруженные и распакованные файлы потоков данных об угрозах.
Если этот параметр не указан, Feed Utility использует временный каталог операционной системы по умолчанию.
WorkDir
не может быть идентичным FeedsDir
.
CertFile
Параметр CertFile
задает путь к файлу сертификата. Этот сертификат используется Feed Utility для загрузки потоков данных об угрозах.
Файл сертификата должен иметь формат PEM.
SourceIPs
Параметр SourceIPs
задает IP-адреса, которые используются в Feed Utility для загрузки потоков данных об угрозах.
Этот параметр является необязательным. Если он не указан или имеет пустое значение, Feed Utility использует для разрешения адресов серверов «Лаборатории Касперского» их доменные имена.
В этом параметре можно указать один или несколько адресов IPv4. При указании нескольких IP-адресов следует использовать точку с запятой («;
») в качестве разделителя.
В следующем примере демонстрируется указание IP-адресов в параметре SourceIPs
.
<SourceIPs>192.0.2.1;192.0.2.2</SourceIPs> |
SourceDomains
Параметр SourceDomains
задает доменные имена, используемые Feed Utility для загрузки потоков данных об угрозах.
В этом параметре можно указать одно или несколько доменных имен. При указании нескольких доменных имен следует использовать точку с запятой («;
») в качестве разделителя. Feed Utility будет пытаться загрузить потоки данных об угрозах с указанных доменных имен в том порядке, в котором они указаны в конфигурационном файле.
Когда параметры SourceDomains
и SourceIPs
используются одновременно, домены, указанные в параметре SourceDomains
, используются прежде IP-адресов, указанных в параметре SourceIPs
. Если все попытки загрузить потоки данных об угрозах завершились неуспешно, Feed Utility выдает сообщение об ошибке.
В этом параметре можно использовать символы Uncode.
В следующем примере демонстрируется указание IP-адресов в параметре SourceDomains
.
<SourceDomains>updates1.example.com;updates2.example.com</SourceDomains> |
CreateExternalFeedInfoList path="PATH"
Этот параметр считается устаревшим. В текущей версии Kaspersky CyberTrace он игнорируется.
Параметр CreateExternalFeedInfoList
указывает, должен ли создаваться список поддерживаемых потоков данных об угрозах OSINT. Этот параметр является обязательным.
Если этот параметр имеет значение 1
, Feed Utility создает список поддерживаемых потоков данных об угрозах OSINT «osint_feed_list.conf» в каталоге, указанном в атрибуте path
. Если в Kaspersky CyberTrace были добавлены какие-либо пользовательские или сторонние потоки данных об угрозах, Feed Utility также создаст список этих потоков данных об угрозах «custom_feed_list.conf» в том же каталоге, что и «osint_feed_list.conf».
Если этот параметр имеет значение 0
, Feed Utility не создает список поддерживаемых потоков данных об угрозах OSINT.
В следующем примере демонстрируется указание пути, по которому должен быть создан список. В этом примере список создается в том же каталоге, в котором находится бинарный файл Feed Utility.
<CreateExternalFeedInfoList path=".">1</CreateExternalFeedInfoList> |
NotifyKTFS path="PATH"
Параметр NotifyKTFS
указывает, должен ли Kaspersky CyberTrace Service получать уведомления об обновлениях потоков данных об угрозах.
Этот параметр можно использовать только с форматом вывода json
.
Если этот параметр имеет значение 1
, Feed Utility уведомляет Kaspersky CyberTrace Service о необходимости перезагрузки потоков данных об угрозах. В атрибуте path
этого параметра должен быть указан путь к бинарному файлу Kaspersky CyberTrace Service.
Если этот параметр имеет значение 0
, Feed Utility не отправляет уведомления в Kaspersky CyberTrace Service.
EULA
Параметр EULA
указывает, были ли приняты условия Лицензионного соглашения (EULA).
Если этот параметр имеет значение accepted
, условия лицензионного соглашения были приняты.
Если этот параметр имеет значение rejected
, условия лицензионного соглашения не были приняты. В этом случае использование Feed Utility невозможно.
RetryCount
Параметр RetryCount
указывает количество попыток загрузки потока данных об угрозах Kaspersky Threat Data Feeds. Feed Utility пытается повторно загрузить поток данных об угрозах при истечении времени ожидания соединения, при частичной загрузки и при возникновении других ошибок.
Если указанное количество попыток оказалось безуспешным, Feed Utility отобразит сообщение об ошибке и продолжит работу.
Этот параметр используется только для потоков данных об угрозах Kaspersky Threat Data Feeds. Feed Utility не загружает повторно потоки данных об угрозах OSINT и другие пользовательские потоки данных об угрозах.
Этот параметр является необязательным. Если этот параметр не указан, Feed Utility использует значение по умолчанию 10
.
Если этот параметр имеет значение 0
, количество попыток не ограничено.
SequentialDownload
Параметр SequentialDownload
указывает, должна ли Feed Utility загружать потоки данных об угрозах в последовательном или параллельном режиме.
Если это значение равно 1
или true
, Feed Utility загружает потоки данных об угрозах в последовательном режиме, один за другим.
Если это значение равно 0
или false
, Feed Utility загружает потоки данных об угрозах в параллельном режиме, все одновременно.
По умолчанию этот параметр имеет значение 0
.
OutputFormat
Параметр OutputFormat
определяет формат вывода для всех потоков данных об угрозах. Этот параметр может иметь следующие значения:
json
Потоки данных об угрозах выводятся в формате JSON. Файлы потоков данных об угрозах имеют расширение .json.
Это значение задано по умолчанию. Если параметр
OutputFormat
пропущен, для определения формата вывода используется это значение.txt
Потоки данных об угрозах выводятся в простом текстовом формате (UTF-8 с BOM). Файлы потокjd данных об угрозах имеют расширение .txt.
- Атрибут
delimiter
В этом формате поля записи разделяются разделителем. По умолчанию в качестве разделителя используется точка с запятой —
«;»
. Указать собственный разделитель можно с помощью атрибутаdelimiter
следующим образом:<OutputFormat delimiter="%delimiter%">txt</OutputFormat>
Здесь
%delimiter%
необходимо заменить символом, который должен использоваться в качестве разделителя. - Атрибут
indicatorPerLine
Чтобы выводить по одному полю записи в строке, установите для атрибута
indicatorPerLine
значение 1 следующим образом:<OutputFormat indicatorPerLine="1">txt</OutputFormat>
Если используется этот атрибут, вложенные поля, указанные в правиле потока данных об угрозах
RequiredFields
, должны иметь одно и то же родительское поле. Например, запись"files/MD5;files/SHA1"
корректна, а запись"files/MD5;whois/domain"
некорректна и приведет к ошибке.
Если указан этот формат вывода, все правила потоков данных об угрозах в конфигурационном файле должны включать в себя параметр
RequiredFields
. ПараметрRequiredFields
задает порядок, в котором поля записываются в выходной поток данных об угрозах.- Атрибут
csv
То же, что и
txt
. Файлы потоков данных об угрозах имеют расширение .csv.Можно использовать атрибуты
delimiter
иindicatorPerLine
.openioc
Потоки данных об угрозах имеют формат OpenIOC. Файлы потоков данных об угрозах имеют расширение .ioc.
Версию формата OpenIOC можно указатьв атрибуте
version
: это может быть1.0
или1.1
. Если этот атрибут не указан, используется версия1.1
.Преобразование потоков данных об угрозах в формат OpenIOC 1.0 связано с некоторыми ограничениями. Потоки данных об угрозах Phishing URL Data Feed и Malicious URL Data Feed не могут быть преобразованы в формат OpenIOC 1.0; вместо этого в консоль выводится сообщение об ошибке. Для других потоков данных об угрозах конвертируются только поля хешей и IP-адресов. Конвертация потоков данных об угрозах в формат OpenIOC 1.1 не влечет таких ограничений.
Элемент
RequiredFields
использовать не рекомендуется. В этом случае в потоке данных об угрозах будут отсутствовать поля, обязательные для преобразования в формат OpenIOC.Параметр
RecordsCount
использовать не рекомедуется, поскольку он не предназначен для этого формата. Результаты использования этого параметра могут быть непредсказуемыми.Потоки данных об угрозах в формате OpenIOC занимают значительно больше места на жестком диске, чем исходные файлы потоков данных об угрозах.
stix
Потока данных об угрозах имеют формат STIX. Файлы имеют расширение .xml.
Для формата STIX потоки данных об угрозах с масками URL должны иметь поле
type
.Версию формата STIX можно указать в атрибуте
version
: это может быть1
,2.0
или2.1
. Если указано значение1
, поток данных об угрозах выводится в формате STIX 1.1. Если атрибут не указан, используется значение1
.Элемент
RequiredFields
использовать не рекомендуется. В этом случае в потоке данных об угрозах будут отсутствовать поля, обязательные для преобразования в формат STIX.Параметр
RecordsCount
использовать не рекомедуется, поскольку он не предназначен для этого формата. Результаты использования этого параметра могут быть непредсказуемыми.Потоки данных об угрозах в формате STIX занимают значительно больше места на жестком диске, чем исходные файлы потоков данных об угрозах.
В следующем примере показан вложенный параметр OutputFormat
в конфигурационном файле.
<Settings> ... <Feeds> <OutputFormat>json</OutputFormat> ... </Feeds> ... </Settings> |
CreateDiff
Параметр CreateDiff
указывает, должна ли Feed Utility создавать инкрементные части для потоков данных об угрозах. Инкрементные потоки данных об угрозах — это файлы, содержащие различия между старой и новой версиями обрабатываемого файла потока данных об угрозах. Этот параметр влияет на все потоки данных об угрозах, создаваемые Feed Utility, следующим образом:
- Если этот параметр имеет значение
0
, Feed Utility не создает инкрементные потоки данных об угрозах. Это значение задано по умолчанию. - Если этот параметр имеет значение
1
, Feed Utility создает инкрементные потоки данных об угрозах.
Если для параметра CreateDiff
задано значение 1
и загружаются новые версии потоков данных об угрозах, для каждого потока данных об угрозах создаются два дополнительных файла (%feed_name%
— имя файла потока данных об угрозах):
- Файл
%feed_name% _new.json
содержит записи, которые были добавлены в новую версию файла потока данных об угрозах. - Файл
%feed_name% _del.json
содержит записи, которые были удалены в новой версии файла потока данных об угрозах.
Инкрементные потоки данных об угрозах можно создавать только для потоков данных об угрозах в формате JSON, содержащихся в одном файле:
- Параметр
OutputFormat
должен иметь значениеjson
. - Для каждого потока данных об угрозах параметр
UrlMatcherField
должен быть опущен или иметь пустое значение. - Для каждого потока данных об угрозах параметр
RecordsCount
не должен иметь атрибутаperFile
или этот атрибут должен иметь значение0
.
Для создания инкрементного потока данных об угрозах Feed Utility использует ключевое поле в старой и новой версиях потока данных об угрозах:
- Если этот поток данных об угрозах содержит невложенные поля
id
,MD5
,ip
,url
илиdomain
, это поле используется как ключевое поле. - Если все вышеперечисленные поля отсутствуют, Feed Utility пытается найти в потоке данных об угрозах поле с уникальными значениями. Если эта попытка не удалась, выдается предупреждение.
В следующем примере показан вложенный параметр OutputFormat
в конфигурационном файле.
<Settings> ... <Feeds> ... <CreateDiff>0</CreateDiff> ... </Feeds> ... </Settings> |
ProxySettings
Параметр ProxySettings
задает настройки прокси-сервера для Feed Utility. Если указан прокси-сервер, Feed Utility загружает потоки данных об угрозах с использованием указанных параметров.
Имя пользователя и пароль для прокси-сервера хранятся в конфигурационном файле Feed Utility. Эта информация не передается в «Лабораторию Касперского».
Настройки прокси задаются в следующих параметрах:
Host
Хост прокси-сервера.
В этом параметре можно указать доменное имя или IP-адрес. Поддерживаются адреса IPv4 и IPv6.
Port
Порт прокси-сервера.
User
Зашифрованное имя пользователя для аутентификации на прокси-сервере.
Если прокси-сервер не требует аутентификации, оставьте этот параметр пустым.
Этот параметр хранится в зашифрованном виде. Для установки этого параметра используется параметр командной строки
--set-proxy
. Если вместо использования этого параметра командной строки ввести имя пользователя в незашифрованном виде, соединение с прокси-сервером не будет установлено.Password
Зашифрованный пароль для аутентификации на прокси-сервере.
Если прокси-сервер не требует аутентификации, оставьте этот параметр пустым.
Этот параметр хранится в зашифрованном виде. Для установки этого параметра используется параметр командной строки
--set-proxy
. Если вместо использования этого параметра командной строки ввести пароль в незашифрованном виде, соединение с прокси-сервером не будет установлено.
В следующем примере показаны вложенные параметры прокси-сервера в конфигурационном файле.
<Settings> ... <ProxySettings> <Host></Host> <Port></Port> <User></User> <Password></Password> </ProxySettings> ... </Settings> |
LogSettings
Параметр LogSettings
определяет, каким образом Feed Utility ведет свой журнал.
Если ведение журнала включено, Feed Utility может записывать в файлы журнала любые из следующих сведений, которые могут считаться конфиденциальными, относящимися к безопасности или чувствительными: параметры конфигурации Feed Utility, хост и порт прокси-сервера, а также операции, выполняемые при загрузке и обработке потоков данных об угрозах.
Если ведение журнала включено, Feed Utility записывает в файлы журнала информацию о свободном месте на жестком диске, доступном для рабочих каталогов и каталогов потоков данных об угрозах. Также, начиная с этой версии, в журналы будет записываться средняя скорость загрузки потоков данных об угрозах.
Файлы журнала представляют собой простые текстовые файлы. Вся информация записывается в файлы журнала в незашифрованном виде. Файлы журнала имеют стандартные унаследованные права доступа. Рекомендуется назначить каталогу для хранения файлов журнала соответствующие права, чтобы читать файлы журнала мог только администратор.
Файлы журнала хранятся до тех пор, пока они не будут явным образом удалены пользователем.
Feed Utility не отправляет файлы журналов или какие-либо данные, содержащиеся в них, в «Лабораторию Касперского». В целях оказания технической поддержки ваш персональный технический менеджер (ПТМ) может попросить вас предоставить файлы журнала.
Настройки ведения журнала задаются в следующих параметрах:
EnableLog
Включение ведения журнала.
Если это значение равно
1
илиtrue
, Feed Utility ведет журнал своих действий.Если это значение равно
0
илиfalse
, Feed Utility не ведет журнал своих действий.LogsDir
Каталог, в котором Feed Utility хранит свои файлы журналов.
CleanOldLog
Позволяет удалять старые файлы журналов.
Если это значение равно
0
, при инициализации Feed Utility сохраняет старые файлы журналов.Если это значение равно
1
, при инициализации Feed Utility удаляет старые файлы журналов.
В следующем примере показаны вложенные настройки ведения журнала в конфигурационном файле.
<Settings> ... <LogSettings> <EnableLog>0</EnableLog> <LogsDir>logs</LogsDir> <CleanOldLog>1</CleanOldLog> </LogSettings> </Settings> |