Работа с потоками данных об угрозах

Feed Utility представляет собой инструмент, позволяющий загружать, фильтровать и компилировать потоки данных об угрозах Kaspersky Threat Data Feeds в соответствии с заданным набором правил, определенным в соответствующем конфигурационном файле. Эти правила также можно задавать с помощью веб-интерфейса Kaspersky CyberTrace.

Загрузка данных с серверов

Feed Utility загружает архивы, содержащие потоки данных об угрозах, с серверов обновлений «Лаборатории Касперского». Каждый загруженный архив содержит один поток данных об угрозах. Прежде чем загрузить потоки данных об угрозах Kaspersky Threat Data Feeds, Feed Utility проверяет, новее ли они, чем используемые. Перед загрузкой потоков данных об угрозах OSINT и сторонних потоков данных об угрозах Feed Utility такую проверку не выполняет.

Для аутентификации Feed Utility использует сертификат. Этот сертификат также определяет, какие потоки данных об угрозах Kaspersky Threat Data Feeds могут загружаться с помощью Feed Utility. Например, если используется демо-сертификат для доступа к потокам данных об угрозах от «Лаборатории Касперского», Feed Utility может загружать только демонстрационные потоки данных об угрозах.

В случае проблем с загрузкой потоков данных об угрозах из сторонних источников, обратитесь к разделу Устранение неполадок Feed Utility, подразделу «Ошибка SSL при загрузке стороннего потока данных об угрозах».

Если «Лаборатория Касперского» выпускает новый поток данных об угрозах, и этот поток доступен с вашим сертификатом, добавьте новый элемент Feed в конфигурационный файл Feed Utility:

После добавления нового элемента Feed Feed Utility сможет обрабатывать новый поток данных об угрозах.

Чтобы получить список потоков данных об угрозах, доступных с вашим сертификатом, укажите параметр -l или --list при запуске Feed Utility в командной строке.

Загрузка инкрементных потоков данных об угрозах

Feed Utility поддерживает загрузку инкрементных обновлений для отдельных потоков данных об угрозах Kaspersky Threat Data Feeds. В этом документе такие потоки данных об угрозах называются инкрементными потоками данных об угрозах. Инкрементные потоки данных об угрозах похожи на обычные потоки данных об угрозах Kaspersky Threat Data Feeds, обновляются по обычному сценарию, но имеют другие идентификаторы потоков. См. также список доступных инкрементных потоков данных об угрозах.

Чтобы скачать инкрементный поток данных об угрозах, выполните следующие действия:

Укажите идентификатор инкрементного потока данных об угрозах в конфигурационном файле Feed Utility.

Для них на серверах обновлений «Лаборатории Касперского» формируются срез данных (полная версия потока данных об угрозах) и инкрементная часть (изменения, применение которых к потоку данных об угрозах приводит его в актуальное состояние). Срез данных генерируется ежедневно, инкрементная часть – в соответствии с частотой обновления потока. Инкрементная часть содержит изменения, применение которых к потоку данных об угрозах приводит его в актуальное состояние.

Feed Utility обновляет инкрементные потоки данных об угрозах следующим образом:

1. Срез данных загружается в следующих случаях:
   • Поток данных об угрозах загружается впервые.
   • Поток данных об угрозах в последний раз обновлялся слишком давно и загрузить инкрементные части не представляется возможным.

     Возможность загрузки инкрементных частей определяется на стороне сервера обновлений.

2. Один или несколько архивов с инкрементными частями загружаются, если они новее, чем срез данных, загруженный на шаге 1, или если файл потока данных об угрозах в настоящее время используется.

   При загрузке архива с инкрементной частью он переименовывается в %FILE_NAME_SRC%_%TIMESTAMP%.zip, где %FILE_NAME_SRC% — первоначальное имя файла (без расширения), а %TIMESTAMP% — метка времени момента опубликования инкрементной части в формате yyyy-mm-dd HH:MM:SS.

3. Если Feed Utility работает в режиме обработки (с параметром -p), ранее загруженные и распакованные инкрементные части применяются к срезу данных, расположенному в каталоге WorkDir (подробнее о параметре WorkDir в конфигурационном файле Feed Utility).

   При распаковке архива с инкрементной частью она переименовывается в %FILE_NAME_SRC%_%TIMESTAMP%.json, где %FILE_NAME_SRC% — первоначальное имя файла (без расширения), а %TIMESTAMP% — метка времени момента опубликования инкрементной части в формате yyyy-mm-dd HH:MM:SS.

По умолчанию Feed Utility загружает инкрементные части потока данных об угрозах параллельно. Чтобы включить последовательную загрузку, задайте для параметра SequentialDownload в конфигурационном файле Feed Utility значение True.

Инкрементные версии потока данных об угрозах Kaspersky Threat Data Feeds (если они существуют) можно загрузить с помощью того же сертификата, что используется для обычных версий.

Обработка и фильтрация

После загрузки архивов, содержащих потоки данных об угрозах, Feed Utility распаковывает архивы и обрабатывает исходные файлы потоков данных об угрозах. Файлы потоков данных об угрозах изменяются в соответствии с комбинацией правил потоков данных об угрозах, правил фильтрации и других параметров, указанных в конфигурационном файле Feed Utility. Эти параметры определяют данные, которые будут включаться в полученные потоки данных об угрозах, формат вывода полученных потоков данных об угрозах и максимальное количество записей в полученном потоке данных об угрозах.

Фильтрация заключается в изменении исходных файлов потоков данных об угрозах в соответствии с заданными критериями фильтрации. Критерии фильтрации определяются в правилах фильтрации для каждого потока данных об угрозах. В зависимости от предполагаемого сценария использования Feed Utility можно создать поток данных об угрозах, использующий только часть информации, содержащейся в исходном потоке данных об угрозах. Этого можно добиться с помощью комбинации правил потока данных об угрозах и правил фильтрации.

Правила фильтрации по умолчанию

Конфигурационный файл приложения Feed Utility по умолчанию, входящий в состав комплекта поставки Kaspersky CyberTrace, содержит следующее правило фильтрации для потоков данных об угрозах IP Reputation Data Feed и Demo IP Reputation Data Feed:

Загружаются только те записи потока данных об угрозах, у которых значение параметра threat_score не менее 75.

Kaspersky считает вредоносными IP-адреса, у которых значение threat_score не ниже 75. IP-адреса, у которых значение threat_score меньше 75, считаются связанными со спамом и не представляющими существенной угрозы.

Если уменьшить пороговое значение или удалить фильтр, это приведет к большому количеству сообщений об обнаруженных киберугрозах с помощью потоков данных об угрозах Demo IP Reputation Data Feed и IP Reputation Data Feed. Данные сообщения будут уведомлениями об обнаружении IP-адресов, с которых производится рассылка спама.

Чтобы удалить фильтр, выполните следующие действия:

1. Откройте страницу Settings > Feeds в веб-интерфейсе Kaspersky CyberTrace.
2. В случае потока данных об угрозах Demo IP Reputation Data Feed (или IP Reputation Data Feed) удалите правило фильтрации по полю threat_score.

Компиляция

Если Feed Utility используется совместно с Kaspersky CyberTrace Service, потоки данных об угрозах, содержащие маски URL, должны быть преобразованы в двоичный формат. Feed Utility компилирует маски URL, извлеченные из этих потоков данных об угрозах, и создает двоичные файлы, которые затем используются в Feed Utility для быстрого сопоставления URL из полученных событий с масками URL. Feed Utility производит компиляцию автоматически, если в правилах потоков данных об угрозах указан параметр UrlMatcherField.

Перезагрузка

При получении соответствующего уведомления Kaspersky CyberTrace Service перезагружает потоки данных об угрозах, которые требуется использовать. Это значит, что старые потока данных об угрозах выгружаются из памяти, а новые загружаются в память.

Обновление потоков данных об угрозах