Добавление пользовательского или стороннего потока данных об угрозах

В этом разделе описывается порядок добавления и настройки пользовательского или стороннего потока данных об угрозах. Убедитесь, что в раскрывающемся списке всех имеющихся тенантов в левом верхнем углу окна выбран тенант «General».

Потоки данных об угрозах можно добавлять только с одним полем типа URL или DOMAIN. Это значит, что если одно поле в потоке данных об угрозах имеет тип URL или DOMAIN, ни одно другое поле в этом потоке данных об угрозах не должно иметь тип URL или DOMAIN. Типы URL и DOMAIN считаются одним и тем же типом поля.

При добавлении поток данных об угрозах автоматически включается для всех тенантов.

Добавление пользовательского потока данных об угрозах

Чтобы добавить поток данных об угрозах:

1. В разделе Filtering rules for feeds нажмите Add custom feed.

   Откроется окно Custom feed:

   

   Добавление пользовательского или стороннего потока данных об угрозах

2. Для любого пользовательского или стороннего потока данных об угрозах необходимо указать следующую информацию:
   • Feed name

     В имени потока данных об угрозах можно использовать латинские буквы, цифры, знаки подчеркивания и дефисы. Имя не должно совпадать с другими уже используемыми именами потоков данных об угрозах.

     В качестве имени потока данных об угрозах не следует использовать FalsePositive или InternalTI, поскольку эти имена зарезервированы для встроенных имен источников данных об угрозах Kaspersky CyberTrace.

     Не используйте символ @ в имени потока данных об угрозах.

   • Feed type

     Тип потока данных об угрозах может быть одним из следующих:

     • json

       Если поток данных об угрозах в формате JSON содержит поле со значением маски подсети, Kaspersky CyberTrace раскрывает данные только в том случае, если это поле первого уровня. Если это поле вложено, Kaspersky CyberTrace не может раскрыть данные.

       Если потоки данных об угрозах Kaspersky Threat Data Feeds загружаются с ресурса https://wlinfo.kaspersky.com, используется формат JSON. Это значение изменить невозможно.

     • stix

       Если поток данных об угрозах имеет формат STIX, также необходимо выбрать версию STIX:

       • Для STIX 1.0 или 1.1 следует выбрать «1»
       • Для STIX 2.0 следует выбрать «2»
       • Для STIX 2.1 следует выбрать «2.1»
     • csv
     • xml
     • misp
     • email

       Дополнительная информация о потоках данных об угрозах типа «электронная почта» приведена в разделе Добавление пользовательского или стороннего потока данных об угрозах типа «электронная почта».

     • PDF
   • Vendor name

     В раскрывающемся списке выберите имя поставщика потока данных об угрозах или добавьте нового.

   • Confidence

     Уровень доверия к источнику данных об угрозах. Это поле не может быть пустым. Диапазон возможных значений — от 1 до 100.

     По умолчанию заданы значения: 100 для потоков данных об угрозах «Лаборатории Касперского», 50 для потоков данных об угрозах OSINT и 50 для сторонних потоков данных об угрозах. Эти значения можно изменить.

     Уровень доверия указывается в атрибуте Feeds > Feed > confidence конфигурационного файла Kaspersky CyberTrace Service.

   • Path to the feed

     Путь к потоку данных об угрозах можно добавить в одном из следующих форматов:

     • Полный путь к хосту, на котором установлен Kaspersky CyberTrace.
     • Сетевой путь

       Указанный сетевой путь доступен для активной учетной записи пользователя, в то время как Kaspersky CyberTrace Service и Feed Utility работают под учетной записью LocalService. Таким образом, если требуется загружать пользовательские сторонние потоки данных об угрозах из сетевого каталога, предоставьте учетной записи пользователя LocalService доступ к этому сетевому каталогу.

       Сетевой каталог должен быть подключенным.

       Указать сетевой путь можно только в Windows.

     • Адрес HTTP(S)

       Потоки данных об угрозах Kaspersky Threat Data Feeds и инкрементные потоки данных об угрозах, которые не были добавлены на момент выпуска продукта, можно загрузить по адресу https://wlinfo.kaspersky.com. Сведения о инкрементных потоках данных об угрозах приведены в подразделе «Загрузка инкрементных потоков данных об угрозах» раздела Работа с потоками данных об угрозах.

       Можно использовать адрес IPv4 или IPv6. Адрес IPv6 должен быть заключен в квадратные скобки. Более подробные сведения см. в RFC 2732.

     • Адрес FTP

     Для потоков данных об угрозах в формате PDF разрешается указывать только локальный каталог или сетевую папку в качестве пути в Windows.

   • Certificate

     Путь к сертификату, предоставляющему доступ к потоку данных об угрозах. Необходимо указывать полный путь.

     Путь к сертификату можно указать, только если поток данных об угрозах будет загружаться через HTTPS-соединение.

     Если потоки данных об угрозах Kaspersky Threat Data Feeds загружаются с ресурса https://wlinfo.kaspersky.com, поле содержит предустановленное значение Kaspersky Lab certificate. Это значение изменить невозможно.

   • Authentication type

     Возможные значения типа аутентификации — Basic или None.

     Базовая схема аутентификации доступна, если путь к потоку данных об угрозах представляет собой адрес HTTP(S) или FTP. Для этого типа аутентификации необходимо ввести следующие настройки:

     • User name

       Это поле не может быть пустым.

     • Password

     Тип аутентификации указывается в параметре Settings > Feeds > Feed конфигурационного файла Feed Utility.

3. Для потока данных об угрозах STIX также необходимо указать следующую информацию:
   • Get from a TAXII server

     Если этот флажок установлен, поток данных об угрозах STIX должна загружаться с сервера TAXII.

     Для потока данных об угрозах STIX 2.0 необходимо указать сервер TAXII 2.0. Для потока данных об угрозах STIX 2.1 необходимо указать сервер TAXII 2.1.

     Если поток данных об угрозах STIX загружается с сервера TAXII, Kaspersky CyberTrace выполняет парсинг этого потока данных об угрозах и подсчитывает количество индикаторов.

   • Collection name

     Имя коллекции, которую необходимо загрузить с сервера TAXII. Обратите внимание, что одновременно можно указать только одно имя коллекции.

     Kaspersky CyberTrace не поддерживает потоки данных об угрозах TAXII, содержащие информацию о репутации одного объекта. Потоки данных об угрозах IBM, такие как xfe.ipr и xfe.url, не поддерживаются.

4. Для потоков данных об угрозах CSV, XML и JSON укажите следующую информацию:
   • Для потока данных об угрозах CSV необходимо указать символ-разделитель. После этого правило будет применено немедленно, а столбцы будут разделены. По умолчанию в качестве разделителя используется точка с запятой (;).
   • Для потока данных об угрозах XML можно указать корневой элемент. Это позволяет использовать имена элементов потока данных об угрозах относительно корневого элемента. Элемент, указываемый в качестве корневого, зависит от уровня вложенности в данном потоке данных об угрозах.

     В выражении пути нельзя использовать подстановочные знаки (звездочку «*» или вопросительный знак «?»), а только корневой элемент.

   • Для потока данных об угрозах JSON можно указать корневой элемент.

     Значение корневого элемента можно указать с любым уровнем вложенности. Для определения пределов уровня вложенности используется символ «/».

     Параметр «Root element» может быть пустым. Если он не пустой, значение корневого элемента не должно содержать пустых уровней вложенности (подстрока «//»), а также не должно начинаться или заканчиваться символом «/».

     В корневом элементе для потоков данных об угрозах JSON нельзя использовать подстановочные знаки.

   В следующем примере демонстрируется корневой элемент для потока данных об угрозах XML, где корневым элементом является root:

   <root> <url>http</url> <ip>1</ip> <url>https</url> <ip>2</ip> </root>

   В следующем примере демонстрируется корневой элемент для потока данных об угрозах XML, где корневым элементом является root/element*:

   <root> <element1> <url>http</url> <ip>1</ip> </element1> <element2> <url>https</url> <ip>2</ip> </element2> </root>

   В следующем примере демонстрируется корневой элемент потока данных об угрозах JSON для получения индикаторов IP из поля ip, где корневым элементом является items/ipv4:

   { "id": 4321, "items": [ { "dateDetected": "2022-01-01T01:23:45+00:00", "dateLastSeen": "2022-05-28T12:34:56+00:00", "ipv4": [ { "asn": "AS123456, LLC", "city": "Moscow", "countryName": "Russian", "ip": "192.0.0.144" }, { "asn": "AS654321, LLC", "city": "Moscow", "countryCode": "RU", "countryName": "Russian", "ip": "191.0.0.145" } ], "ipv6": [] }, ... ] }

После указания первоначальных параметров пользовательского или стороннего потока данных об угрозах данный поток полностью загружается, и отображаются его первые 50 строк для того, чтобы можно было выбрать поля, которые должны будут использоваться в процессе сопоставления (см. подраздел «Настройка полей потока данных об угрозах, используемых для сопоставления (потоки данных об угрозах CSV, JSON, XML и PDF)» ниже).

Выбор полей потока данных об угрозах для сопоставления

Это актуально для потоков данных об угрозах в следующих форматах: CSV, JSON или XML. После добавления потока данных об угрозах в формате STIX или потока данных об угрозах Kaspersky, CyberTrace полностью загружает его для использования без необходимости ручной конфигурации полей.

Для потоков данных об угрозах типа PDF или Email можно нажать «Check parsing», чтобы проверить настройки парсинга PDF файлов или E-mail сообщений (включая вложения).

Отобразятся первые 50 строк итогового потока данных об угрозах, в том числе индикаторы тела и вложений обработанных сообщений.

В некоторых случаях, например, когда размер потока данных об угрозах STIX слишком велик и (или) когда сервер TAXII, используемый для загрузки потока данных об угрозах, работает слишком медленно, Kaspersky CyberTrace может затрачивать на загрузку потока данных об угрозах STIX до часа.

После добавления потока данных об угрозах PDF обновите значение Retention period (по умолчанию 365 дней).

Настройка полей потока данных об угрозах, используемых для сопоставления (потоки данных об угрозах CSV, JSON, XML и PDF)

При выборе полей для сопоставления из инкрементных потоков данных об угрозах следует игнорировать все поля внутри элемента metadata.

Чтобы выбрать поля потока данных об угрозах, которые будут использоваться для сопоставления, укажите следующую информацию для каждого поля:

• Field type

  В качестве типа поля можно использовать одно из следующих значений:

  • URL
  • MD5
  • SHA1
  • SHA256
  • IP
  • DOMAIN
  • CONTEXT

    Обратите внимание, что хотя бы одно поле должно иметь тип, отличный от CONTEXT. Такие поля используются для сопоставления. Когда такое поле используется в процессе обнаружения киберугроз, генерируется событие обнаруженной киберугрозы с категорией %FEED_NAME%_%FIELD_TYPE%, где %FEED_NAME% — имя потока данных об угрозах, а %FIELD_TYPE% — тип поля.

    Обратите внимание, что для одного потока данных об угрозах можно добавить только одно поле типа URL или DOMAIN.

Укажите все поля CONTEXT, которые требуется добавить в индикатор CyberTrace. Чтобы правильно указать поля обнаружения и контекста для потока данных об угрозах, загруженного с https://wlinfo.kaspersky.com, обратитесь к своему персональному техническому менеджеру (ПТМ).

• Field name

  Это имя поля будет использоваться в процессе сопоставления.

  В имени поля можно использовать латинские буквы, цифры, знаки подчеркивания и дефисы. Имя должно содержать хотя бы одну латинскую букву.

• Regular expression

  В этом поле укажите регулярное выражение для потока данных об угрозах PDF, которое должно использоваться в качестве правила парсинга.

  Для индикаторов URL и IP (потоки данных об угрозах типа PDF) заданное регулярное выражение настраивается для получения индикаторов, в значении которых есть точка, заключенная в квадратные скобки (например: badurl[.]com).

  В CyberTrace версии 4.2 регулярные выражения для MD5, SHA1 и SHA256 могут извлекать фрагменты значений из более длинных индикаторов (например, более длинных хешей или URL, если они состоят из символов a–f и цифр). Рекомендуется заменить предустановленные регулярные выражения для MD5, SHA1 и SHA256 более конкретными. Например, для MD5 можно использовать [^\da-fA-F]([\da-fA-F]{32})[^\da-fA-F] вместо ([\da-fA-F]{32}).

• Ссылка на данные в потоке данных об угрозах:
  • Для потока данных об угрозах CSV укажите номер столбца.
  • Для потока данных об угрозах JSON укажите имя поля.

    Укажите полный путь к элементу относительно корневого элемента. В выражении пути нельзя использовать ни подстановочные знаки (звездочку «*» или вопросительный знак «?»), ни корневой элемент.

    В случае потоков данных об угрозах JSON имя поля чувствительно к регистру. Имена полей следует указывать в том же регистре, в котором они используются в потоке данных об угрозах JSON.

    Для указания вложенного поля, используется косая черта (/): например, mainField/subField.

  • В случае потока данных об угрозах XML указывается элемент.

    Укажите полный путь к элементу относительно корневого элемента. В выражении пути нельзя использовать подстановочные знаки (звездочку «*» или вопросительный знак «?»), а только корневой элемент. Путь чувствителен к регистру.

    В следующем примере, если в качестве корневого элемента был указан root/element*, то полный путь к элементам относительно корневого элемента — это url и ip, а не root/element1/url или root/element2/ip:

  <root> <element1> <url>http</url> <ip>1</ip> </element1> <element2> <url>https</url> <ip>2</ip> </element2> </root>

При добавлении пользовательского или стороннего потока данных об угрозах может выполняться обновление потоков данных об угрозах. В этом случае выдается уведомление об этом, и новый поток данных об угрозах не добавляется. Рекомендуется подождать, а затем попытаться добавить потока данных об угрозах еще раз.