Добавление пользовательского или стороннего потока данных об угрозах типа «электронная почта»

В этом разделе описывается порядок добавления пользовательского или стороннего потока данных об угрозах типа «электронная почта» и изменение его параметров.

Чтобы добавить поток данных об угрозах:

1. В разделе Filtering rules for feeds нажмите Custom feeds.

   Откроется окно Custom feed.

2. В поле Feed type укажите тип потока данных об угрозах «email».

   Окно Custom feed изменится на следующее:

   

   Добавление потока данных об угрозах типа «электронная почта»

3. Для потока данных об угрозах типа «электронная почта» укажите следующую информацию:
   • Feed name

     В имени потока данных об угрозах можно использовать латинские буквы, цифры, знаки подчеркивания и дефисы. Имя не должно совпадать с другими уже используемыми именами потоков данных об угрозах.

     В качестве имени потока данных об угрозах не следует использовать «FalsePositive» или «InternalTI», поскольку эти имена зарезервированы для встроенных имен источников данных об угрозах Kaspersky CyberTrace.

     В имени потока данных об угрозах не следует использовать символ «@», если используется базовая аутентификация, а имя пользователя или пароль содержат «@».

   • Feed type

     Укажите тип потока данных об угрозах «email».

     Установите флажок Use TLS/SSL, чтобы разрешить взаимодействие с почтовым сервером с использованием сертификатов TLS/SSL.

     Флажок Use TLS/SSL установлен по умолчанию. Снимите флажок, если почтовый сервер не использует TLS/SSL.

   • Host

     Имя хоста или IP-адрес почтового сервера, к которому требуется подключаться. Это поле не может быть пустым.

   • Port

     Порт почтового сервера, к которому требуется подключаться. Это поле не может быть пустым.

   • Mail server type

     Протокол взаимодействия с почтовым сервером. Выберите POP3 или IMAP. По умолчанию выбран протокол IMAP.

   • Vendor name

     В раскрывающемся списке выберите имя поставщика потока данных об угрозах или выберите [Add new vendor], чтобы создать нового поставщика.

   • Confidence

     Уровень доверия к источнику данных об угрозах. Это поле не может быть пустым. Диапазон возможных значений — от 1 до 100.

     По умолчанию заданы значения: 100 для потоков данных об угрозах «Лаборатории Касперского», 50 для потоков данных об угрозах OSINT и 50 для сторонних потоков данных об угрозах. Эти значения можно изменить.

   • Days to process emails

     Количество дней, необходимое для обработки сообщений с почтового сервера. Это поле не может быть пустым.

     Необходимо указать целое положительное число. Максимальное значение: 365. По умолчанию задано значение 7.

   • Login

     Учетная запись пользователя для подключения к почтовому серверу. Это поле не может быть пустым.

   • Password

     Пароль учетной записи для подключения к почтовому серверу. Это поле не может быть пустым.

   • Check connection

     Нажмите на кнопку Check connection, чтобы подключиться к почтовому серверу. Результат отображается во всплывающем окне.

После заполнения вышеуказанных полей нажмите кнопку Next, чтобы перейти к следующему окну настройки, затем укажите правила фильтрации для сообщений электронной почты и правила парсинга для тела и вложений сообщений.

После добавления потока данных об угрозах типа «электронная почка» обновите значение Retention period (по умолчанию 365 дней).

Настройка правил фильтрации и парсинга для потоков данных об угрозах типа «электронная почта»

В следующем окне собраны поля для настройки правил фильтрации и парсинга:

Правила фильтрации и парсинга

Добавление фильтров сообщений

Фильтры сообщений задают правила выбора сообщений электронной почты для парсинга. Сообщения электронной почты могут выбираться по теме и по отправителю. Во всех правилах используется оператор конъюнкции («AND»).

Чтобы добавить фильтры сообщений, выполните следующие действия:

1. В разделе Email filtering rules окна Custom feed нажмите на кнопку Add rule.

   Можно добавить одно или несколько правил. Если не добавлено ни одно правило, парсингу подвергаются все сообщения электронной почты с сервера.

2. Для каждого поля указывается следующая информация:
   • Field for filter

     Правила фильтрации можно применить к одному из следующих полей сообщения электронной почты:

     • From

       Отправитель сообщения электронной почты.

     • Subject

       Тема сообщения электронной почты.

   • Filtration condition

     Выберите одно из следующих значений:

     • Contains (по умолчанию)

       Значение из сообщения электронной почты должно содержать значение из этого поля.

       Это значение задано по умолчанию.

     • Not contains

       Значение из сообщения электронной почты должно не содержать значения из этого поля.

     • Match

       Значение из сообщения электронной почты должно быть равно значению из этого поля.

     • Not match

       Значение из сообщения электронной почты должно быть не равно значению из этого поля.

   • Value

     Критерий, используемый для фильтрации сообщений электронной почты с почтового сервера.

     Это поле не может быть пустым.

Почтовый сервер формирует поле From в двух вариантах: sender@mail.ru или sender<sender@mail.ru>.

Если в качестве поля для фильтрации (Field for filter) выбрано From, а в качестве условия фильтрации (Filtration condition) выбрано Match, значение Value сравнивается со значением sender@mail.ru (если в поле From задано sender@mail.ru), либо сравнение выполняется со значением в круглых скобках (если в поле From задано sender<sender@mail.ru>).

Настройка правил парсинга вложения сообщения

Эти правила содержат настройки для типов вложений, а также регулярные выражения для парсинга индикаторов и контекста вложений.

Чтобы задать правила парсинга вложений сообщений, выполните следующие действия:

1. Перейдите в раздел Message attachments parsing.

   Парсинг вложений сообщения активен по умолчанию. Можно применить один или несколько типов вложений. Вложение одного типа можно применить только один раз.

2. В разделе Attachment укажите поля, которые зависят от выбранного типа вложения.
   • Attachment type

     В раскрывающемся списке выберите тип вложения. В качестве типа вложения можно использовать одно из следующих значений:

     • csv

       Для вложений CSV необходимо указать символ-разделитель столбцов. В качестве предустановленного разделителя используется точка с запятой (;).

       В разделе Attachment задаются следующие поля Field type, Field name, Column number.

     • json

       В разделе Attachment задаются следующие поля: Field type, Field name, Root element.

     • stix1

       Если в настройках потока данных об угрозах типа «электронная почта» одновременно указаны правила парсинга для stix1 и xml, сначала выполняется парсинг файла stix1.

       Если парсинг файла stix1 прошел без ошибок, дальнейшая обработка этого файла в качестве обычного файла XML не выполняется.

     • stix2

       Если в настройках потока данных об угрозах типа «электронная почта» одновременно указаны правила парсинга для stix2 и json, сначала выполняется парсинг файла stix2.

       Если парсинг файла stix2 прошел без ошибок, дальнейшая обработка этого файла в качестве обычного файла json не выполняется.

     • pdf

       В разделе Attachment задаются следующие поля: Field type, Field name, Regular expression.

       В поле Regular expression можно выбрать предустановленные регулярные выражения или, при необходимости, скорректировать их.

       Для индикаторов URL и IP заданное регулярное выражение настраивается для получения индикаторов, в значении которых есть точка, заключенная в квадратные скобки (например: badurl[.].com).

       В CyberTrace версии 4.2 регулярные выражения для MD5, SHA1 и SHA256 могут извлекать фрагменты значений из более длинных индикаторов (например, более длинных хешей или URL, если они состоят из символов a–f и цифр). Рекомендуется заменить предустановленные регулярные выражения для MD5, SHA1 и SHA256 более конкретными. Например, для MD5 можно использовать [^\da-fA-F]([\da-fA-F]{32})[^\da-fA-F] вместо ([\da-fA-F]{32}).

     • xml

       Для вложения XML необходимо указать корневой элемент. Это позволяет использовать имена элементов потока данных об угрозах относительно корневого элемента. Элемент, указываемый в качестве корневого, зависит от уровня вложенности в данном потоке данных об угрозах. Пример корневого элемента для потока данных об угрозах типа XML приведен в шаге 4 раздела Добавление пользовательского или стороннего потока данных об угрозах.

       В разделе Attachment задаются следующие поля: Field type, Field name, Element.

   • Field type

     Выберите тип индикатора.

     Это поле недоступно для stix1 и stix2.

   • Field name

     Это имя поля будет использоваться в процессе сопоставления.

     В имени поля можно использовать латинские буквы, цифры, знаки подчеркивания и дефисы. Имя должно содержать хотя бы одну латинскую букву.

     Это поле недоступно для stix1 и stix2.

   • Root element

     Укажите корневой элемент для типа вложения JSON. Можно указать значение корневого элемента с любым уровнем вложенности. Пределы уровня вложенности задаются с помощью символа «/».

     Параметр «Root element» может быть пустым. Если он не пустой, значение корневого элемента не должно содержать пустых уровней вложенности (подстрока «//»), а также не должно начинаться или заканчиваться символом «/».

     В корневом элементе для потоков данных об угрозах JSON нельзя использовать подстановочные знаки.

3. Если требуется применять правила исключения, следует использовать регулярные выражения.
4. Нажмите Check parsing, чтобы проверить настройки парсинга вложений.

   Отобразятся первые 50 строк итогового потока данных об угрозах, в том числе индикаторы тела и вложений обработанных сообщений.

5. Нажмите на кнопку Save.

Настройка правил парсинга тела сообщения

Эти правила содержат регулярные выражения для парсинга индикаторов и контекста тела сообщения.

Чтобы задать правила парсинга тела сообщений, выполните следующие действия:

1. В окне Custom feed выберите Message body parsing.
2. В разделе Rules укажите значения следующих полей:
   • Field type

     Выберите тип индикатора.

   • Field name

     Это имя поля будет использоваться в процессе сопоставления.

     В имени поля можно использовать латинские буквы, цифры, знаки подчеркивания и дефисы. Имя должно содержать хотя бы одну латинскую букву.

   • Регулярное выражение

     В поле Regular expression можно выбрать предустановленные регулярные выражения или, при необходимости, скорректировать их.

     Для индикаторов URL и IP заданное регулярное выражение настраивается для получения индикаторов, в значении которых есть точка, заключенная в квадратные скобки (например: badurl[.].com).

     В CyberTrace версии 4.2 регулярные выражения для MD5, SHA1 и SHA256 могут извлекать фрагменты значений из более длинных индикаторов (например, более длинных хешей или URL, если они состоят из символов a–f и цифр). Рекомендуется заменить предустановленные регулярные выражения для MD5, SHA1 и SHA256 более конкретными. Например, для MD5 можно использовать [^\da-fA-F]([\da-fA-F]{32})[^\da-fA-F] вместо ([\da-fA-F]{32}).

     Нажмите Add new expression, чтобы применить еще одно регулярное выражение.

     Если требуется применять правила исключения, следует использовать регулярные выражения.

3. Нажмите Check parsing, чтобы проверить настройки парсинга тела сообщения.

   Отобразятся первые 50 строк итогового потока данных об угрозах, в том числе индикаторы тела обрабатываемых сообщений и их вложений.

4. Нажмите на кнопку Save.