ML-модели

Развернуть все | Свернуть все

ML-модель – это алгоритм, основанный на методах машинного обучения, задачей которого является анализ телеметрии объекта мониторинга и обнаружение аномалий.

ML-модель создается специалистами "Лаборатории Касперского" или сертифицированным интегратором для конкретного объекта мониторинга с учетом особенностей объекта и характеристик данных телеметрии. При создании ML-модели формируется общая структура алгоритма (архитектура), после чего ML-модель обучается на исторических данных телеметрии, таким образом настраиваясь на особенности поведения конкретного объекта.

ML-модель, загружаемая в Kaspersky MLAD для работы с объектом мониторинга, состоит из одного или нескольких элементов, каждый из которых представляет собой самостоятельную ML-модель, а общий результат работы службы Anomaly Detector складывается из объединения результатов работы элементов ML-модели. Как правило, чем сложнее технологические процессы объекта мониторинга, тем больше элементов будет содержать ML-модель.

ML-модель Kaspersky MLAD может строиться на основе одного или нескольких детекторов, работающих параллельно:

• Forecaster;

  Наиболее распространенным типом ML-моделей является нейронная сеть, которая предсказывает поведение объекта на основе данных о его поведении в ближайшем прошлом. Если отличие предсказания модели от фактически наблюдаемых значений превышает определенный порог, то детектор Forecaster считает, что обнаружил отклонение в поведении объекта мониторинга и регистрирует инцидент. Суммарный показатель отличия предсказанных значений от фактических (суммарная ошибка прогноза) в пользовательском интерфейсе условно обозначается MSE (mean squared error).

  График значений MSE и порог MSE, при превышении которого детектор Forecaster регистрирует инцидент, выводятся в разделах Мониторинг и История под графиками тегов. Если в ML-модели содержится несколько элементов, вы можете выбрать элемент модели для просмотра значений MSE, рассчитанных этим элементом.

• Rule Detector;

  Детектор аномалий на основе диагностических правил. Диагностические правила описывают заранее известные особенности поведения объекта мониторинга, проявление которых вы считаете аномалией. Диагностические правила должны быть формализованы и должны вычисляться на основе доступной телеметрии объекта. Диагностические правила формулируются предметными экспертами и реализуются специалистами "Лаборатории Касперского" или сертифицированным интегратором в виде программных модулей, написанных на языке Python. Примеры диагностических правил:

  • значение тега А не меняется в течение минуты;
  • за последние 12 часов тег Б имеет тренд на повышение, при этом тег B имеет тренд на понижение, а тег C не имеет выраженной динамики;
  • значение тега Х упало ниже 2800 при условии, что до этого оно поднималось выше 2900.
• Limit Detector;

  Специальным видом элемента ML-модели объекта является детектор Limit Detector, который регистрирует инциденты по факту выхода значения тега за минимальное или максимальное значение. Детектор Limit Detector использует минимальные и максимальные допустимые значения, указанные в описании тегов объекта мониторинга. Машинное обучение при этом не применяется.

• XGBoost.

  При наличии экспертной разметки аномальных интервалов времени и типов аномалий в исторических данных для обучения ML-модели может быть использован широко распространенный метод машинного "обучения с учителем". XGBoost – градиентный бустинг над деревьями решений. Результатом обучения такой ML-модели является XGBoost-классификатор, определяющий вероятность обнаружения аномалий в данных объекта мониторинга.

  В режиме мониторинга ML-модель, основанная на детекторе XGBoost, отображает график сглаженной вероятности обнаружения аномалии. Детектор XGBoost регистрирует инцидент и определяет его тип, если вероятность превышает заданный порог.

  ML-модель на основе детектора XGBoost предоставляется специалистами "Лаборатории Касперского" по специальному требованию.

В Kaspersky MLAD ML-модель может быть импортирована или создана по шаблону. В свою очередь, шаблоны ML-моделей создаются на основе ранее добавленных ML-моделей. В шаблонах ML-моделей сохраняется структура алгоритма, набор элементов и состояние ML-модели, по которой был создан шаблон. Состояние созданной ML-модели будет соответствовать состоянию обучения исходной ML-модели в момент создания ее шаблона.

С помощью шаблонов вы можете добавить в Kaspersky MLAD однотипные ML-модели, которые будут анализировать данные, поступающие с оборудования одного типа с похожим набором тегов. При создании ML-модели по шаблону можно изменить состав используемых в ML-модели тегов, указав идентификаторы тегов, отличные от идентификаторов тегов исходной ML-модели.

См. также Управление ML-моделями и шаблонами

В начало