Просмотр результатов обучения элемента ML-модели

Вы можете просмотреть результаты обучения предиктивных элементов и элементов на основе эллиптического конверта.

Просмотр результатов обучения элементов ML-моделей доступен системным администраторам и пользователям с правом Обучение моделей из группы прав Управление ML-моделями.
Функциональность доступна после добавления лицензионного ключа.

Чтобы просмотреть результаты обучения элемента ML-модели:

1. В основном меню выберите раздел Модели.
2. В дереве активов выберите элемент ML-модели, результат обучения которого вы хотите просмотреть.

   Справа отобразится панель с параметрами выбранного элемента.

3. Выберите вкладку Результаты обучения.

В случае успешного обучения элемента ML-модели на вкладке Результаты обучения отображается следующие сведения:

• Сообщение об успешном завершении обучения элемента ML-модели.

  Если требуется просмотреть параметры обучения элемента, указанные при его создании, нажмите на кнопку Параметры обучения.

• Блок параметров Оценка обучения для оценки результатов обучения элемента ML-модели.
• Блок параметров Результаты обучения со следующими сведениями:
  • Пользователь – имя пользователя, который запустил обучение элемента ML-модели.
  • Начало обучения – дата и время начала обучения элемента ML-модели.
  • Окончание обучения – дата и время окончания обучения элемента ML-модели.
  • Продолжительность обучения – общая продолжительность обучения элемента ML-модели.
  • Начало обучающей выборки – начало времени данных, отобранных в обучающую выборку.
    

    Система отсчета времени, в которой идут часы источников данных на объекте мониторинга.

  • Окончание обучающей выборки – окончание времени данных, отобранных в обучающую выборку.
  • Общий интервал времени – общая продолжительность интервала отбора данных.
  • Продолжительность интервалов – суммарная продолжительность интервалов времени данных, отобранных в обучающую выборку после применения разметки индикатора обучения к интервалу отбора данных.
  • Число узлов РИВС – количество узлов РИВС, входящих в обучающую выборку после применения разметки индикатора обучения к интервалу отбора данных.

    Обучение предиктивного элемента ML-модели с нейросетевой архитектурой рекомендуется проводить на не менее чем 10 000 узлах РИВС. Если узлов РИВС в обучающей выборке меньше, необходимо увеличить интервал времени данных для обучения и обучить элемент заново.

• Графики с результатами обучения для предиктивных элементов ML-модели:
  • Ошибки обучения и валидации – график, отображающий ошибки обучения и валидации в зависимости от эпохи обучения. Синяя линия на графике соответствует ошибке обучения, а красная линия соответствует ошибке валидации.

    В зависимости от динамики ошибок обучения и валидации вы можете принять решение о том, требуется ли увеличить или сократить количество эпох обучения и обучить элемент заново. Корректировка параметров обучения элемента ML-модели необходима в следующих случаях:

    • Ошибка валидации растет или не изменяется на протяжении всего обучения. Для улучшения качества работы необходимо использовать другие данные для обучения и/или использовать другую архитектуру элемента ML-модели и обучить элемент заново.
    • Ошибка валидации начала расти под конец обучения. Небольшой рост ошибки валидации может быть временным и не зависеть от качества данных и/или выбранной архитектуры элемента. В таком случае рекомендуется убедиться, является ли рост ошибки валидации временным. Для этого в параметре Количество эпох для ранней остановки обучения нужно указать умноженный на два номер эпохи, на которой начался рост ошибки валидации. Например, если рост ошибки валидации начался на десятой эпохе, укажите в этом параметре значение 20.

      Если после повторного обучения элемента ошибка валидации не снизилась на дополнительных эпохах обучения, для улучшения качества работы элемента необходимо сократить количество эпох для обучения до эпохи, на которой наблюдалась минимальная ошибка валидации.

  • Прогноз обученной модели – графики, отображающие прогноз обученной модели для выходных тегов и общую ошибку прогноза.

    На каждом графике выходного тега полученное значение тега отображается в виде синей линии, а предсказанное значение тега отображается в виде зеленой линии. Если на определенном интервале времени предсказанное значение тега начинает систематически отличаться от полученного значения тега, это может указывать на то, что в выборку для обучения были включены данные для разных режимов работы агрегата или были изменены свойства оборудования (например, был проведен ремонт оборудования). В таком случае перед повторным обучением элемента необходимо выбрать разметку, в которой определены критерии поведения тегов в нужном режиме работы, и/или скорректировать интервал времени данных, на которых обучается элемент ML-модели.

    График общей ошибки прогноза отображается последним. На графике красная линия соответствует общей ошибке прогноза, а горизонтальная оранжевая линия соответствует порогу, при превышении которого элемент ML-модели считает поведение объекта мониторинга аномальным и регистрирует инцидент. С помощью графика общей ошибки прогноза вы можете принять решение о том, требуется ли скорректировать параметры обучения и обучить элемент заново. Корректировка параметров обучения элемента ML-модели необходима в следующих случаях:

    • Красная линия является плоской, на графике не прослеживается динамика изменения состояния объекта мониторинга. Для улучшения качества работы необходимо выбрать другой интервал времени данных, которые отражают нормальную работу объекта мониторинга с незначительными отклонениями, и/или изменить архитектуру элемента.
    • Изменения тренда красной линии не соответствуют ожидаемому поведению объекта мониторинга. Для улучшения качества работы элемента необходимо выбрать другой интервал времени данных, которые отражают нормальную работу объекта мониторинга с незначительными отклонениями, и/или изменить архитектуру элемента.
    • Значение порога значительно больше типового уровня ошибки. На графике красная линия в основном прижата к нижней части графика, а оранжевая линия проходит в верхней части графика. Такое поведение означает, что предиктивный элемент не смог автоматически выбрать адекватное значение порога, так как обучающая выборка либо не содержит аномалий, либо содержит небольшое количество очень интенсивных аномалий. Для улучшения работы элемента необходимо снизить значение параметра Порог регистрации инцидентов перед запуском инференса.
• Графики с результатами обучения для эллиптических конвертов ML-модели:
  • Степень отклонения тегов – график, отображающий удаление точки, описывающей состояние объекта мониторинга в определенный момент времени в фазовом пространстве, от центра эллиптической области нормальных состояний. Изменение состояния объекта мониторинга отображается в виде красной линии. Горизонтальная оранжевая линия соответствует порогу и показывает максимальное удаление, при котором состояние считается принадлежащим области нормальных состояний.

    С помощью графика вы можете принять решение о том, требуется ли скорректировать параметры обучения и обучить элемент заново. Корректировка параметров обучения элемента ML-модели необходима в следующих случаях:

    • Красная линия является плоской, на графике не прослеживается динамика изменения состояния объекта мониторинга. Для улучшения качества работы элемента необходимо выбрать другой интервал времени данных, которые отражают нормальную работу объекта мониторинга с незначительными отклонениями, и обучить элемент заново.
    • Красная линия имеет горизонтальные участки вдоль верхней границы графика. Для улучшения качества работы элемента необходимо отрегулировать значение параметра Доля выборки для оценки среднего и ковариации и обучить элемент заново. Чем выше значение параметра, тем ниже чувствительность эллиптического конверта к аномалиям и тем ниже красная линия на графике.
    • Изменения тренда красной линии не соответствуют ожидаемому поведению объекта мониторинга. Для улучшения качества работы элемента необходимо выбрать другой интервал времени данных, которые отражают нормальную работу объекта мониторинга с незначительными отклонениями, и обучить элемент заново.
    • Значение порога значительно больше типового уровня ошибки. На графике красная линия в основном прижата к нижней части графика, а оранжевая линия проходит в верхней части графика. Такое поведение означает, что эллиптический конверт не смог автоматически выбрать адекватное значение порога, так как обучающая выборка либо не содержит аномалий, либо содержит небольшое количество очень интенсивных аномалий. Для улучшения качества выявления аномальных состояний элементом необходимо отрегулировать значение параметра Доля выбросов в выборке и обучить элемент заново. Чем выше значение доли выбросов в обучающей выборке, тем ниже значение порога регистрации инцидентов.
  • Значения тегов – графики, отображающие значения каждого тега во время обучения.
  • Распределение значений тегов – гистограммы распределения значений каждого тега во время обучения. Пики графика соответствуют наиболее часто наблюдаемым значениям, проанализированным элементом во время обучения.

    Количество пиков на графике является признаком качества данных, отобранных для обучения. Если для обучения элемента были правильно выбраны разметки и интервал времени данных, то на графике должен отображаться один пик. Если пиков на графике несколько, это может указывать на то, что в выборку для обучения были включены данные для разных режимов работы агрегата (например, до и после его ремонта). В таком случае перед повторным обучением элемента необходимо выбрать разметку, в которой определены критерии поведения тегов в нужном режиме работы, и/или скорректировать интервал времени данных, на которых обучается элемент ML-модели.

  • Корреляция тегов – матрица, отображающая взаимосвязи тегов, используемых при обучении элемента ML-модели.