Обучение предиктивного элемента ML-модели

Процесс обучения предиктивного элемента может состоять из одной или нескольких эпох. Эпоха – это цикл, в течение которого предиктивный элемент обучается на всем наборе обучающих данных. Вы можете задать количество эпох для обучения в параметрах обучения элемента.

Для обучения элементов ML-моделей должна быть запущена служба Trainer. При необходимости системный администратор может изменить количество элементов, которое служба может обучать одновременно, в параметрах службы Trainer.

Изменение параметров обучения и запуск повторного обучения недоступны, если ML-модели присвоен статус Готова к публикации или Опубликована.
Обучение элементов ML-моделей доступно системным администраторам и пользователям с правом Обучение моделей из группы прав Управление ML-моделями.
Функциональность доступна после добавления лицензионного ключа.

Чтобы обучить элемент ML-модели:

1. В основном меню выберите раздел Модели.
2. В дереве активов выберите предиктивный элемент, который вы хотите обучить.

   Справа отобразится список параметров.

3. Откройте вкладку Обучение и нажмите на кнопку Изменить в правом верхнем углу страницы.
4. В поле Интервал отбора данных укажите интервал времени данных, на которых требуется обучить ML-модель.
5. Если требуется применить разметки для отбора данных для обучения ML-модели в рамках выбранного интервала, в поле Разметки выберите одну или несколько разметок.

   Выбранные разметки сформируют индикатор обучения.

   

   Совокупность критериев, на основании которых определяются интервалы времени данных, на которых ML-модель выполняет обучение.

   Если выбрано более одной разметки, то для формирования индикатора обучения используются пересечения выбранных интервалов данных.

6. Если требуется просмотреть, какие данные будут отобраны разметками, нажмите на кнопку На графике.

   Если выбрана одна разметка, то на графике отобразятся интервалы, отобранные разметкой, в указанном при создании цвете. Если выбрано более одной разметки, на графике отобразятся пересечения интервалов, отобранных разметками.

   При просмотре данных на графике вы можете выбрать определенный пресет.

7. Если требуется зафиксировать порог регистрации инцидентов, заданный в параметрах элемента, включите переключатель Зафиксировать порог регистрации инцидентов.

   По умолчанию переключатель выключен. Корректировка порога регистрации инцидентов выполняется на основе результатов обучения. При необходимости вы можете вручную изменить значение порога регистрации инцидентов после корректировки.

8. Если требуется задать расширенные параметры обучения, включите переключатель Расширенные параметры обучения.
9. В поле Максимальная продолжительность обучения (сек.) укажите в секундах максимальное время, которое сервер Kaspersky MLAD может затратить на обучение ML-модели.
10. В поле Размер валидационной выборки укажите в виде десятичной дроби долю валидационной выборки относительно всего набора данных для обучения ML-модели.

    Вы можете указать значение в диапазоне от 0 до 1.

    По умолчанию этот параметр имеет значение 0.2.

11. В поле Максимальное количество эпох укажите максимальное количество эпох для обучения ML-модели.

    По умолчанию этот параметр имеет значение 500.

12. В поле Количество эпох для ранней остановки обучения укажите количество эпох, в течение которых качество обучения не улучшается для ранней остановки обучения ML-модели.

    Ранняя остановка обучения ML-модели применяется для избежания переобучения модели. При этом обучение ML-модели считается успешно завершившимся.

    По умолчанию этот параметр имеет значение 15.

13. В поле Разрешение графиков результатов обучения укажите в виде десятичной дроби разрешение графиков для отображения результатов обучения на вкладке Результаты обучения.

    Вы можете указать значение в диапазоне от 0 до 1.

14. В поле Размер пакета укажите количество элементов выборки, которое требуется передать на обучение в рамках итерации.

    По умолчанию этот параметр имеет значение 16.

    Этот параметр недоступен для элемента с TCN-архитектурой.

15. В поле Количество блоков укажите количество блоков, на которое требуется разбить данные для обучения ML-модели.

    По умолчанию этот параметр имеет значение 4.

16. В раскрывающемся списке Режим инференса выберите одно из следующих значений:
    • Если требуется загрузить все пакеты данных для обучения в оперативную память, выберите Быстрый инференс.

      Этот режим инференса позволяет выполнить инференс быстрее.

    • Если требуется загружать в оперативную память по одному пакету данных, выберите Экономия памяти.

      Этот режим инференса позволяет выполнить инференс с минимальными затратами оперативной памяти, но медленнее, чем в режиме Быстрый инференс.

17. В раскрывающемся списке Режим обучения выберите одно из следующих значений:
    • Если требуется загрузить все данные для обучения модели в оперативную память, выберите Загрузить все данные в оперативную память.
    • Если требуется загружать в оперативную память по одному блоку данных и сформировать валидационные блоки из конца набора данных, выберите Сформировать валидационные блоки из конца данных.
    • Если требуется загружать в оперативную память по одному блоку данных без формирования валидационных блоков, выберите Проводить валидацию в каждом блоке обучающих данных.

      Валидационные данные формируются из каждого обучающего блока данных.

18. В раскрывающемся списке Режим распределения памяти выберите один из следующих параметров:
    • Зарезервировать минимальный объем свободной памяти. При выборе этого параметра при обучении ML-модели служба Trainer будет оставлять свободным минимальный объем памяти, указанный в поле Объем памяти, МБ.
    • Зарезервировать максимальный объем памяти на обучение модели. При выборе этого параметра для обучения ML-модели служба Trainer будет использовать максимальный объем оперативной памяти, указанный в поле Объем памяти, МБ.
19. Если требуется учесть результаты предыдущего обучения при обучении ML-модели на новых данных, включите параметр Инициализировать веса модели значениями из результатов предыдущего обучения.
20. Если требуется перемешать данные для улучшения качества обучения ML-модели, включите параметр Перемешать данные.
21. В поле Инициализация генератора псевдослучайных чисел укажите значение, на основании которого будет сгенерирована последовательность псевдослучайных чисел.
22. В поле Коэффициент скорости обучения укажите коэффициент, с помощью которого будут корректироваться веса элемента ML-модели на каждой итерации обучения.

    По умолчанию этот параметр имеет значение 0.0001.

23. В раскрывающемся списке Алгоритм оптимизации обучения выберите один из следующих алгоритмов, который будет использоваться для оптимизации обучения:
    • Adadelta – алгоритм, основанный на адаптивной скорости обучения для каждого измерения.
    • Adagrad – алгоритм, в котором скорость обучения зависит от частоты обновления параметров во время обучения.
    • Adam – алгоритм, основанный на адаптивной оценке первого и второго момента распределения параметров.
    • RMSprop – алгоритм, использующий скользящее среднее квадратов градиента для адаптивного нормирования скорости обучения на каждом шаге.
    • SGD – алгоритм стохастического градиентного спуска.
24. В раскрывающемся списке Функция потерь выберите одну из следующих функций, которая будет использоваться для расчета ошибки прогноза во время обучения:
    • MSE – для расчета среднеквадратичной ошибки.
    • MSLE – для расчета средней логарифмической ошибки.
    • MAE – для расчета средней абсолютной ошибки.
    • MAPE – для расчета средней абсолютной процентной ошибки.
25. В правом верхнем углу страницы нажмите на кнопку Сохранить.

    В случае изменения параметров обучения для ранее обученного элемента необходимо подтвердить сохранение изменений.

26. В информационном блоке, расположенном над параметрами обучения, нажмите на кнопку Обучить элемент.

Kaspersky MLAD добавит элемент в очередь на обучение. Во время обучения в информационном блоке будет отображаться номер текущей эпохи обучения элемента.

После завершения обучения вы можете просмотреть результаты обучения элемента ML-модели на вкладке Результаты обучения.

После успешного обучения всех предиктивных элементов и элементов на основе эллиптического конверта в составе ML-модели ей будет присвоен статус Обучена. Если требуется, вы можете повторно обучить элемент ML-модели, нажав на кнопку Перезапустить обучение.