Обучение нейросетевого элемента ML-модели

Kaspersky MLAD позволяет выполнить обучение нейросетевого элемента для ML-модели, созданной вручную, загруженной в Kaspersky MLAD, созданной по шаблону, а также для скопированной ML-модели.

Обучение элементов ML-моделей доступно системным администраторам и пользователям с правом Обучение моделей из группы прав Управление ML-моделями.

Чтобы обучить элемент ML-модели:

1. В основном меню выберите раздел Модели.
2. В дереве активов выберите нейросетевой элемент, который вы хотите обучить.

   Справа отобразится список параметров.

3. Откройте вкладку Обучение и нажмите на кнопку Изменить в правом верхнем углу окна.
4. В поле Интервал отбора данных укажите интервал времени данных, на которых требуется обучить ML-модель.
5. Если требуется применить разметки для отбора данных для обучения ML-модели в рамках выбранного интервала, в поле Разметки выберите одну или несколько разметок.

   Выбранные разметки сформируют индикатор обучения.

   

   Совокупность критериев, на основании которых определяются интервалы времени данных, на которых ML-модель выполняет обучение.

6. Если требуется просмотреть, какие данные будут отобраны разметками, нажмите на кнопку На графике.

   Разметки отобразятся в указанных при создании цветах.

7. Если требуется, включите параметр Расширенные параметры обучения и выполните следующие действия:
   1. В поле Максимальная продолжительность обучения (сек.) укажите максимально время, которое сервер Kaspersky MLAD может затратить на обучение ML-модели в секундах.
   2. В поле Размер валидационной выборки укажите в виде десятичной дроби долю валидационной выборки относительно всего набора данных для обучения ML-модели.

      Вы можете указать значение в диапазоне от 0 до 1.

      По умолчанию этот параметр имеет значение 0.2.

   3. В поле Максимальное количество эпох укажите максимальное количество эпох для обучения ML-модели.

      По умолчанию этот параметр имеет значение 500.

   4. В поле Количество эпох для ранней остановки обучения укажите количество эпох, в течение которых качество обучения не улучшается для ранней остановки обучения ML-модели.

      Ранняя остановка обучения ML-модели применяется для избежания переобучения модели. При этом обучение ML-модели считается успешно завершившимся.

      По умолчанию этот параметр имеет значение 15.

   5. В поле Разрешение графиков результатов обучения укажите в виде десятичной дроби разрешение графиков для отображения результатов обучения на вкладке Результаты обучения.

      Вы можете указать значение в диапазоне от 0 до 1.

   6. В поле Размер батча укажите количество элементов выборки, которое требуется передать на обучение в рамках итерации.

      По умолчанию этот параметр имеет значение 16.

   7. В поле Количество блоков укажите количество блоков, на которое требуется разбить набор данных для обучения ML-модели.

      По умолчанию этот параметр имеет значение 4.

   8. В раскрывающемся списке Режим инференса выберите одно из следующих значений:
      • Если требуется загрузить все батчи в оперативную память, выберите Быстрый инференс.

        Этот режим инференса позволяет выполнить инференс быстрее.

      • Если требуется загружать в оперативную память по одному батчу данных, выберите Экономия памяти.

        Этот режим инференса позволяет выполнить инференс с минимальными затратами оперативной памяти, но медленнее, чем в режиме Быстрый инференс.

      Выбранный режим инференса применяется только в процессе обучения нейросетевого элемента ML-модели.

   9. В раскрывающемся списке Режим обучения выберите одно из следующих значений:
      • Если требуется загрузить весь набор данных для обучения модели в оперативную память, выберите Загрузить весь датасет в оперативную память.
      • Если требуется загружать в оперативную память по одному блоку данных и сформировать валидационные блоки из конца набора данных, выберите Сформировать валидационные блоки из конца датасета.
      • Если требуется загружать в оперативную память по одному блоку данных без формирования валидационных блоков, выберите Проводить валидацию в каждом блоке обучающих данных.

        Валидационные данные формируются из каждого обучающего блока данных.

   10. В раскрывающемся списке Режим распределения памяти выберите один из следующих параметров:
       • Зарезервировать минимальный объем свободной памяти. При выборе этого параметра при обучении ML-модели служба Trainer будет оставлять свободным минимальный объем памяти, указанный в поле Объем памяти, МБ.
       • Зарезервировать максимальный объем памяти на обучение модели. При выборе этого параметра для обучения ML-модели служба Trainer будет использовать максимальный объем оперативной памяти, указанный в поле Объем памяти, МБ.
   11. Если требуется учесть результаты предыдущего обучения при обучении ML-модели на новых данных, включите параметр Инициализировать веса модели значениями из результатов предыдущего обучения.
   12. Если требуется перемешать данные для улучшения качества обучения ML-модели, включите параметр Перемешать данные.
8. В правом верхнем углу окна нажмите на кнопку Сохранить.
9. В информационном блоке, расположенном над параметрами обучения, нажмите на кнопку Обучить элемент.

В информационном блоке будет отображаться номер текущей эпохи обучения элемента ML-модели. После завершения обучения вы можете просмотреть результаты обучения элемента ML-модели на вкладке Результаты обучения.

После обучения всех нейросетевых элементов в составе ML-модели ей будет присвоен статус Обучена. Если требуется, вы можете повторно обучить элемент ML-модели, нажав на кнопку Перезапустить обучение.