Функция потерь и оптимизатор: две части обучения
Функция потерь оценивает ошибку на примерах, а оптимизатор изменяет параметры модели.
Цикл обучения обычно включает прямой проход, вычисление потерь, обратный проход и шаг оптимизатора. Эти этапы решают разные задачи: получить прогноз, измерить расхождение с целевыми значениями и обновить веса. Настройки обучения, включая скорость изменения параметров, влияют на поведение этого процесса.
Уменьшение потерь на обучающем наборе ещё не означает, что модель хорошо справляется с новыми данными. Для этого выделяют отдельную проверочную выборку и наблюдают за метриками на ней. Полезно сохранять настройки эксперимента вместе с результатом: без них трудно сравнивать запуски и воспроизводить найденное решение.