функция потерь в машинном обучении это

Функции оценки, потерь, оптимизации – основы алгоритма Машинного Обучения

Адаптированный перевод прекрасной статьи энтузиаста технологий машинного обучения Javaid Nabi.

Чтобы понимать как алгоритм машинного обучения учится предсказывать результаты на основе данных, важно разобраться в основных концепциях и понятиях, используемых при обучении алгоритма.

Функции оценки

В контексте технологии машинного обучения, оценка – это статистический термин для нахождения некоторого приближения неизвестного параметра на основе некоторых данных. Точечная оценка – это попытка найти единственное лучшее приближение некоторого количества интересующих нас параметров. Или на более формальном языке математической статистики — точечная оценка это число, оцениваемое на основе наблюдений, предположительно близкое к оцениваемому параметру.

Под количеством интересующих параметров обычно подразумевается:
• Один параметр
• Вектор параметров – например, веса в линейной регрессии
• Целая функция

Точечная оценка

Такое определение точечной оценки является очень общим и предоставляет разработчику большую свободу действий. Почти любая функция, таким образом, может рассматриваться как оценщик, но хороший оценщик – это функция, значения которой близки к истинному базовому значению θ, которое сгенерированно обучающими данными.

Точечная оценка также может относиться к оценке взаимосвязи между входными и целевыми переменными, в этом случае чаще называемой функцией оценки.

Функция оценки

Задача, решаемая машинным обучением, заключается в попытке предсказать переменную y по заданному входному вектору x. Мы предполагаем, что существует функция f(x), которая описывает приблизительную связь между y и x. Например, можно предположить, что y = f(x) + ε, где ε обозначает часть y, которая явно не предсказывается входным вектором x. При оценке функций нас интересует приближение f с помощью модели или оценки fˆ. Функция оценки в действительности это тоже самое, что оценка параметра θ; функция оценки f это просто точечная оценка в функциональном пространстве. Пример: в полиномиальной регрессии мы либо оцениваем параметр w, либо оцениваем функцию отображения из x в y.

Смещение и дисперсия

Смещение и дисперсия измеряют два разных источника ошибки функции оценки. Смещение измеряет ожидаемое отклонение от истинного значения функции или параметра. Дисперсия, с другой стороны, показывает меру отклонения от ожидаемого значения оценки, которую может вызвать любая конкретная выборка данных.

Смещение

Смещение определяется следующим образом:

где ожидаемое значение E(θˆ_m) для данных (рассматриваемых как выборки из случайной величины) и θ является истинным базовым значением, используемым для определения распределения, генерирующего данные.

Оценщик θˆ_m называется несмещенным, если bias(θˆ_m)=0, что подразумевает что E(θˆ_m) = θ.

Дисперсия и Стандартная ошибка

Дисперсия оценки обозначается как Var(θˆ), где случайная величина является обучающим множеством. Альтернативно, квадратный корень дисперсии называется стандартной ошибкой, обозначаемой как SE(θˆ). Дисперсия или стандартная ошибка оценщика показывает меру ожидания того, как оценка, которую мы вычисляем, будет изменяться по мере того, как мы меняем выборки из базового набора данных, генерирующих процесс.

Точно так же, как мы хотели бы, чтобы функция оценки имела малое смещение, мы также стремимся, чтобы у нее была относительно низкая дисперсия.

Давайте теперь рассмотрим некоторые обычно используемые функции оценки.

Оценка Максимального Правдоподобия (MLE)

Оценка максимального правдоподобия может быть определена как метод оценки параметров (таких как среднее значение или дисперсия) из выборки данных, так что вероятность получения наблюдаемых данных максимальна.

Оценка максимального правдоподобия для θ определяется как:

Поскольку мы предположили, что примеры являются независимыми выборками, приведенное выше уравнение можно записать в виде:

Эта произведение многих вероятностей может быть неудобным по ряду причин. В частности, оно склонно к числовой недооценке. Кроме того, чтобы найти максимумы/минимумы этой функции, мы должны взять производную этой функции от θ и приравнять ее к 0. Поскольку это произведение членов, нам нужно применить правило цепочки, которое довольно громоздко. Чтобы получить более удобную, но эквивалентную задачу оптимизации, можно использовать логарифм вероятности, который не меняет его argmax, но удобно превращает произведение в сумму, и поскольку логарифм – строго возрастающая функция (функция натурального логарифма – монотонное преобразование), это не повлияет на итоговое значение θ.

Два важных свойства: сходимость и эффективность

Сходимость. По мере того, как число обучающих выборок приближается к бесконечности, оценка максимального правдоподобия сходится к истинному значению параметра.

Эффективность. Способ измерения того, насколько мы близки к истинному параметру, – это ожидаемая средняя квадратичная ошибка, вычисление квадратичной разницы между оценочными и истинными значениями параметров, где математическое ожидание вычисляется над m обучающими выборками из данных, генерирующих распределение. Эта параметрическая среднеквадратичная ошибка уменьшается с увеличением m, и для больших m нижняя граница неравенства Крамера-Рао показывает, что ни у одной сходящейся функции оценки нет среднеквадратичной ошибки меньше, чем у оценки максимального правдоподобия.

Именно по причине сходимости и эффективности, оценка максимального правдоподобия часто считается предпочтительным оценщиком для машинного обучения.

Когда количество примеров достаточно мало, чтобы привести к переобучению, стратегии регуляризации, такие как понижающие веса, могут использоваться для получения смещенной версии оценки максимального правдоподобия, которая имеет меньшую дисперсию, когда данные обучения ограничены.

Максимальная апостериорная (MAP) оценка

Согласно байесовскому подходу, можно учесть влияние предварительных данных на выбор точечной оценки. MAP может использоваться для получения точечной оценки ненаблюдаемой величины на основе эмпирических данных. Оценка MAP выбирает точку максимальной апостериорной вероятности (или максимальной плотности вероятности в более распространенном случае непрерывного θ):

где с правой стороны, log(p(x|θ)) – стандартный член логарифмической вероятности и log(p(θ)) соответствует изначальному распределению.

Как и при полном байесовском методе, байесовский MAP имеет преимущество
использования изначальной информации, которой нет в обучающих данных. Эта дополнительная информация помогает уменьшить дисперсию для точечной оценки MAP (по сравнению с оценкой MLE). Однако, это происходит ценой повышенного смещения.

Функции потерь

В большинстве обучающих сетей ошибка рассчитывается как разница между фактическим выходным значением y и прогнозируемым выходным значением ŷ. Функция, используемая для вычисления этой ошибки, известна как функция потерь, также часто называемая функцией ошибки или затрат.

До сих пор наше основное внимание уделялось оценке параметров с помощью MLE или MAP. Причина, по которой мы обсуждали это раньше, заключается в том, что и MLE, и MAP предоставляют механизм для получения функции потерь.

Давайте рассмотрим некоторые часто используемые функции потерь.

Средняя квадратичная ошибка (MSE): средняя квадратичная ошибка является наиболее распространенной функцией потерь. Функция потерь MSE широко используется в линейной регрессии в качестве показателя эффективности. Чтобы рассчитать MSE, надо взять разницу между предсказанными значениями и истинными, возвести ее в квадрат и усреднить по всему набору данных.

где y (i) – фактический ожидаемый результат, а ŷ (i) – прогноз модели.

Многие функции потерь (затрат), используемые в машинном обучении, включая MSE, могут быть получены из метода максимального правдоподобия.

Чтобы увидеть, как мы можем вывести функции потерь из MLE или MAP, требуется некоторая математика. Вы можете пропустить ее и перейти к следующему разделу.

Получение MSE из MLE

Можно смоделировать модель линейной регрессии следующим образом:

мы предполагаем, что у имеет нормальное распределение с ŷ в качестве среднего значения распределения и некоторой постоянной σ² в качестве дисперсии, выбранной пользователем. Нормальное распределения являются разумным выбором во многих случаях. В отсутствие предварительных данных о том, какое распределение в действительности соответствует рассматриваемым данным, нормальное распределение является хорошим выбором по умолчанию.

Вернемся к логарифмической вероятности, определенной ранее:

где ŷ(i) – результат линейной регрессии на i-м входе, а m – количество обучающих примеров. Мы видим, что две первые величины являются постоянными, поэтому максимизация логарифмической вероятности сводится к минимизации MSE:

Таким образом, максимизация логарифмического правдоподобия относительно θ дает такую же оценку параметров θ, что и минимизация среднеквадратичной ошибки. Два критерия имеют разные значения, но одинаковое расположение оптимума. Это оправдывает использование MSE в качестве функции оценки максимального правдоподобия.

Кросс-энтропия (или логарифмическая функция потерь – log loss): Кросс-энтропия измеряет расхождение между двумя вероятностными распределениями. Если кросс-энтропия велика, это означает, что разница между двумя распределениями велика, а если кросс-энтропия мала, то распределения похожи друг на друга.

Кросс-энтропия определяется как:

где P – распределение истинных ответов, а Q – распределение вероятностей прогнозов модели. Можно показать, что функция кросс-энтропии также получается из MLE, но я не буду утомлять вас большим количеством математики.

Давайте еще упростим это для нашей модели с:
• N – количество наблюдений
• M – количество возможных меток класса (собака, кошка, рыба)
• y – двоичный индикатор (0 или 1) того, является ли метка класса C правильной классификацией для наблюдения O
• p – прогнозируемая вероятность модели

Бинарная классификация

В случае бинарной классификации (M=2), формула имеет вид:

При двоичной классификации каждая предсказанная вероятность сравнивается с фактическим значением класса (0 или 1), и вычисляется оценка, которая штрафует вероятность на основе расстояния от ожидаемого значения.

Визуализация

На приведенном ниже графике показан диапазон возможных значений логистической функции потерь с учетом истинного наблюдения (y = 1). Когда прогнозируемая вероятность приближается к 1, логистическая функция потерь медленно уменьшается. Однако при уменьшении прогнозируемой вероятности она быстро возрастает.

Логистическая функция потерь наказывает оба типа ошибок, но особенно те прогнозы, которые являются достоверными и ошибочными!

Мульти-классовая классификация

В случае мульти-классовой классификации (M>2) мы берем сумму значений логарифмических функций потерь для каждого прогноза наблюдаемых классов.

Кросс-энтропия для бинарной или двух-классовой задачи прогнозирования фактически рассчитывается как средняя кросс-энтропия среди всех примеров. Log loss использует отрицательные значения логарифма, чтобы обеспечить удобную метрику для сравнения. Этот подход основан на том, что логарифм чисел

Задача бинарной классификации

Задача состоит в том, чтобы классифицировать пример как принадлежащий одному из двух классов. Или более точно, задача сформулирована как предсказание вероятности того, что пример принадлежит первому классу, например, классу, которому вы присваиваете целочисленное значение 1, тогда как другому классу присваивается значение 0.

• Конфигурация выходного уровня: один узел с сигмовидной активационной функцией.
• Функция потерь: кросс-энтропия, также называемая логарифмической функцией потерь.

Задача мульти-классовой классификации

Эта задача состоит в том, чтобы классифицировать пример как принадлежащий одному из нескольких классов. Задача сформулирована как предсказание вероятности того, что пример принадлежит каждому классу.

• Конфигурация выходного уровня: один узел для каждого класса, использующий функцию активации softmax.
• Функция потерь: кросс-энтропия, также называемая логарифмической функцией потерь.

Рассмотрев оценку и различные функции потерь, давайте перейдем к роли оптимизаторов в алгоритмах ML.

Оптимизаторы

Чтобы свести к минимуму ошибку или потерю в прогнозировании, модель, используя примеры из обучающей выборки, обновляет параметры модели W. Расчеты ошибок строятся в зависимости от W и также описываются графиком функции затрат J(w), поскольку она определяет затраты/наказание модели. Таким образом, минимизация ошибки также часто называется минимизацией функции затрат.

Но как именно это делается? Используя оптимизаторы.

Оптимизаторы используются для обновления весов и смещений, то есть внутренних параметров модели, чтобы уменьшить ошибку.

Самым важным методом и основой того, как мы обучаем и оптимизируем нашу модель, является метод Градиентного Спуска.

Градиентный Спуск

Когда мы строим функцию затрат J(w), это можно представить следующим образом:

Как видно из кривой, существует значение параметров W, которое имеет минимальное значение J_min. Нам нужно найти способ достичь этого минимального значения.

В алгоритме градиентного спуска мы начинаем со случайных параметров модели и вычисляем ошибку для каждой итерации обучения, продолжая обновлять параметры, чтобы приблизиться к минимальным значениям.

Повторяем до достижения минимума:

В приведенном выше уравнении мы обновляем параметры модели после каждой итерации. Второй член уравнения вычисляет наклон или градиент кривой на каждой итерации.

Градиент функции затрат вычисляется как частная производная функции затрат J по каждому параметру модели W_j, где j принимает значение числа признаков [1, n]. α – альфа, это скорость обучения, определяющий как быстро мы хотим двигаться к минимуму. Если α слишком велико, мы можем проскочить минимум. Если α слишком мало, это приведет к небольшим этапам обучения, поэтому общее время, затрачиваемое моделью для достижения минимума, будет больше.

Есть три способа сделать градиентный спуск:

Пакетный градиентный спуск: использует все обучающие данные для обновления параметров модели в каждой итерации.

Мини-пакетный градиентный спуск: вместо использования всех данных, мини-пакетный градиентный спуск делит тренировочный набор на меньший размер, называемый партией, и обозначаемый буквой «b». Таким образом, мини-пакет «b» используется для обновления параметров модели на каждой итерации.

Вот некоторые другие часто используемые Оптимизаторы:

Стохастический Градиентный Спуск (SGD): обновляет параметры, используя только один обучающий параметр на каждой итерации. Такой параметр обычно выбирается случайным образом. Стохастический градиентный спуск часто предпочтителен для оптимизации функций затрат, когда есть сотни тысяч обучающих или более параметров, поскольку он будет сходиться быстрее, чем пакетный градиентный спуск.

Адаград

Адаград адаптирует скорость обучения конкретно к индивидуальным особенностям: это означает, что некоторые веса в вашем наборе данных будут отличаться от других. Это работает очень хорошо для разреженных наборов данных, где пропущено много входных значений. Однако, у Адаграда есть одна серьезная проблема: адаптивная скорость обучения со временем становится очень маленькой.

Некоторые другие оптимизаторы, описанные ниже, пытаются справиться с этой проблемой.

RMSprop

RMSprop – это специальная версия Adagrad, разработанная профессором Джеффри Хинтоном в его классе нейронных сетей. Вместо того, чтобы вычислять все градиенты, он вычисляет градиенты только в фиксированном окне. RMSprop похож на Adaprop, это еще один оптимизатор, который пытается решить некоторые проблемы, которые Адаград оставляет открытыми.

Адам означает адаптивную оценку момента и является еще одним способом использования предыдущих градиентов для вычисления текущих градиентов. Адам также использует концепцию импульса, добавляя доли предыдущих градиентов к текущему. Этот оптимизатор получил довольно широкое распространение и практически принят для использования в обучающих нейронных сетях.

Вы только что ознакомились с кратким обзором оптимизаторов. Более подробно об этом можно прочитать здесь.

Я надеюсь, что после прочтения этой статьи, вы будете лучше понимать что происходит, когда Вы пишите следующий код:

Спасибо за проявленный интерес!

Источник

Руководство хакера по нейронным сетям. Глава 2: Машинное обучение. Более традиционный подход: Функции потерь

Мы публикуем перевод последней из существующих частей «книги». Обязательно будем следить за блогом автора и продолжим публикации этого материала, как только они появятся.

Теперь, когда мы понимаем основы того, как эти схемы работают с данными, давайте применим более традиционный подход, который вы наверняка уже видели где-нибудь в интернете и в других уроках и книгах. Вы вряд ли встретите, чтобы люди слишком много рассказывали о характеристиках силы. Вместо этого алгоритмы обучения машины обычно описывают с точки зрения функций потерь (или функций затрат, или целей).

По мере того, как я составляю эти математические формулы, я бы хотел начать относиться более внимательно к тому, как мы называем наши переменные и параметры. Я бы хотел, чтобы эти уравнения выглядели так же, как вы могли видеть их в книгах или других уроках, поэтому я начну использовать более стандартные наименования.

Пример: 2-мерный метод опорных векторов

Давайте начнем с примера двухмерного SVM. Нам дан набор данных, состоящий из N примеров (xi0,xi1) и их соответствующие метки yi, которые могут иметь значения +1/−1 для положительных и отрицательных примеров соответственно. Важней всего то, что, как вы помните, у нас есть три параметра (w0,w1,w2). Функция потерь SVM в таком случае определяется следующим образом:

Обратите внимание, что это выражение всегда положительное, ввиду определения порогового значения от нуля в первом выражении и возведении в квадрат при регуляризации. Смысл заключается в том, что нам нужно, чтобы это выражение имело как можно меньшее значение. Прежде чем мы возьмемся за его тонкости, давайте сначала представим его в виде кода:

Обратите внимание, как работает это выражение: оно измеряет, насколько плох наш классификатор SVM. Давайте рассмотрим это более подробно:

Функция затрат – это выражение, которое измеряет насколько плохо работает ваш классификатор. Если набор данных обучения классифицируется идеально, затраты (за исключением регуляризации) будут равны нулю.
Обратите внимание, что последним элементом потерь являются затраты регуляризации, что говорит о том, что параметры нашей модели должны иметь небольшие значения. Ввиду этого элемента, затраты фактически никогда не будут нулевыми (так как это будет означать, что все параметры модели, за исключением систематической ошибки, фактически равны нулю), но чем ближе мы подберемся, тем лучше будет работать наш классификатор.

Большинство функций затрат в Обучении машины состоят из двух частей:

1. Часть, которая измеряет, насколько хорошо модель соответствует данным, и 2: Регуляризация, которая измеряет принцип того, насколько сложной или удобной является модель.

Надеюсь, я убедил вас в том, что чтобы получить очень хороший SVM, нам, на самом деле, нужно сделать, чтобы затраты были как можно меньше. Звучит знакомо? Мы точно знаем, что делать: функция затрат, записанная выше – это наша схема. Мы будем проводить все примеры через схему, вычислять обратный проход и обновлять все параметры таким образом, чтобы схема выдала нам более низкое значение затрат в будущем. В частности, мы будем рассчитывать градиент, после чего обновлять параметры в обратном направлении от градиента (так как мы хотим сделать затраты низкими, а не высокими).

Источник

Стэнфордский курс: лекция 3. Функция потерь и оптимизация

На прошлой лекции мы разобрались, как работает классификация изображений. Что же может «потеряться» в процессе и можно ли этого избежать? Из сегодняшнего урока вы узнаете, как сделать обучение классификатора более точным и эффективным с помощью функции потерь и оптимизации.

Что делать, если “cat” классифицируется как “dog”

Вспомним о линейном классификаторе. Мы выяснили, что он состоит из двух частей: входных данных X и набора весов W. Но мы не раскрыли главный вопрос: как именно нужно использовать обучающие данные, чтобы определить значения W, с которыми классификатор будет работать лучше всего?

Рассмотрим простой пример. Пусть обучающие данные состоят всего из трёх изображений и 10 исходных классов, а параметры W выбраны произвольно. Вы можете заметить, что некоторые из полученных оценок сильно выше или ниже, чем другие:

Например, изображение с кошкой получило оценку 2.9 для метки “cat” и 8.02 для метки “dog”. Картинка с лягушкой и вовсе получила отрицательную оценку для своего класса. А фото с автомобилем действительно достигает наивысшей оценки для метки “automobile”. Это говорит о том, что наш классификатор работает не очень хорошо.

Чтобы автоматически определить, какие значения W будут лучшими, нам нужен какой-то способ количественной оценки «непригодности» для любого W. И этим способом будет специальная функция, которая принимает на вход значения W и определяет, насколько плохо они работают. В машинном обучении она называется функцией потерь (loss function).

Мы рассмотрим несколько примеров, которые вы можете использовать для классификации изображений. Если функция потерь выдаёт слишком большие числа — значит, выбранные параметры работают плохо. Поиск правильных весов W, при которых функция достигает минимума, называется оптимизацией.

Функция потерь. Немного математики

Упростим задачу и из 10 классов оставим только три. Для линейного классификатора f(x,W) = Wx с произвольными W получим следующее:

Оценки снова не очень хорошие.

Дадим более конкретное определение функции потерь. Обычно у нас есть набор из N значений обучающих данных X и y, где X — исходные изображения (а точнее, значения их пикселей), а y — те категории, которые алгоритм должен предсказать (их называют метки классов или целевые переменные). В процессе классификации мы получаем оценки от 1 до 10 (или от 0 до 9, в зависимости от языка программирования) для каждой из категорий, которые показывают вероятность принадлежности изображения x_i к классу y_i.

Обозначим функцию потерь как L_i. Наш классификатор f берёт пример x_i, весовую матрицу W и делает прогноз для класса y_i. Функция потерь L_i обрабатывает полученные результаты, сравнивая их с заранее известными истинными метками. Это поможет оценить, насколько плохо или хорошо выполняется прогноз для текущего обучающего примера x_i.

Наконец, общие потери L можно посчитать как среднюю сумму потерь для всех обучающих данных:

Пример работы функции потерь

Пример, который хорошо подойдёт для классификации изображений, — функция мультиклассовых потерь SVM (Support Vector Machine, метод опорных векторов). Разберёмся, как она работает.

Снова возьмём наши обучающие примеры x_i и метки классов y_i. Представим прогнозы классификатора (оценки) в виде векторов: s = f(x_i, W). Для каждого отдельного примера просуммируем значения оценок всех y, кроме истинной метки y_i. То есть, мы получим сумму значений всех неправильных категорий.

Теперь посчитаем разницу между ложными прогнозами и истинной оценкой: s_j − s_yi; j≠y_i. Если истинная оценка больше, чем сумма всех неправильных прогнозов плюс некоторый дополнительный «зазор» (установим его равным 1) — значит, полученный балл для правильной категории намного превосходит любую ошибочную оценку. Это и будет наша функция потерь.

В символьном виде это выглядит так:

То же самое можно представить в виде функции максимума (вторая строка на картинке выше). Посмотрим на пример с нашими тремя классами:

Истинная метка для изображения — “cat”, её оценка — 3.2. Мы вычитаем правильную оценку из всех неправильных и сравниваем: если разность больше нуля, значит, метка определена ошибочно и потери присутствуют, если меньше — всё хорошо, потери нулевые. После этого суммируем результаты. Для класса “cat” значение функции потерь равно 2.9.

То же самое для автомобиля:

В этом случае потери оказались нулевыми, потому что метка определена корректно. Но вот для лягушки всё совсем плохо:

Если мы посчитаем общие потери по всем классам, то получим следующее:

Классификатор получил оценку 5.27 — значит, он работает неважно. Из предыдущих примеров ясно, что потери должны стремиться к нулю.

Разминка: вопросы и ответы

Попробуйте ответить на несколько вопросов, которые помогут вам интуитивно понять, что же делают потери. Считать ничего не надо, только немного подумать:

1. Что произойдёт, если совсем немного изменить оценки классов для изображения с машиной? (Ответ: ничего, потери останутся нулевыми.)

2. Какие могут быть максимальные и минимальные SVM-потери? (Ответ: 0 и ∞. Верхней границы для потерь нет, а вот нижняя ограничена нулём.)

3. Если все оценки будут примерно равны нулю и примерно равны между собой, чему будут равны потери? (Ответ: значение потерь будет на единицу меньше, чем число классов. Не забудьте, что помимо s_j − s_yi есть ещё + 1.)

4. Как изменятся потери, если суммировать все оценки, включая истинную метку y_i? (Ответ: увеличатся на единицу, потому что s_yi − s_yi + 1 = 1.)

5. Что будет, если для общих потерь вместо суммы использовать среднее значение? (Ответ: ничего не изменится, по сути эта формула — и есть поиск среднего.)

Пишите в комментариях, получилось ли у вас самостоятельно ответить на вопросы. Если возникли затруднения — укажите, что вам показалось непонятным, и мы обязательно всё разъясним.

Для наглядности — пример кода на Python, иллюстрирующий работу функции потерь:

Как видите, описанный выше алгоритм реализуется в несколько строк. Чтобы получить минимальные потери, можно поместить эту функцию в цикл, подбирая и отправляя в неё различные W.

Теперь ещё один вопрос — представьте, что вам повезло и вы нашли веса W, при которых потери оказались нулевыми. Будут ли значения W уникальными?

Правильный ответ — нет. Не забудьте, что W — это матрица, для которой работают правила линейной зависимости. Поэтому вы получите нулевые потери и для 2W, и для 4W, и так далее.

Проблема переобучения

Основной результат, который даёт функция потерь — оценка того, насколько хорошо классификатор работает на обучающей выборке. Но мы помним, что главная цель машинного обучения — заставить алгоритм правильно работать на тестовой выборке. Поэтому хорошо справляющийся с обучающими данных метод может совершенно не работать на новых объектах. Это явление называется «переобучение».

Представим, что наш датасет состоит из некоторых точек. Если мы заставим алгоритм идеально подстраиваться под каждую из точек с нулевыми потерями, то график классификации превратится в извилистую кривую:

Но это плохой результат, потому что нам важна точность на тестовой выборке, а не на обучающей. Если мы проверим работу на новых данных (отмечены зелёными квадратами на рисунке ниже), то синяя кривая станет абсолютно неправильной:

Скорее всего, классификатор должен найти какую-то прямую линию, которая примерно соответствовала бы и тем, и другим данным:

В этом заключается фундаментальная проблема машинного обучения. Для её решения обычно применяют различные методы регуляризации.

Регулируй и властвуй

Выше было сказано, что есть множество вариантов оптимальных весов W. Но как именно функция потерь должна выбрать из них один?

Специально для этого вводится параметр регуляризации — он заставляет модель выбирать такие веса W, при которых решение будет наиболее простым. Понятие простоты зависит от задачи, решаемой алгоритмом.

Эта идея относится к принципу «бритвы Оккама» — если ваши наблюдения можно объяснить несколькими гипотезами, следует выбрать из них самую простую. В случае классификации нужно выбирать наиболее простое разделение данных — в примере выше это должна быть прямая линия, а не кривая.

Итак, наша функция теперь состоит из двух компонент: потерь на обучающих данных (суммы всех L_i) и потерь регуляризации R(W):

Гиперпараметр лямбда отвечает за то, насколько сильно регуляризация будет влиять на модель. Подробнее о гиперпараметрах мы говорили на прошлой лекции.

Теперь посмотрим, какие бывают функции R(W) и как они работают.

Примеры регуляризации

На практике используется довольно много видов регуляризации, но мы приведём только наиболее популярные.

Регуляризация L2

Применяется в машинном обучении довольно часто. Это обычная евклидова норма параметров W (иногда берётся квадрат или половина квадрата нормы). Идея в том, что вы просто добавляете «штраф» к весам, чтобы их значения не оказались слишком большими. Функция R(W) выглядит следующим образом:

Регуляризация L1

L1 использует манхэттенскую норму W и тоже добавляет штраф к весовым коэффициентам. С регуляризацией L1 матрица параметров будет более разреженной.

Эластичная сеть

Это комбинация регуляризаций L1 и L2:

Существуют и другие виды регуляризаций, такие как максимум нормы, Dropout, пакетная нормализация и стохастическая глубина. Они применяются в более узких задачах глубокого обучения, которые мы рассмотрим на следующих лекциях.

Больше примеров

Если вы всё равно не поняли, как работает регуляризация, — не волнуйтесь. Сейчас мы объясним на ещё более простом примере.

Возьмём примитивный набор обучающих данных x, состоящий из четырёх единиц. Также создадим два вектора весов w₁=[1,0,0,0] и w₂=[0.25, 0.25, 0.25, 0.25]. Поскольку мы рассматриваем случай линейной классификации f(x,W) = Wx, то можем увидеть, что если умножить любой из векторов w₁ или w₂ на вектор x, результат будет одинаковый:

Внимание, вопрос: какой из этих двух векторов должен выбрать регуляризатор L2?

Ответ: вектор w₂, поскольку он имеет наименьшую норму.

На предыдущей лекции мы упоминали, что веса W определяют, насколько конкретный элемент обучающей выборки соответствует одному из классов. Цель регуляризации L2 — убедиться, что это правило выполняется для всех элементов. В примере выше значения вектора x одинаковые и явно должны относиться к одному классу, поэтому и веса для них должны быть равны.

Оптимизация

Теперь мы знаем, что значения параметров W надо выбирать с умом. Но мы всё ещё не нашли ответ на вопрос: «Как именно нужно искать те самые веса W, которые минимизируют потери?» Рассмотрим несколько примеров.

Представьте, что вы идёте по большой долине среди гор, полей и рек. И высота каждого объекта этого ландшафта соответствует объёму потерь, которые появляются при определённой настройке W. Поскольку вы хотите достичь наименьших потерь, вам каким-то образом нужно найти самую низкую точку в долине.

К сожалению, не существует специального минимизатора, который телепортирует вас к этой точке. Поэтому на практике процесс оптимизации выглядит как набор итеративных операций, где в качестве начальной точки берётся случайное решение, которое вы начинаете постепенно улучшать.

Стратегия 1. Первое, что приходит в голову — рандомный поиск. Попробуем просто генерировать случайные значения W и смотреть, насколько хорошо они работают. Спойлер: это плохая идея, которую не стоит применять на практике.

Например, для 10 классов датасета CIFAR-10 вероятность того, что вы найдёте подходящие параметры W, составит 10%. И это очень плохой показатель.

Стратегия 2. Вернёмся к нашей долине. Возможно, вы не видите прямого пути к её самой низкой точке, но вы можете оценить геометрию ландшафта и предположить, в каком направлении следует идти.

Стоя на склоне, вы начнёте искать спуск.

В математике аналогом поиска спуска является производная. Взяв одномерную функцию f(x) и вычислив её производную в какой-либо точке, мы можем определить, возрастает или убывает функция в этой точке.

Но в машинном обучении x обычно является вектором, поэтому обобщённым аналогом спуска будет вектор частных производных или градиент. Градиент указывает направление возрастания функции, поэтому для поиска её убывания используют отрицательный градиент.

В поисках градиента

Итак, теперь у нас есть вектор параметров W, и наша цель — вычислить вектор градиента 𝛁W. Можно просто взять производные для каждого отдельного элемента. Так мы узнаем, насколько изменятся потери, если мы переместимся на бесконечно малую величину h в одном из направлений координат. Такой подход называется «числовой градиент».

В большинстве реальных случаев эти расчёты будут слишком медленными. Ведь в обучающих данных иногда содержатся миллионы примеров, а алгоритмы их обработки могут быть гораздо сложнее. Для решения проблемы существует так называемый «аналитический градиент».

Если вы когда-то проходили курс математического анализа, то знаете, что благодаря этим двум людям вы можете просто записать выражение потерь, а затем использовать магию дифференциального исчисления и сразу же найти необходимый градиент.

Исаак Ньютон (слева) и Готфрид Вильгельм Лейбниц (справа)

Это становится возможным благодаря аналитической производной, которая не требует подстановки значений, а работает сразу со всей функцией. Здесь стоит вспомнить определение производной через предел.

Определение производной через предел

На практике лучше пользоваться аналитическим градиентом, но проверять решение с помощью числового. Это называется градиентной проверкой.

Градиентный спуск

Теперь вы знаете, как вычисляется градиент. Осталось совсем немного теории: мы плавно подошли к очень простому алгоритму, который лежит в основе обучения даже самых больших и сложных нейросетей, — градиентному спуску.

Сначала мы инициализируем W случайными значениями, вычисляем потери и градиент, а затем обновляем веса в соответствии с отрицательным направлением градиента.

step_size — это гиперпараметр, задающий величину шага, на которую мы смещаемся при каждом новом вычислении градиента. Иногда его также называют скоростью обучения. И это одна из самых важных настроек в машинном обучении.

Посмотрим, как это выглядит визуально. На графике ниже большая разноцветная область — это наша функция потерь. Участок красного цвета — минимальные значения, которых мы хотим достигнуть, а синий и зелёный означают высокие потери.

Мы начинаем с исходного W в рандомной точке и вычисляем отрицательное направление градиента, которое должно шаг за шагом привести нас к минимальным потерям.

Это самый тривиальный пример пошагового градиентного спуска. Обычно на практике используются чуть более сложные приёмы, которые мы рассмотрим в следующих лекциях.

Стохастический градиентный спуск

Когда вы вычисляете градиент 𝛁W на каждом шаге, вам приходится учитывать все обучающие примеры в наборе данных. Потому что 𝛁W — это сумма отдельных градиентов, вызванных каждым элементом обучения. Но их число может доходить до миллиона, и в этом случае обычный градиентный спуск будет работать очень медленно. Поэтому на практике часто используется стохастический градиентный спуск.

Его отличие в том, что на каждом шаге потери и градиент вычисляются не по всему датасету, а на небольшом наборе примеров — мини-пакете (а иногда всего на одном примере). То есть, параметры W обновляются после обработки нескольких объектов, а не после прохода по всему датасету. Это значительно ускоряет процесс оптимизации, а в код добавляется всего одна строчка:

Вы можете посмотреть, как работает градиентный спуск, в веб-демонстрации. Попробуйте поменять веса, величину шага или положение точек и посмотреть, как будет проходить оптимизация.

Надеемся, что погружение в настройку и оптимизацию классификации было полезным, ведь эти вещи в дальнейшем помогут вам создавать сложные нейросети. В следующий раз мы наконец-то познакомимся с основами нейросетей и поговорим о методе обратного распространения ошибки.С оригинальной лекцией можно ознакомиться на YouTube.

Следующие лекции (список будет дополняться по мере появления материалов):

С оригинальной лекцией можно ознакомиться на YouTube.

Источник