Softmax

Згладжений arg max

Назва «softmax» вводить в оману — функція не є згладженим максимумом (гладке наближення до функції максимуму), а є скоріше гладким наближенням до функції arg max — аргумента максимального значення функції. Насправді, термін «softmax» також використовується для тісно пов'язаної функції LogSumExp, яка є згладженим максимумом. З цієї причини дехто вважає кращим більш точний термін «softargmax», але термін «softmax» є прийнятим у машинному навчанні. У цьому розділі використовується термін «softargmax», щоб підкреслити цю інтерпретацію.

Теорія ймовірностей

У теорії ймовірностей значення функції softargmax можна використовувати для представлення категорійного розподілу, тобто розподілу ймовірностей для K різних можливих результатів.

Статистична механіка

У статистичній механіці функція Softargmax відома як розподіл Больцмана (або розподіл Гіббса):^:7набір індексів $1,\dots ,k$ — мікростани системи; входи $z_i$ — енергії цих станів; знаменник відомий як статистична сума, часто позначається як Z; а коефіцієнт β називається термодинамічна бета, або обернена температура.

Функція softmax використовується в різних методах багатокласової класифікації, таких як: мультиноміальна логістична регресія (також відома як softmax регресія)^:206–209, багатокласовий лінійний дискримінантний аналіз, наївних баєсівих класифікаторах та штучних нейронних мережах. Зокрема, у мультиноміальній логістичній регресії та лінійному дискримінантному аналізі вхідними даними функції є результати K різних лінійних функцій, а прогнозована ймовірність для j-го класу з урахуванням вектора вибірки x і вектора ваги w є:

$P(y=j\mid 𝐱)=\frac{e^{{𝐱}^{𝖳}{𝐰}_j}}{\sum k=1K{e}^{{𝐱}^{𝖳}{𝐰}_k}}$

Це можна розглядати як композицію K лінійних функцій $𝐱\mapsto {𝐱}^{𝖳}{𝐰}_1,\dots ,𝐱\mapsto {𝐱}^{𝖳}{𝐰}_K$ і функції softmax (де ${𝐱}^{𝖳}𝐰$ позначає внутрішній добуток $𝐱$ і $𝐰$). Операція еквівалентна застосуванню лінійного оператора, визначеного за допомогою $𝐰$ до векторів $𝐱$, перетворюючи таким чином вхідний, можливо, багатовимірний, вектор аргументів на вектор у K -вимірному просторі ${ℝ}^K$.

Нейронні мережі

Функція softmax часто використовується в останньому шарі класифікаторів на основі нейронних мереж. Такі мережі зазвичай навчаються за допомогою перехресної ентропії, що дає нелінійний варіант поліноміальної логістичної регресії.

Оскільки функція переводить вектор $𝐪$ і певний індекс $i$ в дійсне число, то похідна повинна враховувати ще й індекс:

$\frac{\partial }{\partial q_k}\sigma (𝐪,i)=\sigma (𝐪,i)({\delta }_{ik}-\sigma (𝐪,k\left)\right).$

Цей вираз є симетричним відносно індексів $i$ та $k$, тому він також може бути виражений як

$\frac{\partial }{\partial q_k}\sigma (𝐪,i)=\sigma (𝐪,k)({\delta }_{ik}-\sigma (𝐪,i\left)\right).$

Тут для простоти використовується символ Кронекера (похідна від сигмоїдної функції виражається через саму функцію).

Якщо функція масштабується за допомогою параметра $\beta$, то ці вирази потрібно помножити на $\beta$.

Див. Мультиноміальний logit для ймовірнісної моделі, яка використовує функцію активації softmax.

Навчання з підкріпленням

У сфері навчання з підкріпленням функція softmax може використовуватися для перетворення значень у ймовірності дії. Зазвичай використовується наступна функція:

$P_t\left(a\right)=\frac{\exp \left(q_t\right(a)/\tau )}{\sum i=1n\exp \left(q_t\right(i)/\tau )},$

де цінність дії $q_t\left(a\right)$ відповідає очікуваній винагороді за наступну дію $a$, а $\tau$ називається параметром температури (натяк на статистичну механіку). Для високих температур ($\tau \to \infty$), всі дії мають майже однакову ймовірність, а чим нижча температура, тим більше очікувана винагорода впливає на ймовірність обирання дії. Для низької температури ($\tau \to 0^{+}$), ймовірність дії з найбільшою очікуваною винагородою наближається до 1.

Геометрично функція softmax відображає векторний простір ${ℝ}^K$ на межі $(K-1)$-вимірного симплекса, зменшуючи розмірність на одиницю (діапазоном значень стає $(K-1)$-вимірний симплекс в $K$-вимірному просторі), через лінійне обмеження, що сума елементів вихідного вектору дорівнює 1, що означає, що він лежить на гіперплощині.

По головній діагоналі $(x,x,\dots ,x),$ softmax стає просто рівномірним розподілом, $(1/n,\dots ,1/n)$: рівні ваги дають рівні ймовірності.

Загалом, softmax є інваріантним щодо зсуву на одне й те саме значення в кожній координаті: додавання $𝐜=(c,\dots ,c)$ до вектору вхідних значень $𝐳$ дає $\sigma (𝐳+𝐜)=\sigma \left(𝐳\right)$, оскільки softmax множить кожен показник на один і той же коефіцієнт, $e^c$ (тому що $e^{z_i+c}=e^{z_i}\cdot e^c$), тобто співвідношення не змінюється:

$\sigma (𝐳+𝐜{)}_j=\frac{e^{z_j+c}}{\sum k=1K{e}^{z_k+c}}=\frac{e^{z_j}\cdot e^c}{\sum k=1K{e}^{z_k}\cdot e^c}=\sigma (𝐳{)}_j.$

Геометрично, softmax є постійним уздовж діагоналей: це відповідає тому, що вихідне значення softmax не залежить від зсуву вхідних значень. Можна нормалізувати вхідні бали, якщо сума дорівнює нулю (відняти середнє: $𝐜$, де $c=\frac{1}{n}\sum z_i$), тоді softmax відображає гіперплощину точок, сума яких дорівнює нулю, $\sum z_i=0$, до відкритого симплекса додатних значень, сума яких дорівнює 1: $\sum \sigma (𝐳{)}_i=1$, аналогічно тому, як експонента відображає 0 на 1, $e^0=1$.

Але softmax не є інваріантним відносно масштабування. Наприклад, $\sigma \left(\right(0,1\left)\right)=(1/(1+e),e/(1+e\left)\right)$ але

$\sigma \left(\right(0,2\left)\right)=(1/(1+e^2),e^2/(1+e^2\left)\right).$

Функція softmax — це градієнт функції LogSumExp — згладженого максимуму.

$\frac{\partial }{\partial z_i}\mathrm{LSE}\left(𝐳\right)=\frac{\exp z_i}{\sum j=1K\exp z_j}=\sigma (𝐳{)}_i, for i=1,\dots ,K,𝐳=(z_1,\dots ,z_K)\in {ℝ}^K,$

де функція LogSumExp визначена як $\mathrm{LSE}(z_1,\dots ,z_n)=\log (\exp (z_1)+\cdots +\exp (z_n\left)\right)$.

Якщо ми візьмемо вектор вхідних значень [1, 2, 3, 4, 1, 2, 3], то softmax цього вектору буде дорівнювати [0,024, 0,064, 0,175, 0,475, 0,024, 0,064, 0,175]. Результат застосування функції має найбільшу вагу там, де «4» у векторі вхідних даних. Це і є найчастішою метою застосування функції — відокремлення найбільших значень і придушення значень, що значно нижчі за максимальне. Але варто зауважити: softmax не є інваріантним відносно масштабування, тому якби вхідні дані були [0,1, 0,2, 0,3, 0,4, 0,1, 0,2, 0,3] (сума чого становить 1,6), softmax став би [0,125, 0,138, 0,153, 0,169, 0,153 0,125, 0,138, 0,153]. Це показує, що для значень від 0 до 1 softmax фактично деакцентує максимальне значення (зверніть увагу, що 0,169 не тільки менше 0,475, це також менше, ніж початкове відношення 0,4/1,6=0,25).

Коду мовою Python для обчислення для цього прикладу:

>>> import numpy as np
>>> a = [1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0]
>>> np.exp(a) / np.sum(np.exp(a)) 
array([0.02364054, 0.06426166, 0.1746813, 0.474833, 0.02364054,
       0.06426166, 0.1746813])