softmax function

softmax function (tsz. softmax functions)

1. (informatika) softmax függvény

A softmax függvény egy matematikai függvény, amelyet széles körben alkalmaznak a gépi tanulásban, különösen klasszifikációs problémáknál. Fő célja, hogy egy valós számokat tartalmazó vektort valószínűségi eloszlássá alakítson. Ez azt jelenti, hogy minden kimeneti érték:

• pozitív lesz,
• és az összegük pontosan 1.

Legyen adott egy valós számokat tartalmazó vektor:

$${\displaystyle \mathbf {z} =}$$

A softmax függvény minden ${\textstyle z_{i}}$-hez a következő értéket rendeli:

$${\displaystyle {\text{softmax}}(z_{i})={\frac {e^{z_{i}}}{\sum _{j=1}^{K}e^{z_{j}}}}}$$

Ez azt jelenti, hogy minden komponens exponenciális értékét vesszük, és elosztjuk az összes komponens exponenciális összegével.

• Az exponenciálás kiemeli a nagyobb értékeket.
• Az összeggel való osztás garantálja, hogy a végeredmény normalizált valószínűségeloszlás lesz.

Ha pl. egy neurális háló utolsó rétegének kimenete:

$${\displaystyle }$$

akkor softmax után kb. így alakul:

$${\displaystyle }$$

A legnagyobb kimenethez a legnagyobb valószínűség tartozik.

A softmax az utolsó réteg aktivációja, ha a modell több kategória közül választ (pl. képfelismerés: macska, kutya, autó…).

A softmax kimenete együtt használható a keresztentrópia veszteségfüggvénnyel, ami összehasonlítja a modell által adott valószínűségi eloszlást a valódi (one-hot) címkével.

A softmax révén minden kimenet értelmezhető úgy, mint annak valószínűsége, hogy a bemenet egy adott osztályba tartozik.

A nagy értékek miatt előfordulhat túlcsordulás (overflow) az exponenciálásnál. Ezért gyakori technika:

$${\displaystyle {\text{softmax}}(z_{i})={\frac {e^{z_{i}-\max(z)}}{\sum _{j}e^{z_{j}-\max(z)}}}}$$

Ez nem változtatja meg az eredményt, de csökkenti a számítási hibát.

Legyen:

$${\displaystyle z=}$$

Először:

$${\displaystyle e^{3.0}=20.09,\quad e^{1.0}=2.72,\quad e^{0.2}=1.22}$$

Összeg:

$${\displaystyle 20.09+2.72+1.22=24.03}$$

Softmax értékek:

Értelmezés sikertelen (formai hiba): {\displaystyle \left ≈ }

A softmax függvény deriváltját gyakran kell számolni a visszaterjesztés (backpropagation) során.

A derivált mátrix (Jacobi-mátrix):

$${\displaystyle {\frac {\partial {\text{softmax}}_{i}}{\partial z_{j}}}={\text{softmax}}_{i}\cdot (\delta _{ij}-{\text{softmax}}_{j})}$$

Ahol ${\textstyle \delta _{ij}}$ a Kronecker-delta (1, ha ${\textstyle i=j}$, egyébként 0).

• softmax function - Szótár.net (en-hu)
• softmax function - Sztaki (en-hu)
• softmax function - Merriam–Webster
• softmax function - Cambridge
• softmax function - WordNet
• softmax function - Яндекс (en-ru)
• softmax function - Google (en-hu)
• softmax function - Wikidata
• softmax function - Wikipédia (angol)