stochastic gradient descent

stochastic gradient descent (tsz. stochastic gradient descents)

1. (informatika) A stochastic gradient descent (röviden: SGD, magyarul: sztochasztikus gradiens csökkenés) egy optimalizációs algoritmus, amelyet széles körben használnak gépi tanulás és különösen mélytanulás során.

Célja: megtalálni egy modell legjobb paramétereit (pl. súlyokat), úgy hogy minimalizálja a veszteségfüggvényt (loss function), azaz a modell hibáját.

• Lineáris és logisztikus regresszió tanítására
• Neurális hálók tanítására (backpropagation)
• Gépi tanulási modellek általános optimalizálására

A tanulás során van egy veszteségfüggvény ${\textstyle L(\theta )}$, amit szeretnénk minimalizálni a paraméterek ${\textstyle \theta }$ megváltoztatásával.

A gradiens megmutatja, milyen irányba kell lépnünk ahhoz, hogy a veszteség csökkenjen:

$${\displaystyle \theta \leftarrow \theta -\eta \cdot \nabla _{\theta }L(\theta )}$$

• ${\textstyle \eta }$: tanulási ráta (learning rate)
• ${\textstyle \nabla _{\theta }L(\theta )}$: a veszteségfüggvény gradiense a paraméterek szerint

1. Inicializáljuk a súlyokat véletlenszerűen

2. Véletlenszerűen kiválasztunk egy mintát a tanítóhalmazból

3. Kiszámítjuk a veszteségfüggvény gradiensét az adott mintára

4. Frissítjük a súlyokat:

   $${\displaystyle w_{i}\leftarrow w_{i}-\eta \cdot {\frac {\partial L}{\partial w_{i}}}}$$

5. Ismételjük sok iteráción (epochon) keresztül

• ⚡ Gyors – gyakran sokkal hamarabb talál elfogadható megoldást
• 🔁 Online tanulásra alkalmas – folyamatosan érkező adatokon is tanul
• 🌱 Jobban kikerüli a lokális minimumokat a véletlen mozgás miatt

Hozzáad egy „mozgási tehetetlenséget”:

$${\displaystyle v_{t}=\gamma v_{t-1}+\eta \nabla _{\theta }L(\theta )\quad ;\quad \theta =\theta -v_{t}}$$

• ${\textstyle \gamma }$: momentum faktor (pl. 0.9)
• Segít kisimítani a tanulást és gyorsabban haladni lejtők mentén

A tanulási ráta csökkentése az idő múlásával:

• Step decay, Exponential decay, 1/t decay

import numpy as np

# Generált adat
X = np.random.rand(100, 1)
y = 3 * X + np.random.randn(100) * 0.1

w = 0.0  # Kezdeti súly
lr = 0.1  # Tanulási ráta

for epoch in range(100):
    for i in range(len(X)):
        xi = X
        yi = y
        y_pred = w * xi
        error = y_pred - yi
        grad = error * xi
        w -= lr * grad

print("Súly:", w)

• Mindig normalizáld az adatokat tanítás előtt!
• A mini-batch SGD szinte minden mélytanulási modellben bevált
• Kombináld tanulási ráta csökkentéssel és momentum-mal
• Monitorozd a veszteség görbéjét (loss curve) → ha zajos, állíts!

• stochastic gradient descent - Szótár.net (en-hu)
• stochastic gradient descent - Sztaki (en-hu)
• stochastic gradient descent - Merriam–Webster
• stochastic gradient descent - Cambridge
• stochastic gradient descent - WordNet
• stochastic gradient descent - Яндекс (en-ru)
• stochastic gradient descent - Google (en-hu)
• stochastic gradient descent - Wikidata
• stochastic gradient descent - Wikipédia (angol)