empirical risk minimization

empirical risk minimization (tsz. empirical risk minimizations)

1. (informatika) Empirical Risk Minimization (ERM) a gépi tanulás egyik alapelve, amely meghatározza, hogyan tanuljon meg egy modell egy adott feladatra a bemeneti adatokból. Az ERM a valószínűségi tanuláselmélet központi fogalma, és szinte minden klasszikus és modern tanulóalgoritmus elméleti hátterében megtalálható, beleértve a logisztikus regressziót, SVM-et, neurális hálózatokat stb.

Tegyük fel, hogy szeretnél egy modellt, ami megmondja, hogy egy email spam-e. Ehhez példákat kapsz:

(x₁, y₁), (x₂, y₂), ..., (xₙ, yₙ)

ahol:

• xᵢ a bemenet (pl. email szöveg jellemzői),
• yᵢ a címke (pl. 0 = nem spam, 1 = spam).

A cél: olyan függvényt találni, amely az x bemenethez helyes y választ ad. Ez azt jelenti, hogy szeretnéd minimalizálni a hibás válaszok számát.

A risk, vagyis kockázat egy függvény, ami megmondja, hogy egy tanulómodell mennyire rossz átlagosan:

Valódi kockázat (true risk)

$${\displaystyle R(f)=\mathbb {E} _{(x,y)\sim {\mathcal {D}}}}$$

ahol:

• f(x) a modell által adott válasz,
• y a valódi címke,
• ℓ a veszteségfüggvény (loss function) – például:
  • 0-1 loss: 1, ha rossz a válasz, 0, ha jó,
  • MSE: ${\textstyle (f(x)-y)^{2}}$,
  • Cross-entropy: log alapú büntetés valószínűségekre.

DE: az eloszlás 𝓓 ismeretlen, ezért nem tudjuk kiszámolni a valódi kockázatot.

Ezért becsüljük az eloszlást a tanulási mintán keresztül:

$${\displaystyle {\hat {R}}(f)={\frac {1}{n}}\sum _{i=1}^{n}\ell (f(x_{i}),y_{i})}$$

Ez az empirikus kockázat, vagyis a tanulómodell teljesítménye a konkrét tanulási adatokon.

Empirical Risk Minimization = válaszd azt a f függvényt, ami minimalizálja az empirikus kockázatot.

Formálisan:

$${\displaystyle f^{*}=\arg \min _{f\in {\mathcal {F}}}{\hat {R}}(f)}$$

ahol 𝓕 a tanulási függvények osztálya (pl. lineáris modellek, neurális hálók stb.).

Cél: megtanulni f(x) = wᵀx + b alakú modellt.

Használjuk az MSE veszteséget:

$${\displaystyle {\hat {R}}(f)={\frac {1}{n}}\sum _{i=1}^{n}(f(x_{i})-y_{i})^{2}}$$

ERM szerint ezt kell minimalizálnunk, ami analitikusan is megoldható (normál egyenletek), vagy gradiens módszerrel.

ERM hajlamos arra, hogy túl jól megtanulja a tanulóadatokat, és rosszul teljesítsen új adatokon (generalizációs hiba nő). Ez az overfitting jelenség.

Bevezetünk egy büntetőtagot, hogy korlátozzuk a modellek komplexitását:

$${\displaystyle {\hat {R}}_{\text{reg}}(f)={\hat {R}}(f)+\lambda \cdot \Omega (f)}$$

ahol:

• Ω(f) = regularizációs tag (pl. ‖w‖²),
• λ = regularizációs súly.

Ez az alapja a ridge regression, lasso, és a regularizált neurális hálók (pl. weight decay) módszereknek.

• ERM: fix modellosztályból választ a legjobban teljesítőt.
• SRM: több modellosztály közül választ, figyelembe véve a komplexitást és az elméleti kockázatot is (pl. VC-dimenzió).

• Logisztikus regresszió – cross-entropy loss
• SVM – hinge loss + regularization
• Neurális háló – cross-entropy / MSE loss
• Boosting algoritmusok – additív loss minimalizálása

Empirical Risk Minimization (ERM) az a módszer, amely szerint a gépi tanulási modell azt az értékadó függvényt választja, amely a legjobban teljesít a tanulóadatokon. Bár egyszerű és hatékony, túlzott alkalmazása overfittinghez vezethet, ezért gyakran kombinálják regularizációval vagy használják elméletileg megalapozottabb módszerekkel, mint a Structural Risk Minimization. ERM az elméleti gépi tanulás legfontosabb alapköve – ha ezt érted, sokkal jobban megérted a modern mesterséges intelligencia algoritmusait is.

• empirical risk minimization - Szótár.net (en-hu)
• empirical risk minimization - Sztaki (en-hu)
• empirical risk minimization - Merriam–Webster
• empirical risk minimization - Cambridge
• empirical risk minimization - WordNet
• empirical risk minimization - Яндекс (en-ru)
• empirical risk minimization - Google (en-hu)
• empirical risk minimization - Wikidata
• empirical risk minimization - Wikipédia (angol)