bias–variance tradeoff

bias–variance tradeoff (tsz. bias–variance tradeoffs)

1. (informatika, mesterséges intelligencia) A bias-variance tradeoff a gépi tanulás és statisztika egyik alapvető fogalma, amely azt írja le, hogy egy prediktív modell hogyan képes általánosítani a tanuló adatain túl, és milyen hibákat követ el az előrejelzés során. Ez a tradeoff (kompromisszum) az általánosítási hiba két fő összetevője között jön létre: a bias és a variance.

• A bias azt méri, hogy egy modell mennyire egyszerű vagy korlátozott az adatok valós mintázatának leképezésében.
• Magas bias esetén a modell túlzottan leegyszerűsíti a problémát, így alulillesztéshez (underfitting) vezet.
• Példa: egy lineáris modell megpróbál egy erősen nemlineáris összefüggést lineárisan megoldani — így nem képes jól illeszkedni az adatokhoz.

• A variance azt méri, hogy a modell mennyire érzékeny a tanuló adatok egyedi zajára vagy véletlenszerűségére.
• Magas variance esetén a modell túlságosan „megpróbálja” illeszteni a tanulóadatokat, akár a zajokat is, ami túlillesztéshez (overfitting) vezet.
• Példa: egy túlzottan bonyolult döntési fa vagy neurális hálózat, amely minden apró adatpontot próbál lekövetni, így rosszul teljesít új, ismeretlen adatokon.

Az egy adott adatpont előrejelzésének négyzetes hibája (expected squared error) három komponens összegeként írható fel:

$${\displaystyle {\text{Expected Error}}=\underbrace {({\text{Bias}})^{2}} _{\text{elméleti hibák}}+\underbrace {\text{Variance}} _{\text{adatfüggő ingadozás}}+\underbrace {\text{Irreducible Error}} _{\text{zaj}}}$$

• Bias²: a modell átlagos eltérése a valós függvénytől.
• Variance: a modell előrejelzéseinek változékonysága különböző tanulóhalmazok esetén.
• Irreducible Error: a zaj, amit semmilyen modell nem tud kiküszöbölni.

• Ha egy modellt egyszerűbbé teszünk (például alacsonyabb fokú polinom, kevés paraméter), csökken a variance, de nő a bias → alulillesztés.
• Ha a modellt bonyolultabbá tesszük (például magas fokú polinom, sok paraméter), csökken a bias, de nő a variance → túlillesztés.

Az optimális modell egyensúlyt talál e kettő között, hogy minimális általánosítási hibát érjen el.

Képzelj el egy grafikont, ahol a vízszintes tengelyen a modell komplexitása szerepel, a függőleges tengelyen pedig a hibák (bias², variance és összes hiba).

• Bias² monoton csökken a komplexitás növekedésével.
• Variance monoton nő a komplexitás növekedésével.
• Az összes hiba egy U-alakú görbét alkot, melynek minimumánál van az optimális komplexitás.

• Döntési fák: egy sekély fa magas bias-szal, alacsony variance-szal; mély fa alacsony bias-szal, magas variance-szal.
• Polinomiális regresszió: alacsony fokú polinom (lineáris) magas bias, magas fokú polinom magas variance.
• Neurális hálók: kevés neuron vagy réteg magas bias, sok neuron túlillesztéshez vezethet.

• Regularizáció (L1, L2): csökkenti a túlillesztést, így kontrollálja a variance-t.
• Adatbővítés (augmentation): csökkenti a variance hatását.
• Modellek kiválasztása: a probléma komplexitásának megfelelő modellt választani.
• Keresztvalidáció: segít megtalálni az optimális komplexitást.
• Ensemble módszerek: például bagging csökkenti a variance-t.

A bias-variance tradeoff a gépi tanulás kulcsfogalma, amely arra utal, hogy egy modell:

• vagy túl egyszerű és nem tanulja meg jól az adatokat (magas bias, alulillesztés),
• vagy túl bonyolult, és a zajt is megtanulja (magas variance, túlillesztés).

A jó modell egyensúlyt teremt a kettő között, hogy a lehető legjobb általánosítási képességet érje el.

• bias–variance tradeoff - Szótár.net (en-hu)
• bias–variance tradeoff - Sztaki (en-hu)
• bias–variance tradeoff - Merriam–Webster
• bias–variance tradeoff - Cambridge
• bias–variance tradeoff - WordNet
• bias–variance tradeoff - Яндекс (en-ru)
• bias–variance tradeoff - Google (en-hu)
• bias–variance tradeoff - Wikidata
• bias–variance tradeoff - Wikipédia (angol)