ensemble learning

ensemble learning (tsz. ensemble learnings)

1. (informatika) Ensemble learning – magyarul: együttes tanulás vagy modell-összevonás – egy olyan gépi tanulási stratégia, amelyben több modell (úgynevezett “gyenge tanulók”) eredményeit kombináljuk, hogy egy jobb, stabilabb és pontosabb predikciós rendszert kapjunk. Az együttes tanulás alapelve:

“Több különböző modell együtt okosabb lehet, mint bármelyik külön.”

• Ahelyett, hogy egyetlen tanulóra (pl. döntési fa, SVM, neurális háló) támaszkodnánk,
• Több modellt kombinálunk, amelyek lehetnek:
  • ugyanabból a típusból (pl. sok döntési fa),
  • vagy különböző típusúak (pl. fa + logisztikus regresszió + KNN),
• A cél: csökkenteni a hibát, növelni a robusztusságot és az általánosíthatóságot.

• Párhuzamos tanulás → minden modell külön mintahalmazon tanul
• Az eredményeket átlagoljuk (regresszió) vagy szavaztatjuk (osztályozás)

📌 Legismertebb példa: Random Forest Több döntési fát tanítunk külön mintavételezett adatokon → átlagszavazás

• Szekvenciális tanulás → minden új modell a megelőzők hibáiból tanul
• Az egyes modellek súlyozottan járulnak hozzá a végső döntéshez

📌 Népszerű algoritmusok:

• AdaBoost
• Gradient Boosting Machines (GBM)
• XGBoost, LightGBM, CatBoost

• Különböző típusú modellek tanulnak párhuzamosan
• Egy meta-tanuló (pl. logisztikus regresszió) kombinálja az almodellek kimeneteit

📌 Erőteljes technika versenyekben (pl. Kaggle)

• Ha a modelljeid hibái különbözőek, az együttes csökkenti az átlagos hibát
• Ha kis overfitting + kis bias a cél (bias-variance tradeoff)
• Ha instabil tanulókra építesz (pl. döntési fák → jók boostinghoz)

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

model = RandomForestClassifier(n_estimators=100)
model.fit(X_train, y_train)

print("Pontosság:", model.score(X_test, y_test))

A ensemble learning:

• Több modell együttműködése, hogy javítsák a predikciós teljesítményt
• Három fő formája:
  • Bagging (pl. Random Forest)
  • Boosting (pl. XGBoost)
  • Stacking (meta-learner kombinációval)
• Különösen hatékony nagy zajú, komplex adatoknál, vagy ha különféle modellek erősségeit akarjuk kombinálni

• ensemble learning - Szótár.net (en-hu)
• ensemble learning - Sztaki (en-hu)
• ensemble learning - Merriam–Webster
• ensemble learning - Cambridge
• ensemble learning - WordNet
• ensemble learning - Яндекс (en-ru)
• ensemble learning - Google (en-hu)
• ensemble learning - Wikidata
• ensemble learning - Wikipédia (angol)