expectation–maximization algorithm

expectation–maximization algorithm (tsz. expectation–maximization algorithms)

1. (informatika) A Expectation–Maximization (EM) algoritmus egy iteratív optimalizálási módszer, amelyet valószínűségi modellek paramétereinek becslésére használnak olyan esetekben, amikor az adatok részben megfigyelhetők vagy rejtettek. Kiemelkedő szerepet játszik a statikai tanulásban, gépi tanulásban, különösen a rejtett változós modellekben, például Gauss-keverék modellek (GMM) vagy hiányzó adatok kezelése esetén.

Ahelyett, hogy közvetlenül maximalizálnánk a hiányos adathalmaz likelihoodját, az EM algoritmus váltogatja:

• az elvárható teljes likelihood kiszámítását (E-lépés),
• és annak maximalizálását a paraméterekre nézve (M-lépés).

1. Initializáció: kezdő paraméterek ${\textstyle \theta ^{(0)}}$

2. E-lépés (Expectation):

   • Számítsuk ki az elvárt log-likelihood értékét a rejtett változók figyelembevételével, a jelenlegi paraméterbecslések alapján:

   $${\displaystyle Q(\theta |\theta ^{(t)})=\mathbb {E} _{Z|X,\theta ^{(t)}}}$$

3. M-lépés (Maximization):

   • Maximalizáljuk az elvárt log-likelihood függvényt:

   $${\displaystyle \theta ^{(t+1)}=\arg \max _{\theta }Q(\theta |\theta ^{(t)})}$$

4. Ismétlés, amíg az ${\textstyle \theta }$ értékek nem konvergálnak vagy a javulás elhanyagolható

• Az adathalmaz hiányos, részleges (pl. nem minden érték ismert)
• Rejtett változók vannak a modellben (pl. klasztertagság)
• Valószínűségi modell (pl. Gauss-keverék, HMM, Bayesian networks)

Tegyük fel, hogy egy adathalmaz különböző Gauss-eloszlások keveréke, de nem tudjuk, melyik pont melyikhez tartozik.

• E-lépés: kiszámítjuk a valószínűséget, hogy egy pont egy adott klaszterhez tartozik
• M-lépés: frissítjük a klaszterek középértékét, szórását és keverési arányát

✅ Széles körűen alkalmazható valószínűségi modellekre ✅ Hiányos vagy rejtett adatok kezelésére ideális ✅ Konvergens: minden iteráció javítja (vagy nem rontja) a likelihood értéket ✅ Gyakorlatban jól működik GMM-ek, HMM-ek esetén

❌ Csak lokális maximumot találhat – nem garantálja a globális optimumot ❌ Érzékeny a kezdőparaméterekre ❌ Lassú konvergencia lehet, különösen nagy modellek esetén ❌ Nem konvex: több lokális maximum lehetséges

from sklearn.mixture import GaussianMixture
import numpy as np

X = np.random.randn(300, 2)  # kétdimenziós adat
gmm = GaussianMixture(n_components=2)
gmm.fit(X)

print("Keverési súlyok:", gmm.weights_)
print("Klaszter középpontok:", gmm.means_)

A fit() metódus az EM algoritmust használja a GMM paramétereinek becslésére.

A Expectation–Maximization algoritmus (EM):

• Egy általános iteratív eljárás a maximum likelihood (ML) vagy maximum a posteriori (MAP) paraméterbecsléshez
• Kiemelten hasznos rejtett változók vagy hiányos adatok esetén
• Két fő lépésből áll:
  • E-lépés: várható érték becslése
  • M-lépés: paraméterfrissítés
• Alkalmazási példák: GMM, HMM, hiányzó adatok imputálása, Bayesi modellek

• expectation–maximization algorithm - Szótár.net (en-hu)
• expectation–maximization algorithm - Sztaki (en-hu)
• expectation–maximization algorithm - Merriam–Webster
• expectation–maximization algorithm - Cambridge
• expectation–maximization algorithm - WordNet
• expectation–maximization algorithm - Яндекс (en-ru)
• expectation–maximization algorithm - Google (en-hu)
• expectation–maximization algorithm - Wikidata
• expectation–maximization algorithm - Wikipédia (angol)