structured prediction

Angol

Főnév

structured prediction (tsz. structured predictions)

(informatika) A structured prediction (magyarul: strukturált predikció) a gépi tanulás egy olyan speciális típusa, ahol nem egyetlen kimeneti értéket kell megjósolni, hanem összetett, egymással kapcsolatban álló kimeneti struktúrát – például:

szekvenciát,
fát,
gráfot,
vagy más strukturált objektumot.

📦 Példák a valós életből

Alkalmazás	Kimeneti struktúra
Beszédfelismerés	Szó- vagy hangszekvencia
Mondatértelmezés	Syntaktikai fa (pl. függőségi elemzés)
Névelemfelismerés	Címkék sorozata (pl. → PERSON)
Gépi fordítás	Fordított mondatszekvencia
Képfeldolgozás	Pixel-címkézési mátrix (pl. szegmentáció)
Bioinformatika	DNS-szekvencia struktúrája

🔍 Miben más, mint a hagyományos gépi tanulás?

A hagyományos predikció (pl. klasszifikáció, regresszió) egy értéket jósol meg:

pl. egy e-mail SPAM vagy NEM-SPAM

A structured prediction esetében a kimenet összetett, elemei függnek egymástól:

pl. egy szöveg minden szavához címkét kell rendelni úgy, hogy a címkék egymással logikusan összefüggjenek

📐 A struktúra típusa lehet:

Szekvencia – időben vagy térben egymás utáni elemek (pl. mondat)
Fa – például szintaxisfa egy nyelvtani elemzésnél
Gráf – például képszegmentálás, entitáskapcsolatok

🧮 Formális modell

A cél egy olyan függvény megtanulása:

$f(x)=y$

ahol:

${\textstyle x}$ : bemeneti minta (pl. szöveg, kép)
${\textstyle y}$ : komplex kimeneti struktúra (pl. címkék sorozata, fa)

A predikció során az algoritmus azt a kimeneti struktúrát keresi, amely maximalizálja egy értékelőfüggvényt:

${\hat {y}}=\arg \max _{y}\,{\text{score}}(x,y)$

Ez gyakran kombinatorikus keresési probléma (nagyon sok lehetséges kimeneti struktúra van).

🛠️ Alapvető algoritmusok

Módszer	Rövid leírás
Conditional Random Fields (CRF)	Címkék sorozatának modellezésére – figyelembe veszi a szomszédos címkéket
Structured SVM (SSVM)	Margin maximalizálás strukturált kimenetekre
Recurrent Neural Networks (RNN)	Szekvenciális tanulás (pl. LSTM, GRU)
Transformer-alapú modellek	Bonyolult struktúrák tanulására (pl. BERT, T5)
Graph Neural Networks (GNN)	Gráf-struktúrák esetén (pl. molekulák, hálózatok)

📘 Példa: névelem-felismerés (NER)

Feladat: szavakhoz rendeljük hozzá, hogy személynév, szervezet, hely, stb.

Bemenet:

Kimenet:

Ez strukturált kimenet, mert a címkék között szekvenciális függés van: ha egy szó “B-PER”, a következő valószínűleg “I-PER”.

🧪 Structured SVM – röviden

A klasszikus SVM-et kiterjeszti strukturált kimenetekre:

Cél: egy olyan súlyvektor megtalálása, amely nagy margót tart a helyes és helytelen struktúrák között
Minden lehetséges ${\textstyle y}$ kimenethez számít egy score-t
A tanulás során a rossz kimeneteket eltolja, a jót megtartja

✨ CRF – Conditional Random Field

A CRF egy probabilisztikus modell, amely jól használható szekvencia-címkézési feladatokhoz.

Minden szóhoz nemcsak a saját jellemzői számítanak, hanem a szomszédos szavakhoz tartozó címkék is
Például: ha egy címke “B-ORG”, akkor az utána következő valószínűleg “I-ORG”

A CRF globálisan optimalizálja a címkesorozatot.

🎯 Kihívások structured prediction esetén

Kihívás	Magyarázat
Nagy keresési tér	Nagyon sok lehetséges kimeneti struktúra létezik
Kimeneti függések	A kimeneti elemek nem függetlenek – egymást befolyásolják
Tanítás nehézsége	A tanulási célfüggvény komplex, nem mindig konvex
Pontosság vs sebesség	A pontos modell gyakran lassú – kompromisszum kell

✅ Előnyök

🔍 Jobb általánosítás összetett problémákra
🔗 Kapcsolatot tanul a kimeneti változók között
🧠 Részletesebb, kontextusérzékeny válaszok
💬 Nyelvi alkalmazásokban természetes struktúrákhoz illeszkedik

⚠️ Hátrányok

🐢 Lassú tanítás és inferencia komplex struktúráknál
🧮 Nehéz optimalizálni a sokdimenziós kimeneteket
📈 Nagy mintaigény jó általánosításhoz
❗ Nehezebben értelmezhető modellek (főleg neurálisak)

🛠️ Python példa: CRF (sklearn-crfsuite)

import sklearn_crfsuite

crf = sklearn_crfsuite.CRF(
    algorithm='lbfgs',
    c1=0.1, c2=0.1,
    max_iterations=100,
    all_possible_transitions=True
)

crf.fit(X_train, y_train)
predictions = crf.predict(X_test)