part of a series on
artificial intelligence (ai)
major goals artificial general intelligence intelligent agent recursive self-improvement planning computer vision general game playing knowledge representation natural language processing robotics ai safety
approaches machine learning symbolic deep learning Bayesian networks evolutionary algorithms hybrid intelligent systems systems integration
philosophy artificial consciousness chinese room friendly ai control problem/takeover ethics existential risk turing test uncanny valley
v t e

explainable artificial intelligence (tsz. explainable artificial intelligences)

1. (informatika)

A mesterséges intelligencia (AI) napjainkban rengeteg területen alkalmazásra kerül: diagnosztikai rendszerekben, pénzügyi modellezésben, autonóm járművekben, jogi döntéstámogató rendszerekben, ajánlórendszerekben, sőt kritikus infrastruktúrákban is. → Ezekben a rendszerekben a megmagyarázhatóság kiemelten fontos.

👉 A modern AI modellek, különösen a mély tanuló hálózatok (deep learning), egyre bonyolultabbak, fekete dobozként viselkednek: nehéz megérteni, hogy miért hoznak bizonyos döntéseket.

Ezért jelent meg az Explainable AI (XAI) mint kutatási terület és mérnöki gyakorlat.

Explainable AI (XAI) olyan módszerek és technikák összessége, amelyek lehetővé teszik az AI rendszerek által hozott döntések értelmezését, magyarázatát és indokolását.

→ Cél: az AI működése átláthatóbb, ellenőrizhetőbb és megbízhatóbb legyen.

Az emberek csak akkor hajlandók elfogadni AI döntéseit, ha értik azokat.

Pl.:

• Orvos: “Miért mondja a rendszer, hogy a betegnek daganata van?”
• Banki hitelbíráló: “Miért utasította el a gép a hitelkérelmet?”

Pl.:

• EU GDPR előírja, hogy automatizált döntések esetén a felhasználót tájékoztatni kell a döntés logikájáról.

Ha nem értjük, hogy egy AI miért döntött rosszul, nem tudjuk javítani a modellt.

Ha egy AI diszkriminatív döntéseket hoz → fontos tudni, hogy milyen okokból.

• Fekete doboz modell: Pl. mély neurális hálózat → sok millió súly, nem intuitív logika.
• Fehér doboz modell: Pl. döntési fa → könnyen követhető szabályok.

→ XAI célja: fekete dobozok megmagyarázása, vagy inkább fehér doboz modellek használata.

• Maga a modell eleve érthető.

Pl.:

• Döntési fa (Decision Tree)
• Lineáris regresszió
• Szabályalapú rendszerek

👉 Előny: magyarázható 👉 Hátrány: kevésbé pontos bonyolult problémákon

• Bonyolult, fekete doboz modellek után külön eszközökkel próbálunk magyarázatot adni.

Pl.:

• Neurális hálózatokat utólag magyarázunk.

→ XAI eszközök tipikusan ide tartoznak.

→ Mely inputok mennyire járultak hozzá a döntéshez?

Pl.: Egy hitelbírálati modellben:

→ A banki ügyfél jövedelme volt a legfontosabb.

→ Hogyan változik a modell predikciója egy változó függvényében?

Pl.: Hitel jóváhagyási esély jövedelem függvényében → grafikon.

• Lokális magyarázat adott predikcióhoz.
• Működés:
  • Perturbálja az input adatot
  • Vizsgálja, hogy változik az output
  • Lokális, egyszerű modellt illeszt rá (pl. lineáris)

→ Így kapunk lokális magyarázatot.

Előny:

✅ Modellfüggetlen → bármilyen ML modellt magyarázhatunk.

• Játékelméleti alapú.
• Számolja, hogy az egyes input feature-ök mennyivel járultak hozzá az adott predikcióhoz.

Előny:

✅ Pontos ✅ Konzisztens ✅ Fair → minden feature “saját hozzájárulását” számolja.

Hátrány:

❌ Lassú komplex modellek esetén.

• Képeknél (CNN) gyakori.
• Megmutatja, hogy a kép mely részei voltak fontosak az AI döntéséhez.

Pl.:

• Egy AI azt mondja, hogy a képen kutya van → a saliency map megmutatja, hogy a kutya orra és füle voltak a kulcspontok.

• AI mondja: “Ez a röntgen pozitív tüdőgyulladásra.”
• Orvosnak kell látni: mely területek miatt mondja ezt az AI → Saliency Map.

• Miért utasította el az AI a hitelt?
• Ügyfél kérheti a magyarázatot → Feature Importance, SHAP.

• Miért rangsorolta az AI az egyik jelöltet magasabbra?
• Fontos ellenőrizni: nem diszkriminatív okokból.

• AI javasolja: “Nem szabad feltételesen szabadlábra helyezni.”
• Bíró szeretné tudni: miért?

• A legegyszerűbben magyarázható modellek (pl. döntési fa) → gyakran kevésbé pontosak.
• A legpontosabb modellek (deep learning) → fekete dobozok.

• LIME, SHAP → lokális (adott predikcióhoz magyaráz).
• Néha globális képet is szeretnénk (“általában hogyan működik a modell?”).

• Ha a magyarázó eszköz nem tökéletes, félrevezető magyarázatot is adhat.

• Nehéz mérni, hogy egy magyarázat jó-e.
• Mi számít “elég jó” magyarázatnak?

• Modellek automatikusan adnak magyarázatokat.

• Olyan modellek tervezése, amelyek magukban hordozzák a magyarázhatóságot.

• Magyarázatot a felhasználó igénye szerint testre szabni:
  • laikusnak egyszerű magyarázat
  • szakembernek részletes.

• EU, USA, UK → egyre több helyen lesz kötelező XAI.

Explainable AI (XAI) → az a terület, amely megpróbálja az AI döntéseit átláthatóvá és érthetővé tenni.

• AI rendszerek egyre bonyolultabbak → XAI nélkül nem tudunk megbízni bennük.

• XAI segít:

  ✅ Bizalmat építeni ✅ Jogszabályoknak megfelelni ✅ Hibákat feltárni ✅ Etikai kérdésekre választ adni

• Fő eszközök:

  • LIME
  • SHAP
  • Feature importance
  • PDP
  • Saliency map

• Kihívás: pontosság ↔ magyarázhatóság egyensúlya.

• explainable artificial intelligence - Szótár.net (en-hu)
• explainable artificial intelligence - Sztaki (en-hu)
• explainable artificial intelligence - Merriam–Webster
• explainable artificial intelligence - Cambridge
• explainable artificial intelligence - WordNet
• explainable artificial intelligence - Яндекс (en-ru)
• explainable artificial intelligence - Google (en-hu)
• explainable artificial intelligence - Wikidata
• explainable artificial intelligence - Wikipédia (angol)