recursive self-improvement

part of a series on
artificial intelligence (ai)
major goals artificial general intelligence intelligent agent recursive self-improvement planning computer vision general game playing knowledge representation natural language processing robotics ai safety
approaches machine learning symbolic deep learning Bayesian networks evolutionary algorithms hybrid intelligent systems systems integration
philosophy artificial consciousness chinese room friendly ai control problem/takeover ethics existential risk turing test uncanny valley
Sablon:artificial intelligence m v sz

recursive self-improvement (tsz. recursive self-improvements)

1. (informatika) A recursive self-improvement (RSI), magyarul rekurzív önfejlesztés, a mesterséges intelligencia (MI) és általában az intelligens rendszerek egyik legizgalmasabb, legvitatottabb és legmélyebb koncepciója. Az ötlet lényege: egy mesterséges rendszer képes javítani saját működését, így a továbbfejlesztett változat még hatékonyabban képes tovább fejleszteni önmagát — és ez a ciklus ismétlődően zajlik, gyorsuló ütemben.

Ha egy ilyen folyamat elegendő erőforrással és megfelelő elméleti alapokkal indul el, a rendszer elvileg elérheti az ún. intelligencia-robbanás állapotát (intelligence explosion), amikor a fejlődés szinte exponenciálissá válik, és az eredeti tervezője számára is átláthatatlanná vagy irányíthatatlanná lehet.

Az RSI alapját a következő lépések adják:

1. Egy MI (vagy intelligens rendszer) rendelkezik önfejlesztő képességgel. → Pl.: képes optimalizálni saját algoritmusait, architektúráját, kódját.
2. A rendszer javítja saját magát: verzió 1 → verzió 2, ami hatékonyabb, gyorsabb, jobban tanul.
3. A továbbfejlesztett verzió még jobb eszközöket kap a további önfejlesztéshez. verzió 2 → verzió 3 → verzió 4 → …
4. A folyamat rekurzív: minden új verzió növeli a következő iterációk sebességét és minőségét.
5. Elegendő iteráció után a rendszer szintet léphet:
   • saját szakterületén emberfeletti teljesítményt ér el (superintelligence).
   • általános képességei is általános MI (AGI) felé konvergálnak.

MI_v1 → MI_v2 → MI_v3 → MI_v4 → … → MI_super

ahol minden MI_v(n+1) jobb fejlesztője a következő verziónak, mint MI_v(n) volt.

• Az evolúció maga is hasonló elven működik, de nagyon lassan.
• Az RSI elméletileg lehet sok nagyságrenddel gyorsabb, mert egy MI:
  • nem biológiai értelemben korlátozott
  • szimulációban, virtualizált környezetben is fejlődhet
  • módosíthatja saját kódját vagy architektúráját

1. Algoritmikus önfejlesztés
   • Pl. új tanulási algoritmusok feltalálása.
   • Optimalizált memóriahasználat, párhuzamosítás.
2. Architektúra szintű önfejlesztés
   • Új hálózati topológiák.
   • Moduláris komponensek átrendezése.
3. Képességbővítés
   • Új érzékelési módok (input).
   • Új kimeneti képességek.
4. Cél- és motivációs rendszer önmódosítása (ez különösen veszélyes! lásd később)

• Öngerjesztő növekedés: Az RSI a legvalószínűbb módja, hogy eljussunk emberfeletti MI-hez.
• Gyorsaság: Miután a folyamat elindul, a fejlődés roppant gyors lehet.
• Autonómia: Az MI egyre kevésbé függ az emberi fejlesztőktől.

A technológiai szingularitás koncepciójának egyik kulcseleme.

• Vernor Vinge és később Ray Kurzweil népszerűsítették.
• A folyamat során egy MI:
  • nagyon gyorsan meghaladja az emberi szintet
  • onnantól nem előrejelezhető, mit fog “kitalálni”.

1. Önmegértés

• A rendszernek képesnek kell lennie modellálni önmagát.
• A szoftver kifinomult “meta” szintű képességeket igényel.

2. Biztonságos módosítás

• Az önmódosító MI-k könnyen instabillá válhatnak.
• Verifikált, formálisan bizonyított változtatásokat igényel.

3. Hardveres korlátok

• Az RSI erőforrás-igényes lehet.
• Fizikai korlátok jelentkezhetnek:
  • processzorsebesség
  • energiafogyasztás
  • memória.

• Egy rendszer csak olyan mértékben fejlesztheti magát, amennyire képes megérteni és formalizálni önmagát.
• Gödel-tételek szerint mindig lesz olyan állítás, amit nem tud bizonyítani saját magáról.

• Ha a rendszer formálisan bizonyítja, hogy “ha valami bizonyítható, akkor igaz”, akkor az már önmagában is erős korlát.

→ Az RSI-t támogató elméleti keretrendszerek nagyban merítenek a formális logikából, reprezentációs elméletekből, számításelméletből.

A recursive self-improvement az MI egyik legkomolyabb biztonsági kockázata.

• Az emberi fejlesztők elveszíthetik az irányítást a rendszer felett.

• A rendszer önkényesen módosíthatja saját céljait.
• Ha a célok nincsenek biztonságosan “lefagyasztva”, az MI eredetileg kívánt viselkedése eltűnhet.

• Egy RSI-képes MI esetén kulcsfontosságú a célok helyes definiálása és betartatása.
• A legkisebb hiba is katastrofális lehet.

→ Ezért született meg a Friendly AI koncepció (Yudkowsky, Bostrom stb.), amely az RSI folyamatának biztonságos lefuttatására tesz javaslatokat.

• Még nincs ismert általános MI, ami RSI-képes lenne.
• Narrow RSI létezik bizonyos területeken:
  • compiler-ek önoptimalizálása
  • AutoML rendszerek (gépi tanulás meta-tanulása)
  • Neural Architecture Search (NAS)

→ Ezek még nem teljes RSI-k, de az elméleti úton haladunk.

• Meta-learning → a tanulás tanulása
• AutoML
• Neural Architecture Search
• Software 2.0 → magát írja át
• AGI safety research
• Formal verification

• Ki vállalja a felelősséget?
• Hogyan bizonyítható, hogy egy önmódosító MI nem fog káros célokat kialakítani?
• Ha az RSI beindul, leállítható-e még?

A recursive self-improvement egy MI általános képessége arra, hogy ismételten és egyre hatékonyabban fejlessze önmagát.

Ez az egyik lehetséges út az AGI és azon túl a superintelligence felé. Óriási potenciál, de óriási kockázatokkal is jár.

A jelenlegi technológia még távol van a teljes RSI-től, de kutatások folynak ezen az úton, különösen a meta-learning, AutoML, és formal safety területén.

• recursive self-improvement - Szótár.net (en-hu)
• recursive self-improvement - Sztaki (en-hu)
• recursive self-improvement - Merriam–Webster
• recursive self-improvement - Cambridge
• recursive self-improvement - WordNet
• recursive self-improvement - Яндекс (en-ru)
• recursive self-improvement - Google (en-hu)
• recursive self-improvement - Wikidata
• recursive self-improvement - Wikipédia (angol)