incremental learning

incremental learning (tsz. incremental learnings)

1. (informatika, mesterséges intelligencia) Az incremental learning (magyarul: inkrementális tanulás vagy folyamatos tanulás) egy olyan mesterséges intelligencia (MI) tanulási módszer, ahol a modell nem egyszerre tanul meg mindent, hanem fokozatosan, új adatokat feldolgozva bővíti tudását, miközben megtartja a már megtanult információt is.

Ez ellentétben áll a hagyományos deep learning modellekkel, amelyek általában egyszerre tanulnak meg mindent egy nagy adathalmazon („batch learning”), és új adatnál újra kell tanítani őket – sokszor az egész tréningfolyamatot elölről kezdve.

• 🧠 Emberi tanuláshoz hasonlít – mint amikor egy diák fokozatosan sajátít el új tananyagot
• 🔁 Idővel frissülő rendszerekhez – például chatrobotok, szoftverasszisztensek, személyre szabott ajánlórendszerek
• 💡 Adatfolyamok tanulása – ha az adatok nem egyszerre, hanem folyamatosan érkeznek

Ez az egyik legnagyobb probléma az inkrementális tanulás során: a modell „elfelejti” a korábban tanultakat, amikor új adatokra finomhangoljuk.

Példa: egy képklasszifikáló háló megtanulja felismerni a kutyákat, majd finomhangoljuk macskákra – a modell „kutyát látva is macskát” mond.

Ezért speciális technikákra van szükség, hogy az új tanulás ne törölje a régit.

A korábbi adatokat (vagy azok reprezentációit) visszajátsszuk új tanulás során.

• Pl. Experience Replay: kis „memória” adatmintákkal
• Pl. Generative Replay: a korábbi adatokat generatív modellel újraalkotjuk

A modell paramétereinek változását büntetjük, ha azok fontosak a korábbi tudáshoz.

• Pl. Elastic Weight Consolidation (EWC): megjegyzi, mely súlyok fontosak, és nem hagyja őket túlzottan változni

A háló új neuronokat ad magához, amikor új osztályt vagy képességet tanul.

• Pl. Progressive Neural Networks, Dynamic Memory Networks

Külön memóriát tart fenn a „régi” és az „új” tudáshoz, és később fúzióval kombinálja.

Egy képfelismerő MI először csak kutyákat és macskákat tanul, majd később új adatként kap zsiráfokat és zebrákat.

Batch learning esetén:

• A modell újratanul minden osztályt, több GPU-óra, teljes adatkészlet kell.

Incremental learning esetén:

• A modell csak az új osztályokat tanulja, de megőrzi a régi tudást.
• Gyorsabb, hatékonyabb.

# Egyszerű példája replay-nek Pythonban
class IncrementalLearner:
    def __init__(self):
        self.model = SomeNNModel()
        self.memory =   # Replay memóriatár

    def train(self, new_data):
        replay_data = self.memory  # utolsó 100 minta
        combined_data = replay_data + new_data
        self.model.train(combined_data)
        self.memory.extend(new_data)

• Nem kell újratanítani a teljes modellt
• Dinamikusan frissíthető rendszerek támogatása
• Memóriabarát (stream-alapú tanulás)
• Alkalmas éles bevetésre (real-time MI)

• Katastrofális felejtés veszélye
• Bonyolultabb architektúra és tréningfolyamat
• Nehéz minden régi osztályt megtartani korlátozott memóriával
• Gyakran gyengébb teljesítményű a teljes adathalmazon tanult modellekhez képest

Az inkrementális tanulás kulcsfontosságú lesz:

• Autonóm MI-k és ügynökrendszerek számára
• Edge AI (pl. IoT-eszközök tanulása a helyszínen)
• Hosszú távon fenntartható AI-k: nem kell újratanítani évente

Fejlesztés alatt állnak olyan modellek, amelyek hibrid módon ötvözik a statikus és dinamikus tanulást – például a continual learning (folyamatos tanulás) területén.

• incremental learning - Szótár.net (en-hu)
• incremental learning - Sztaki (en-hu)
• incremental learning - Merriam–Webster
• incremental learning - Cambridge
• incremental learning - WordNet
• incremental learning - Яндекс (en-ru)
• incremental learning - Google (en-hu)
• incremental learning - Wikidata
• incremental learning - Wikipédia (angol)