curriculum learning

curriculum learning (tsz. curriculum learnings)

1. (informatika) Curriculum learning (magyarul: tanterv szerinti tanulás vagy progresszív tanulás) egy gépi tanulási stratégia, amelyben a modellt egyszerűbb példákon tanítjuk meg először, majd fokozatosan egyre nehezebb példákra térünk át. Az ötlet emberi tanulásból ered: ahogyan a diákok is alapoktól haladnak a bonyolultabb fogalmak felé.

A koncepciót Yoshua Bengio és munkatársai vezették be 2009-ben az alábbi fő elv alapján:

„A tanulás akkor hatékonyabb, ha a modellek az egyszerűbb példákat először tanulják meg, és fokozatosan térnek át az összetettebb példák feldolgozására.”

• Gyorsabb konvergencia a tanulás során
• Jobb általánosítás (generalizáció) a tesztadatokra
• Stabilabb és robusztusabb tanulás a zajos adatokkal szemben
• Jobb viselkedés nem konvex optimalizációban (pl. neurális hálózatoknál)

1. Példák nehézségi szint szerint való rangsorolása → emberi szakértő vagy automatikus metrika alapján (pl. hiba, bizonytalanság, hosszúság stb.)
2. Tanulás fokozatokban (staging) → először könnyű példákon tanítunk, majd később nehezebbeket is bevonunk
3. Tréningadatok dinamikus frissítése → egyes módszerek adaptív módon bővítik a tanulási készletet, ahogy a modell fejlődik

• Manual curriculum: a nehézségi sorrendet előre meghatározza az ember
• Self-paced learning: a modell maga dönti el, mely példákat használ, pl. alacsony veszteséggel tanulható példák előnyben
• Adaptive curriculum: példák nehézsége a modell aktuális teljesítményéhez igazodik (pl. reinforcement learning-ben)

# Egyszerűbb képeket először:
easy_images = 
medium_images = ...
hard_images = ...

train(model, easy_images)
train(model, medium_images)
train(model, hard_images)

A curriculum learning egy tanítási stratégia, ahol a modell egyszerű példákon tanul először, majd fokozatosan nehezebb példák felé halad. Célja, hogy a tanulás gyorsabb, stabilabb és jobban általánosítható legyen – hasonlóan ahhoz, ahogy az emberek is tanulnak.

• curriculum learning - Szótár.net (en-hu)
• curriculum learning - Sztaki (en-hu)
• curriculum learning - Merriam–Webster
• curriculum learning - Cambridge
• curriculum learning - WordNet
• curriculum learning - Яндекс (en-ru)
• curriculum learning - Google (en-hu)
• curriculum learning - Wikidata
• curriculum learning - Wikipédia (angol)