reinforcement learning from human feedback

reinforcement learning from human feedback (tsz. reinforcement learning from human feedbacks)

1. (informatika, mesterséges intelligencia) A Reinforcement Learning from Human Feedback (RLHF), vagyis megerősítéses tanulás emberi visszajelzéssel egy olyan mesterséges intelligencia (MI) tanulási technika, amely ötvözi a megerősítéses tanulást (Reinforcement Learning, RL) és az emberi értékeléseket. A cél az, hogy olyan rendszereket hozzunk létre, amelyek emberi értékekkel és preferenciákkal összhangban cselekednek – különösen akkor, amikor nem létezik jól definiált célfüggvény vagy szabályrendszer.

Ez a módszer alapvető szerepet játszik olyan MI-k betanításában, mint a ChatGPT vagy más nagy nyelvi modellek (LLM-ek), ahol a feladat komplex, a válaszlehetőségek száma óriási, és a “helyes” válasz sokszor szubjektív.

A gépi tanulás egyik paradigmája, ahol egy ügynök egy környezetben cselekszik, és minden egyes akció után egy jutalmat kap. Az ügynök célja, hogy megtanuljon olyan stratégiát (policy), amely hosszú távon maximalizálja az összes megszerzett jutalmat.

Egy olyan mechanizmus, ahol emberek értékelik vagy preferálják az ügynök viselkedését (pl. melyik válasz jobb két lehetőség közül). Ez a visszajelzés helyettesítheti vagy kiegészítheti a klasszikus jutalomfüggvényt.

A legtöbb valós alkalmazásban – például nyelvi modelleknél – nem létezik formális, automatikusan kiszámítható jutalomfüggvény. Például, ha egy nyelvi modell választ ad egy kérdésre, nehéz lenne automatikusan megítélni, hogy az mennyire volt informatív, világos vagy udvarias. Ilyenkor a legjobb megoldás, ha emberek értékelik a válaszokat, majd ezek alapján tanítjuk tovább a modellt.

1. Felügyelt finomhangolás (Supervised Fine-Tuning – SFT) A nyelvi modellt először egy felügyelt adathalmazon tanítják, ahol ember által írt példák vannak kérdés-válasz párok formájában.
2. Adatgyűjtés – alternatív válaszok generálása Az SFT-modell különféle válaszokat generál ugyanarra a bemenetre. Emberek ezeket a válaszokat rangsorolják (pl. A jobb, mint B, C a legrosszabb).
3. Jutalommodell tanítása (Reward Model – RM) Az emberi rangsorokat felhasználva egy külön neurális hálót (a jutalommodellt) tanítanak, amely megpróbálja megtanulni, hogy az emberek mely válaszokat preferálják.
4. Reinforcement Learning – Proximal Policy Optimization (PPO) Ezután a modellt tovább finomhangolják megerősítéses tanulással (pl. PPO algoritmus), ahol a jutalmat a jutalommodell adja. Így a modell megtanulja optimalizálni a „humán preferenciák szerint” definiált célfüggvényt.

• Jobb használhatóság: Az RLHF révén a modellek udvariasabbak, informatívabbak, kevésbé hajlamosak ártalmas vagy félrevezető válaszokra.
• Emberi értékekhez igazodik: Lehetővé teszi, hogy a modellek jobban tükrözzék az emberi erkölcsi normákat, elvárásokat.
• Rugalmas: Ott is működik, ahol a klasszikus RL nem alkalmazható, mert nincs pontos jutalomfüggvény.

• Költséges: Az emberi visszajelzés gyűjtése idő- és pénzigényes.
• Elfogultság (bias): Az emberi értékelések torzítottak lehetnek – például kulturális, politikai vagy személyes preferenciák mentén.
• Átláthatóság: Nehéz értelmezni, hogy a végső modell pontosan mit tanult és milyen preferenciákat követ.

• Az OpenAI a GPT-3/3.5/4 modellek RLHF-es finomhangolásával érte el azt, hogy a modellek ne csak nyelvileg helyesek, hanem hasznosak, udvariasak és relevánsak is legyenek.
• Például: ugyanarra a kérdésre adott több válasz közül az emberek kiválasztják a legjobbat, és ez alapján tanítják tovább a rendszert.

• RLHF alkalmazható robotok tanítására, például amikor egy robot különféle tárgyakat próbál megfogni, és az emberek értékelik, melyik mozdulat volt sikeres, stabil vagy gyors.

• Preference Learning: Olyan tanulási paradigma, ahol a rendszer nem abszolút értékeket, hanem párok közti preferenciákat tanul.
• Inverse Reinforcement Learning (IRL): Megpróbálja visszafejteni azt a jutalomfüggvényt, amelyet egy ember (vagy más szakértő) implicit módon követett.
• Constitutional AI: Olyan megközelítés, amely emberi beavatkozás nélkül próbálja irányítani a modellt elvi szabályok alapján – pl. „ne adjon ártalmas tanácsot”.

Az RLHF egy olyan híd, amely összeköti a gépi tanulás hatékonyságát az emberi értékekkel. Olyan feladatoknál, ahol nincs jól meghatározható célfüggvény – például nyelvi válaszok generálása vagy társalgás – ez a módszer lehetővé teszi, hogy a modellek emberszerűbb, elfogadhatóbb és etikusabb módon működjenek.

Bár az RLHF nem hibátlan, és számos kihívást tartogat (torzítás, költség, értelmezhetőség), mégis az egyik legfontosabb eszköz ahhoz, hogy a mesterséges intelligencia rendszereket a társadalom számára hasznosan és biztonságosan alkalmazzuk.

• reinforcement learning from human feedback - Szótár.net (en-hu)
• reinforcement learning from human feedback - Sztaki (en-hu)
• reinforcement learning from human feedback - Merriam–Webster
• reinforcement learning from human feedback - Cambridge
• reinforcement learning from human feedback - WordNet
• reinforcement learning from human feedback - Яндекс (en-ru)
• reinforcement learning from human feedback - Google (en-hu)
• reinforcement learning from human feedback - Wikidata
• reinforcement learning from human feedback - Wikipédia (angol)