rectified linear unit

rectified linear unit (tsz. rectified linear units)

1. (informatika, mesterséges intelligencia) A ReLU (Rectified Linear Unit, magyarul “egyenesített lineáris egység”) egy népszerű aktivációs függvény, amelyet mesterséges neurális hálózatokban használnak. Az aktivációs függvények célja, hogy nemlineáris transzformációt adjanak a hálózat kimeneti értékeihez, ami segít a neurális hálózatnak komplex mintázatok felismerésében. A ReLU egyszerű, de rendkívül hatékony módja ennek, mivel lineáris és nemlineáris viselkedést is kombinál.

A ReLU függvény a következőképpen működik:

• Ha a bemenet pozitív: a kimenet megegyezik a bemenettel.
• Ha a bemenet negatív: a kimenet 0.

Matematikailag így írható le:

$${\displaystyle f(x)=\max(0,x)}$$

Ez azt jelenti, hogy a függvény egyszerűen nullára állítja az összes negatív bemeneti értéket, míg a pozitív értékeket változatlanul hagyja.

1. Nemlinearitás: A ReLU függvény egy nemlineáris függvény, ami azért fontos, mert a nemlinearitás teszi lehetővé a neurális hálózatok számára, hogy összetett mintákat tanuljanak meg. Bár maga a függvény viszonylag egyszerű, azáltal, hogy a bemeneteket nullára “vágja”, nemlineáris viselkedést biztosít.
2. Gyors számítás: A ReLU függvény kiszámítása rendkívül egyszerű és gyors, mivel csak egy maximális függvényt kell alkalmazni. Más aktivációs függvények, mint például a sigmoid vagy a tanh, sokkal komplexebb számításokat igényelnek.
3. Gradiens diszperzió (exploding gradient) problémájának elkerülése: A ReLU segít elkerülni a “gradiens diszperzió” problémáját, amely gyakran előfordulhat más aktivációs függvényeknél, mint például a sigmoidnál. A gradiens diszperzió olyan probléma, ahol a hálózat gradiens értékei nagyon kis méretűvé válnak a rétegek növekedésével, ami lelassítja a tanulási folyamatot. A ReLU-val ez kevésbé fordul elő.
4. Hatékonyság mély hálózatokban: A ReLU rendkívül jól működik mély neurális hálózatokban (deep learning). Segít fenntartani a tanulás sebességét és javítja a hálózat általánosítási képességeit, különösen nagy adathalmazokon.

1. “Dead ReLU” probléma: Az egyik probléma a ReLU-val az úgynevezett “dead ReLU” probléma, ami akkor fordul elő, ha a bemenetek olyan értékeket adnak, amelyek állandóan negatívak, és így a kimenet mindig 0 lesz. Ebben az esetben a neuron “halott” marad, és soha nem aktiválódik újra, mivel a negatív bemenetek folyamatosan nullára állítják a kimenetet.
2. Nagyon nagy értékek kezelése: Mivel a ReLU nem korlátozza a pozitív értékeket, az aktivációs értékek nagyon nagyokká válhatnak, ami számítási problémákhoz vezethet bizonyos esetekben.

A ReLU-nak több variánsa is létezik, amelyeket a ReLU problémáinak kezelésére fejlesztettek ki:

$${\displaystyle f(x)={\begin{cases}x,&{\text{ha }}x>0\\\alpha x,&{\text{ha }}x\leq 0\end{cases}}}$$

Itt az ${\textstyle \alpha }$ egy kis szám, például 0,01, amely lehetővé teszi, hogy a negatív bemenetek ne nullára változzanak, hanem csak lecsökkentett értékre.

A ReLU egy rendkívül egyszerű, de hatékony aktivációs függvény, amely mély neurális hálózatokban kiváló teljesítményt nyújt. Egyszerűsége miatt gyorsan számítható, és segít megőrizni a hálózat tanulási sebességét. Ugyanakkor van néhány kihívás, mint a “dead ReLU” probléma, amelyre különböző alternatívák, például a Leaky ReLU és a PReLU, nyújtanak megoldást.

• rectified linear unit - Szótár.net (en-hu)
• rectified linear unit - Sztaki (en-hu)
• rectified linear unit - Merriam–Webster
• rectified linear unit - Cambridge
• rectified linear unit - WordNet
• rectified linear unit - Яндекс (en-ru)
• rectified linear unit - Google (en-hu)
• rectified linear unit - Wikidata
• rectified linear unit - Wikipédia (angol)