batch normalization

batch normalization (tsz. batch normalizations)

1. (informatika, mesterséges intelligencia) Batch Normalization (röviden: BatchNorm) egy hatékony technika a mély neurális hálózatok tanításának felgyorsítására és stabilizálására. Az eljárás lényege, hogy egy adott réteg bemenetét normáljuk (átlag és szórás szerint), így csökkentve az ún. internal covariate shift hatását.

A mély tanulás során a rétegek bemenete folyamatosan változik a tanítás alatt, ami lassíthatja vagy instabillá teheti a tanulást. A batch normalization ezt a hatást csökkenti azzal, hogy minden mini-batch-re újraszámítja és normálja az aktivációkat.

Tegyük fel, hogy egy réteg aktivációs kimenete:

$${\displaystyle x=\quad {\text{(egy mini-batch mérete: m)}}}$$

$${\displaystyle \mu _{B}={\frac {1}{m}}\sum _{i=1}^{m}x_{i},\quad \sigma _{B}^{2}={\frac {1}{m}}\sum _{i=1}^{m}(x_{i}-\mu _{B})^{2}}$$

$${\displaystyle {\hat {x}}_{i}={\frac {x_{i}-\mu _{B}}{\sqrt {\sigma _{B}^{2}+\epsilon }}}}$$

(ahol ${\textstyle \epsilon }$ egy kis szám a nullával való osztás elkerülésére)

$${\displaystyle y_{i}=\gamma {\hat {x}}_{i}+\beta }$$

• ${\textstyle \gamma }$: skálázási tényező (tanulható)
• ${\textstyle \beta }$: eltolási tényező (tanulható)

$${\displaystyle {\text{BN}}(x_{i})=\gamma \cdot {\frac {x_{i}-\mu _{B}}{\sqrt {\sigma _{B}^{2}+\epsilon }}}+\beta }$$

• Convolutional Neural Networks (CNN-ek): jellemzően a konvolúciós réteg után, aktiváció előtt
• Fully Connected rétegekben: szintén aktiváció előtt
• Generative modellekben: pl. GAN-ek

• Mini-batch méretfüggő: kis batch esetén a statisztika pontatlan lehet
• Nem minden modellbe illeszkedik jól (pl. RNN-eknél nehezebb használni)
• Futtatási idő megnőhet inference során, ha nem cache-eljük az értékeket

import torch.nn as nn

model = nn.Sequential(
    nn.Linear(100, 50),
    nn.BatchNorm1d(50),  # teljesen összekapcsolt réteghez
    nn.ReLU(),
    nn.Linear(50, 10)
)

CNN-nél:

nn.BatchNorm2d(num_features)  # feature map csatornák száma

Batch normalization egy technika, amely normálja a hálózat egy rétegének bemeneteit mini-batch szinten, hogy gyorsabb és stabilabb tanulást tegyen lehetővé. Aktiváció előtt illesztjük be, és tanulható eltolást/skálázást alkalmaz.

• batch normalization - Szótár.net (en-hu)
• batch normalization - Sztaki (en-hu)
• batch normalization - Merriam–Webster
• batch normalization - Cambridge
• batch normalization - WordNet
• batch normalization - Яндекс (en-ru)
• batch normalization - Google (en-hu)
• batch normalization - Wikidata
• batch normalization - Wikipédia (angol)