density estimation

density estimation (tsz. density estimations)

1. (informatika) Density estimation a statisztika és gépi tanulás egyik alapvető feladata, amely célja:

egy ismeretlen valószínűségi eloszlás becslése adatminta alapján.

Más szóval: szeretnénk megtudni, hogy hol vannak az adatok sűrűn és hol ritkán, anélkül, hogy előre tudnánk az eloszlás típusát (pl. normális).

• Adatok eloszlásának feltárása
• Anomáliadetektálás (szokatlan, ritka események)
• Generatív modellek építése (pl. GAN, VAE)
• Valószínűségi döntések gépi tanulásban
• Bayes-féle klasszifikáció (prior/posterior eloszlások becslése)

A density estimation eredménye egy függvény:

$${\displaystyle {\hat {f}}(x)\approx P(X=x)}$$

ami megmondja, hogy mekkora valószínűséggel fordul elő egy érték/tartomány.

Feltételezünk egy eloszláscsaládot (pl. normális), és a paramétereit becsüljük.

$${\displaystyle {\hat {f}}(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)}$$

🔧 Becslés: maximum likelihood vagy Bayes-féle becslés (MLE, MAP)

Nem feltételezünk semmilyen konkrét eloszlásformát – a minta alapján rugalmasan becsüljük.

• Az adatokat intervallumokra bontjuk, és megszámoljuk a gyakoriságokat.
• Egyszerű, de nem sima és érzékeny a binméretre.

• Minden adatpontra egy lokális, sima eloszlást helyezünk (pl. Gauss-görbe), és ezeket összegezzük.

$${\displaystyle {\hat {f}}(x)={\frac {1}{nh}}\sum _{i=1}^{n}K\left({\frac {x-x_{i}}{h}}\right)}$$

• K a kernel (pl. Gauss), h a sávszélesség (bandwidth)
• Simább, mint a hisztogram, de számításigényes

Kernel típus	K(x)
Gaussian	${\textstyle {\frac {1}{\sqrt {2\pi }}}e^{-x^{2}/2}}$
Epanechnikov	${\textstyle {\frac {3}{4}}(1-x^{2})}$ if (	x	< 1)
Uniform	${\textstyle {\frac {1}{2}}}$ if (	x	< 1)

import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

data = np.random.normal(loc=0, scale=1, size=500)
sns.kdeplot(data, bw_adjust=0.5)  # kisebb sávszélesség = részletesebb görbe
plt.title("Kernel Density Estimation")
plt.show()

• density estimation - Szótár.net (en-hu)
• density estimation - Sztaki (en-hu)
• density estimation - Merriam–Webster
• density estimation - Cambridge
• density estimation - WordNet
• density estimation - Яндекс (en-ru)
• density estimation - Google (en-hu)
• density estimation - Wikidata
• density estimation - Wikipédia (angol)