linear discriminant analysis

linear discriminant analysis (tsz. linear discriminant analysises)

1. (informatika) Linear Discriminant Analysis (LDA) – magyarul: lineáris diszkriminanciaanalízis – egy felügyelt tanulási módszer, amelyet dimenziócsökkentésre és osztályozásra használnak. A célja, hogy olyan új tengelyeket (lineáris kombinációkat) találjon, amelyek mentén az egyes osztályok a lehető legjobban elkülöníthetők egymástól.

LDA olyan lineáris transzformációt keres, amely maximalizálja az osztályok közötti különbségeket, és minimalizálja az egy osztályon belüli szórást.

Az LDA projekciós irányokat keres, amelyek mentén:

• Az osztályok középpontjai távolabb kerülnek
• Az osztályokon belüli szórás kicsi marad

Matematikailag a Fisher-arány maximalizálása történik:

$${\displaystyle J(w)={\frac {w^{T}S_{B}w}{w^{T}S_{W}w}}}$$

Ahol:

• ${\textstyle w}$: a keresett irány (súlyvektor)
• ${\textstyle S_{B}}$: between-class scatter mátrix
• ${\textstyle S_{W}}$: within-class scatter mátrix

1. Adatok csoportosítása osztályok szerint
2. Minden osztály átlagának és kovariancia-mátrixának kiszámítása
3. Between-class és within-class szórásmátrix meghatározása
4. Generalized eigenvalue problem megoldása: ${\textstyle S_{W}^{-1}S_{B}w=\lambda w}$
5. A legnagyobb sajátértékhez tartozó vektorok adják a diszkriminancia-irányokat

• k osztály esetén legfeljebb ${\textstyle k-1}$ dimenziós új tér jön létre
• Az adatok ebben a térben jól szétválnak

• Az adatok új dimenzióiban egyszerűbb osztályozót lehet használni (pl. lineáris döntési határ)

• Hasonlóan a PCA-hoz, de LDA felügyelt (osztályinformációt is használ)
• Gyakori előfeldolgozó lépés osztályozók előtt (pl. SVM, k-NN)

Tulajdonság	LDA	PCA
Típus	Felügyelt	Felügyelet nélküli
Használja az osztálycímkét?	Igen	Nem
Cél	Osztályok elkülönítése	Variancia maximalizálása
Max dimenzió	${\textstyle k-1}$ osztály esetén	${\textstyle n-1}$ (minták száma)

from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.datasets import load_iris

X, y = load_iris(return_X_y=True)
lda = LinearDiscriminantAnalysis(n_components=2)
X_lda = lda.fit_transform(X, y)

A Linear Discriminant Analysis (LDA):

• Egy klasszikus statisztikai és gépi tanulási technika
• Felhasználható osztályok elválasztására és dimenziócsökkentésre
• Jól működik, ha az adatok normáleloszlásúak és az osztályok azonos kovarianciájúak
• Felügyelt módszer, ellentétben pl. a PCA-val

• linear discriminant analysis - Szótár.net (en-hu)
• linear discriminant analysis - Sztaki (en-hu)
• linear discriminant analysis - Merriam–Webster
• linear discriminant analysis - Cambridge
• linear discriminant analysis - WordNet
• linear discriminant analysis - Яндекс (en-ru)
• linear discriminant analysis - Google (en-hu)
• linear discriminant analysis - Wikidata
• linear discriminant analysis - Wikipédia (angol)