Kulcsfogalmak: - Függő változó (eredmény): Bináris, azaz két lehetséges értékkel rendelkezik (pl. siker/hiány, igen/nem). - Függő változók: Ezek lehetnek folyamatosak, kategorikusak vagy a kettő keveréke, és a kimenetel előrejelzésére szolgálnak.
A logisztikus függvény: A logisztikus regresszió a logisztikus függvény (más néven szigmoid függvény) alkalmazásával modellezi annak valószínűségét, hogy egy adott bemenet egy adott kategóriába tartozik: Ahol: - annak a valószínűsége, hogy az eredmény 1 (siker). - a modell együtthatói. - a független változók.
Logisztikus regresszió lépései: 1. A kapcsolat modellezése: A független változók és a kimenetel valószínűsége közötti kapcsolatot a logisztikus függvény segítségével modellezzük. 2. Együtthatók becslése: Az együtthatók becslése maximum likelihood estimation (MLE) segítségével történik, amely módszer megtalálja a modellhez legjobban illeszkedő paramétereket. 3. Jóslás: Miután a modellt betanítottuk, a modell minden egyes bemenetre egy (0 és 1 közötti) valószínűséget ad ki. Az osztályozáshoz egy küszöbértéket alkalmaz, jellemzően 0,5, így: - Ha , akkor az 1. osztályt jósoljuk. - Ha , akkor a 0. osztályt jósoljuk.
Az együtthatók értelmezése: - Minden egyes együttható az egy egységnyi változása esetén az eredmény log-odds-ját jelenti, minden más változót állandó értéken tartva. - Esélyek: Egy esemény bekövetkezésének esélye , ahol a siker valószínűsége.
Előnyök: - Egyszerű és könnyen értelmezhető. - Valószínűségeket ad ki, így számos alkalmazásban használható. - Jól működik bináris osztályozásra, és kiterjeszthető többosztályos problémákra is az olyan technikák segítségével, mint az One-vs-Rest.
Korlátozások: - Lineáris kapcsolatot feltételez a független változók és a kimenetel log-odds értékei között. - Nem hatékony, ha az osztályok erősen kiegyensúlyozatlanok, kivéve, ha kiigazításokat végeznek.
A logisztikus regresszió népszerű az olyan területeken, mint az orvostudomány (betegségek jelenlétének előrejelzése), a pénzügy (hitelpontozás) és a marketing (az ügyfelek elvándorlásának előrejelzése).