NLTK

NLTK (tsz. NLTKs)

1. (informatika) Az NLTK (Natural Language Toolkit) egy Python könyvtár, amely kifejezetten természetes nyelvfeldolgozási (NLP) feladatok megoldására lett kifejlesztve. Az NLTK egy széleskörű eszközkészletet biztosít az NLP-hez, beleértve a szövegfeldolgozást, tokenizálást, morfológiai elemzést, szintaktikai és szemantikai elemzést, információkinyerést és gépi tanulási modellek használatát. Az NLTK népszerű eszköz az oktatásban és kutatásban, mivel könnyen használható, dokumentált, és sok beépített nyelvészeti adatot, például szótárakat, korpuszokat és elemző algoritmusokat tartalmaz.

1. Tokenizálás: Az NLTK támogatja a szöveg szavakra vagy mondatokra való bontását, ami az első lépés a szövegelemzés során.

   • Példa a szótokenizálásra:

   import nltk
   from nltk.tokenize import word_tokenize
   
   szoveg = "Szeretem az NLP-t!"
   tokenek = word_tokenize(szoveg)
   print(tokenek)
   

   Kimenet:

2. Szófaji címkézés (POS tagging): Az NLTK képes a szövegben található szavakat automatikusan szófaj szerint címkézni (például ige, főnév, melléknév stb.).

   • Példa:

   from nltk import pos_tag
   szoveg = word_tokenize("A macska fut a réten.")
   print(pos_tag(szoveg))
   

   Kimenet:

3. Stemming és Lemmatization: Az NLTK támogatja a szavak alapszavára való visszavezetést. A stemming egyszerűen levágja a szavak végződését, míg a lemmatization a szó alapalakját adja vissza, figyelembe véve a nyelvtani információkat is.

   • Stemming példa:

   from nltk.stem import PorterStemmer
   stemmer = PorterStemmer()
   print(stemmer.stem("running"))  # Kimenet: 'run'
   

   • Lemmatization példa:

   from nltk.stem import WordNetLemmatizer
   lemmatizer = WordNetLemmatizer()
   print(lemmatizer.lemmatize("running", pos="v"))  # Kimenet: 'run'
   

4. Név-entitás felismerés (NER): Az NLTK beépített modellekkel képes felismerni és kategorizálni a név-entitásokat (pl. személyneveket, helyneveket, szervezeteket) szövegekben.

   • Példa NER-re:

   from nltk import ne_chunk
   szoveg = word_tokenize("Elon Musk lives in the USA.")
   pos_cimkezett = pos_tag(szoveg)
   ne_chunked = ne_chunk(pos_cimkezett)
   print(ne_chunked)
   

5. Korpuszok és szótárak: Az NLTK beépített adatokat biztosít különböző nyelvi korpuszok és szótárak formájában. Ezek lehetnek például a WordNet (angol szinonima-szótár), a Brown korpusz (annotált szövegkorpusz), vagy a Reuters hírek korpusza. Ezek az adatok segítenek a nyelvészeti kutatásokban és fejlesztésekben.

   • WordNet példa:

   from nltk.corpus import wordnet
   synonyms = wordnet.synsets("dog")
   print(synonyms.definition())  # Az első jelentés definíciója
   

6. Nyelvtani elemzés: Az NLTK segítségével elemezhetők a mondatok szintaktikai szerkezetei (például a mondatrészek felosztása, függőségek elemzése).

   • Egyszerű nyelvtani elemzés:

   from nltk import CFG
   nyelvtan = CFG.fromstring("""
       S -> NP VP
       NP -> DT NN
       VP -> VB NP
       DT -> 'a'
       NN -> 'kutya' | 'macska'
       VB -> 'lát'
   """)
   parser = nltk.ChartParser(nyelvtan)
   mondat = word_tokenize("a kutya lát a macska")
   for elemzes in parser.parse(mondat):
       print(elemzes)
   

7. Gépi tanulás az NLP-ben: Az NLTK támogatja különböző gépi tanulási algoritmusok használatát, mint például a Naive Bayes vagy a Decision Trees, amelyekkel kategorizálási feladatokat lehet megoldani szövegek alapján.

• Egyszerű használat: Az NLTK felhasználóbarát, könnyen használható kódstruktúrákat kínál, amelyekkel gyorsan el lehet kezdeni a nyelvfeldolgozási projekteket.
• Oktatásban és kutatásban: Az NLTK gyakran használt oktatási eszköz, mert tartalmaz részletes dokumentációt és példákat, valamint jól strukturáltan mutatja be az NLP alapjait. Az NLP kutatók számára is hasznos, mivel tartalmaz alapvető NLP algoritmusokat és funkciókat.
• Gazdag funkciókészlet: Az NLTK egy széles eszköztárat kínál, amely szinte minden alapvető nyelvfeldolgozási feladatra alkalmazható, mint a tokenizálás, szófaji címkézés, nevek felismerése, korpuszelemzés stb.

Bár az NLTK egy rendkívül hasznos eszköz, bizonyos esetekben lassú lehet, különösen nagy mennyiségű adat feldolgozásakor. Az újabb NLP könyvtárak, mint a spaCy vagy a transformers, gyorsabbak és nagyobb teljesítményűek lehetnek, különösen a modern mélytanulási modellek esetében. Az NLTK azonban még mindig kiemelkedő választás kisebb projektekhez, oktatási célokra, és kutatási feladatokhoz.

Az NLTK az egyik legismertebb és legszélesebb körben használt Python könyvtár a természetes nyelvfeldolgozásban. Könnyen használható, gazdag funkcionalitást biztosít a szövegelemzéshez, és lehetőséget ad a nyelvfeldolgozás legfontosabb feladatainak gyors megvalósítására.

• NLTK - Szótár.net (en-hu)
• NLTK - Sztaki (en-hu)
• NLTK - Merriam–Webster
• NLTK - Cambridge
• NLTK - WordNet
• NLTK - Яндекс (en-ru)
• NLTK - Google (en-hu)
• NLTK - Wikidata
• NLTK - Wikipédia (angol)