tokenize

Hallo, Sie haben hier nach der Bedeutung des Wortes tokenize gesucht. In DICTIOUS findest du nicht nur alle Wörterbuchbedeutungen des Wortes tokenize, sondern erfährst auch etwas über seine Etymologie, seine Eigenschaften und wie man tokenize in der Einzahl und Mehrzahl ausspricht. Hier finden Sie alles, was Sie über das Wort tokenize wissen müssen. Die Definition des Wortes tokenize wird Ihnen helfen, beim Sprechen oder Schreiben Ihrer Texte präziser und korrekter zu sein. Wenn Sie die Definition vontokenize und die anderer Wörter kennen, bereichern Sie Ihren Wortschatz und verfügen über mehr und bessere sprachliche Mittel.

tokenize (Englisch)

Zeitform Person Wortform
simple present I, you, they tokenize
he, she, it tokenizes
simple past   tokenized
present participle   tokenizing
past participle   tokenized

Worttrennung:

to·ke·nize, Partizip Perfekt: to·ke·nized, Partizip Präsens: to·ke·niz·ing

Aussprache:

IPA:
Hörbeispiele:

Bedeutungen:

Computerlinguistik: zerlegen eines Textes für die Weiterverarbeitung

Beispiele:

„The previous program failed to tokenize the puctuation.“[1]
„We need a function to tokenize a string into words.“[2]
„This example tokenizes a semi-colon separated list.“[3]

Übersetzungen

Quellen:

  1. Pierre M. Nugues: Language Processing with Perl and Prolog. Springer, 2014, Seite 127 (Google Books)
  2. Eric Rochester: Clojure Data Analysis Cookbook. PACKT Publishing, 2015, Seite 64 (Google Books)
  3. David Smiley,Eric Pugh,Kranti Parisa,Matt Mitchell: Apache Solr Enterprise Search Server. PACKT Publishing, 2015, Seite 59 (Google Books)