tokenizer

Bonjour, vous êtes venu ici pour chercher la signification du mot tokenizer. Dans DICTIOUS, vous trouverez non seulement toutes les significations du dictionnaire pour le mot tokenizer, mais vous apprendrez également son étymologie, ses caractéristiques et comment dire tokenizer au singulier et au pluriel. Tout ce que vous devez savoir sur le mot tokenizer est ici. La définition du mot tokenizer vous aidera à être plus précis et correct lorsque vous parlerez ou écrirez vos textes. Connaître la définition detokenizer, ainsi que celles d'autres mots, enrichit votre vocabulaire et vous fournit des ressources linguistiques plus nombreuses et de meilleure qualité.

Étymologie

Étymologie manquante ou incomplète. Si vous la connaissez, vous pouvez l’ajouter en cliquant ici.

Nom commun

Singulier Pluriel
tokenizer
\toʊ.kə.naɪ.zəɹ\
tokenizers
\toʊ.kə.naɪ.zəɹz\

tokenizer

  1. (Informatique) Parseur en tokens. Par exemple cela permet de transformer un texte en plusieurs mots séparés par des espaces.

Variantes

Apparentés étymologiques