Utilitaire d'IA privé
Visualiseur de jetons
Explorez une approximation locale de la façon dont le texte devient des jetons modèles. Tout s'exécute dans votre navigateur ; votre invite n'est jamais téléchargée.
Morceaux de jetons locaux illustratifs (pas un tokeniseur de fournisseur)
Commencez à taper pour visualiser les segments de texte.
Comment ça marche Visualiseur de jetons
Le visualiseur sépare le texte en mots, espaces, nombres et ponctuation. Il illustre la segmentation sans prétendre reproduire un tokeniseur de fournisseur.
Exemple
Essayez « ChatGPT » ou une ligne de code pour voir des segments de texte illustratifs.
Questions fréquemment posées
- Pourquoi les segments diffèrent-ils ?
- Les familles de modèles peuvent employer des tokeniseurs et formats de messages différents.
- Le texte est-il envoyé ?
- Non. La segmentation a lieu dans la page.