Privates KI-Dienstprogramm
Token-Visualizer
Entdecken Sie eine lokale Annäherung daran, wie Text zu Modell-Tokens wird. Alles läuft in Ihrem Browser; Ihre Eingabeaufforderung wird nie hochgeladen.
Veranschaulichende lokale Token-Blöcke (kein Anbieter-Tokenizer)
Beginnen Sie mit der Eingabe, um Textsegmente zu visualisieren.
Wie es funktioniert Token-Visualizer
Der Visualisierer trennt Text in Wörter, Leerzeichen, Zahlen und Satzzeichen. Er erklärt Segmentierung, ohne einen Provider-Tokenizer nachzubilden.
Beispiel
Probieren Sie „ChatGPT“ oder eine Codezeile aus, um illustrative Textsegmente zu sehen.
Häufig gestellte Fragen
- Warum weicht es von Provider-Tools ab?
- Modellfamilien können verschiedene Tokenizer und Nachrichtenformate verwenden.
- Wird Text übertragen?
- Nein. Die Segmentierung passiert auf der Seite.