Utilidad privada de IA
Visualizador de tokens
Explore una aproximación local de cómo el texto se convierte en tokens modelo. Todo se ejecuta en tu navegador; su mensaje nunca se carga.
Fragmentos de tokens locales ilustrativos (no un tokenizador de proveedor)
Empiece a escribir para visualizar segmentos de texto.
como funciona Visualizador de tokens
El visualizador divide el texto en palabras, espacios, números y puntuación. Ilustra la segmentación sin afirmar que reproduce un tokenizador de proveedor.
Ejemplo
Pruebe «ChatGPT» o una línea de código para ver segmentos de texto ilustrativos.
Preguntas frecuentes
- ¿Por qué difiere de las herramientas del proveedor?
- Cada familia de modelos puede usar un tokenizador y formato de mensajes distintos.
- ¿Se envía el texto?
- No. La segmentación se realiza en la página.