Contatore di token

Cosa comprende il conteggio dei token

Scegli la codifica esatta richiesta dalla tua applicazione. Il tokenizer divide il testo in sequenze di byte UTF-8 e le unisce usando il vocabolario selezionato. Spazi bianchi, maiuscole, minuscole e punteggiatura possono cambiare i token anche quando le parole sembrano simili.

Il conteggio riguarda solo il testo incollato. Esclude i ruoli della chat, le strutture aggiunte dal sistema, gli strumenti, le immagini, l’audio e gli altri elementi della richiesta. I nomi delle codifiche sono mostrati direttamente, così un cambiamento nel nome del modello non porta a scegliere il vocabolario sbagliato senza avvisarti.

Apri i dettagli dei token per esaminarne i confini e gli ID. Gli ID esportati ricostruiscono i byte UTF-8 del testo; lo strumento verifica la corrispondenza prima di abilitare l’esportazione. Le stringhe che sembrano token speciali vengono contate come testo normale.

Successivo: Contatore di caratteri

Esempio

«hello world» contiene 2 token in entrambe le codifiche, ma gli ID sono diversi: cl100k_base produce [15339, 1917] e o200k_base produce [24912, 2375].

Successivo: Contatore di parole

Prima di usare il risultato

Questo conteggio non corrisponde all’utilizzo API fatturato e non garantisce che il testo rientri nella finestra di contesto. Sono supportate solo le due codifiche di base indicate. I token possono dividere un carattere Unicode: una singola porzione nell’anteprima può mostrare un simbolo di sostituzione anche quando i byte complessivi sono esatti. I surrogati UTF-16 isolati e non validi vengono normalizzati al carattere di sostituzione.

Aggiornato 7 ottobre 2026