Co obejmuje liczba tokenów
Wybierz dokładnie to kodowanie, którego wymaga Twoja aplikacja. Tokenizer dzieli tekst na fragmenty bajtów UTF-8 i łączy je zgodnie z wybranym słownikiem. Białe znaki, wielkość liter i interpunkcja mogą zmieniać tokeny, nawet gdy słowa wyglądają podobnie.
Wynik obejmuje tylko wklejony tekst. Nie uwzględnia ról w czacie, opakowania wiadomości systemowych, narzędzi, obrazów, dźwięku ani innych dodatkowych elementów żądania. Kodowania są podane z nazwy, aby zmiana nazwy modelu nie prowadziła do niezauważonego wyboru niewłaściwego słownika.
Otwórz szczegóły tokenów, aby sprawdzić ich granice i identyfikatory. Wyeksportowane identyfikatory pozwalają odtworzyć bajty UTF-8 tekstu. Narzędzie sprawdza tę zgodność przed udostępnieniem eksportu. Ciągi przypominające tokeny specjalne są liczone jako zwykły tekst.
Przykład
Tekst „hello world” ma 2 tokeny w obu kodowaniach, ale różne identyfikatory: cl100k_base daje [15339, 1917], a o200k_base — [24912, 2375].
Zanim użyjesz wyniku
Wynik nie jest liczbą tokenów rozliczanych przez API ani gwarancją zmieszczenia się w oknie kontekstu. Narzędzie obsługuje tylko dwa wymienione kodowania bazowe. Tokeny mogą dzielić znak Unicode, więc pojedynczy fragment podglądu może zawierać symbol zastępczy, mimo że połączone bajty są dokładne. Nieprawidłowe, niesparowane surogaty UTF-16 są zamieniane na znak zastępczy.
Jak cytować tę stronę
ToolOctopus. “Licznik tokenów.” Aktualizacja 7 października 2026. https://tooloctopus.com/pl/licznik-tokenów.
Dodaj datę dostępu, jeśli wymagają tego Twoje wytyczne.
Cytowania są formatowane za pomocą biblioteki citeproc-js autorstwa Franka Bennetta oraz stylów Citation Style Language. Licencja i kod źródłowy.