Beim Tokenisieren wird Text in kleine Bausteine zerlegt: haeufige Woerter werden zu einem Token, seltene oder lange Woerter in mehrere. Als Faustregel entsprechen 1.000 Token im Englischen etwa 750 Woertern. Sowohl die Eingabe (Prompt) als auch die Ausgabe zaehlen zu den Token, und API-Kosten werden pro Token berechnet. Das Token-Budget eines Modells ist durch sein Kontextfenster begrenzt.
Token
Ein Token ist die kleinste Texteinheit, die ein KI-Modell verarbeitet, meist ein Wortteil von etwa vier Zeichen. Modelle rechnen, abrechnen und begrenzen Texte in Token statt in Woertern.
Verwandte Begriffe
Vom Begriff zur Praxis
Speichere, versioniere und teile deine besten Prompts mit Prompt2Love.
Kostenlos starten