Mit dem Parameter Max Tokens legt man fest, wie viele Token das Modell maximal erzeugen darf, bevor es abbricht. Wird die Grenze erreicht, endet die Ausgabe, eventuell mitten im Satz. Der Wert muss zum Kontextfenster passen, da Eingabe und Ausgabe gemeinsam dessen Grenze nicht ueberschreiten duerfen. Eine sinnvolle Begrenzung spart Kosten und beschleunigt Antworten, sollte aber gross genug fuer vollstaendige Ergebnisse sein.
Max Tokens
Max Tokens ist ein Parameter, der die maximale Laenge der KI-Ausgabe in Token begrenzt. Er verhindert zu lange Antworten und kontrolliert Kosten sowie Latenz.
Verwandte Begriffe
Vom Begriff zur Praxis
Speichere, versioniere und teile deine besten Prompts mit Prompt2Love.
Kostenlos starten