Was ist ein Token? Tokens bei ChatGPT einfach erklärt

Ein Token ist die kleinste Texteinheit, die ein Sprachmodell wie ChatGPT verarbeitet – nicht identisch mit einem Wort, sondern häufig ein Wortteil, ein Satzzeichen oder eine kurze Zeichenfolge. Modelle rechnen intern nicht mit Buchstaben oder ganzen Wörtern, sondern mit diesen Bausteinen, weil sich damit beliebige Texte effizient in Zahlen umwandeln lassen. Wer Tokens versteht, kann einschätzen, warum dieselbe Anfrage unterschiedlich viel kostet und warum manche Modelle früher ans Limit stoßen als andere.

Was ist ein Token? Definition und Alltagsbeispiele

Ein Token ist eine Zeichenkette, die ein Tokenizer – also das Programm, das Text in Tokens zerlegt – als eine Einheit behandelt. Jedes Token hat eine eigene ID, eine Zahl, mit der das Modell arbeitet. Ein Text wird also in eine Folge solcher IDs übersetzt, verarbeitet und anschließend wieder in lesbaren Text zurückverwandelt. Wichtig: Ein Token entspricht nicht automatisch einem Wort. Häufige Wörter wie „der" oder „und" werden oft zu einem einzigen Token, seltene oder lange Wörter zerfallen in mehrere Teile.

Ein paar typische Beispiele machen das greifbar. Das englische Wort „tokenization" wird je nach Tokenizer in Teilstücke wie „token" und „ization" zerlegt. Ein Satzzeichen wie ein Punkt oder ein Komma ist meist ein eigenes Token. Auch das Leerzeichen vor einem Wort hängt oft am folgenden Token – deshalb zählt man bei manchen Tokenizern ein führendes Leerzeichen mit. Umlaute und Sonderzeichen können zusätzliche Tokens erzeugen, weil sie in der zugrunde liegenden Zeichenkodierung mehr Bytes belegen.

Für eine grobe Orientierung ohne exakte Zählung gilt für deutsche Texte oft die Faustregel von etwa einem Token pro 3 bis 4 Zeichen, was ungefähr 1,3 bis 1,6 Tokens pro Wort entspricht (Schätzung, abhängig von Tokenizer und Textsorte). Englischer Text liegt häufig etwas niedriger, weil gängige Wörter und Wortformen im Trainingsmaterial häufiger vorkommen und deshalb öfter als ein einziges Token existieren. Diese Werte sind keine Messwerte, sondern Anhaltspunkte für Überschlagsrechnungen.

Praktisch begegnet einem der Begriff an mehreren Stellen: in der Abrechnung von APIs, in der Angabe von Kontextfenstern und in Limits für Ein- und Ausgaben. Wer weiß, dass ein Token nicht dasselbe ist wie ein Wort, liest solche Angaben realistischer und plant Anfragen besser.

Warum Tokens statt Wörter? Der Weg zur BPE Tokenization

Wörter als Einheit klingen intuitiv, bringen aber Probleme. Die Zahl möglicher Wörter ist offen: Neue Wörter, Tippfehler, Zusammensetzungen und Fachbegriffe entstehen ständig, und ein Modell mit einem festen Wortschatz müsste unbekannte Wörter als Sonderfall behandeln. Zeichen als Einheit lösen das, machen aber die Sequenzen sehr lang – und je länger eine Sequenz, desto mehr Rechenaufwand und desto schwieriger wird es für das Modell, weit auseinanderliegende Informationen zu verknüpfen.

Die Byte Pair Encoding (BPE) genannte Methode ist ein Kompromiss. Sie startet mit einzelnen Zeichen oder Bytes und führt wiederholt die häufigsten Paare zu neuen Einheiten zusammen. So entstehen häufig genutzte Bausteine wie ganze Wörter oder Wortteile, während seltene Konstruktionen aus mehreren kleineren Tokens zusammengesetzt werden. Das Ergebnis ist ein Vokabular aus einigen zehntausend bis einige hunderttausend Einträgen – die genaue Größe unterscheidet sich je nach Modell und Tokenizer.

Der Vorteil: Jeder beliebige Text lässt sich in Tokens zerlegen, ohne dass etwas „unbekannt" bleibt. Gleichzeitig bleiben häufige Muster kompakt. Der Preis dafür ist, dass die Zerlegung nicht der menschlichen Wortgrenze folgt. Ein Wort kann je nach Kontext und Groß-/Kleinschreibung unterschiedlich zerfallen, und ein Token kann mitten im Wort enden. Für die Praxis heißt das: Zählungen sind immer tokenizerabhängig, und zwei Modelle können denselben Text unterschiedlich aufteilen.

Weil die Tokens die eigentliche Recheneinheit sind, bestimmen sie auch, wie viel Kontext ein Modell „sieht" und wie viel Rechenleistung eine Anfrage verursacht. Die Tokenisierung ist damit keine Nebensache, sondern die Schnittstelle zwischen geschriebenem Text und der Mathematik im Modell.

Tokens und Kosten: Prompt, Completion und Kontextfenster

Bei der Nutzung von ChatGPT & Co. über die API wird nicht pro Anfrage oder pro Minute abgerechnet, sondern pro Token – und zwar für alle Tokens, die das Modell verarbeitet. Dabei fallen zwei Posten an:

• Prompt-Tokens (auch Input-Tokens): alles, was du dem Modell schickst – Systemanweisung, bisheriger Gesprächsverlauf und deine aktuelle Frage.
• Completion-Tokens (auch Output-Tokens): alles, was das Modell als Antwort erzeugt.

Ein wichtiges Detail: Bei einem Chat wird der bisherige Verlauf bei jeder neuen Nachricht erneut als Prompt mitgeschickt. Ein langes Gespräch wird also mit jeder Runde teurer, weil die alten Nachrichten immer wieder als Input zählen. Viele Anbieter berechnen Output-Tokens zu einem höheren Preis als Input-Tokens, weil die Erzeugung rechenintensiver ist.

Das Kontextfenster ist die Obergrenze an Tokens, die ein Modell in einem Durchgang insgesamt verarbeiten kann – Prompt und Completion zusammen. Ist es z. B. 8.000 Tokens groß und dein Prompt belegt 7.500, bleiben nur 500 Tokens für die Antwort. Der Anbieter bricht dann entweder ab oder liefert eine gekürzte Antwort.

Rechenbeispiel (mit angenommenen Preisen): Nehmen wir ein hypothetisches Modell mit 1 US-Cent pro 1.000 Input-Tokens und 3 US-Cent pro 1.000 Output-Tokens. Dein Prompt umfasst 2.000 Tokens, die Antwort 500 Tokens.

Input:  2.000 / 1.000 * 0,01 $ = 0,02 $
Output:   500 / 1.000 * 0,03 $ = 0,015 $
Gesamt:                         = 0,035 $

Bei 100 solcher Anfragen wären das 3,50 $ – die Rechnung geht also schnell auf, wenn manToken spart.

Token zählen üben: Token-Counter und API-Kostenrechner

Bevor du Tokens schätzt, solltest du sie zählen. Zwei praktische Werkzeuge helfen:

• Token-Counter: Ein Tool, das einen Text in Tokens zerlegt und die Anzahl anzeigt. Die gängigen Anbieter stellen eigene Counter bereit; für die BPE-Tokenizer der großen Modelle gibt es außerdem offene Bibliotheken, die du lokal installieren kannst.
• API-Kostenrechner: Ein kleines Skript, das die Tokenzahl mit den aktuellen Preisen multipliziert.

Kostenformel:

Kosten = (Prompt-Tokens / 1000) * Input-Preis
       + (Completion-Tokens / 1000) * Output-Preis

Kurz-Code-Idee (Python, Pseudocode): Mit einer Tokenizer-Bibliothek zählst du den Prompt, schätzt die Antwortlänge und rechnest die Kosten hoch:

def kosten(prompt, antwort_laenge, preis_in, preis_out, tokenizer):
    n_in = len(tokenizer.encode(prompt))
    n_out = antwort_laenge  # z. B. max_tokens-Parameter
    return n_in / 1000 * preis_in + n_out / 1000 * preis_out

Checkliste zum Token-Sparen:

• System-Prompt kurz und präzise halten – er zählt bei jeder Anfrage mit.
• Langen Chat-Verlauf zusammenfassen statt komplett mitschicken.
• max_tokens bewusst setzen, um Output-Kosten zu begrenzen.
• Vor dem Versand grob zählen: Faustregel für Deutsch ca. 1 Token pro 1,5–2 Zeichen (Schätzung, je nach Tokenizer).
• Kontextfenster prüfen: Prompt-Tokens plus erwartete Antwort müssen hineinpassen.

So behältst du Kosten und Grenzen im Blick, ohne dich in Details zu verlieren.

Häufig gestellte Fragen

Was ist der Unterschied zwischen einem Token und einem Wort?

Ein Token ist die kleinste Einheit, die ein Sprachmodell verarbeitet – das kann ein ganzes Wort, ein Wortteil oder sogar nur ein Satzzeichen sein. Ein Wort wird dagegen nach üblichen sprachlichen Regeln abgegrenzt (etwa durch Leerzeichen). Die Anzahl der Tokens und die Anzahl der Wörter in einem Text stimmen daher selten überein: Ein langes Wort wie „Donaudampfschifffahrt" kann in mehrere Tokens zerfallen, während kurze Wörter und Satzzeichen jeweils eigene Tokens bilden. Merke: Wörter zählt man für Menschen, Tokens zählt die Maschine.

Wie viele Tokens entsprechen etwa 1000 Wörtern auf Deutsch?

Eine belastbare Faustregel gibt es nicht, weil die Tokenanzahl vom Wortschatz und von der Tokenizer-Version abhängt. Als grobe Orientierung gilt für deutschen Fließtext oft ein Verhältnis von etwa 1,5 bis 2 Tokens pro Wort – das ist eine Schätzung, kein Messwert. Bei 1000 Wörtern landest du damit überschlägig im Bereich von rund 1500 bis 2000 Tokens. Für konkrete Texte solltest du immer einen Token-Counter verwenden, statt mit einer Pauschale zu rechnen.

Warum kostet ein deutscher Text oft mehr Tokens als ein englischer?

Viele Tokenizer sind überwiegend mit englischsprachigen Texten trainiert worden, sodass häufige englische Wörter und Wortteile oft als ein einziges Token abgebildet werden. Deutsche Wörter sind dagegen häufig länger, werden stark zusammengesetzt (Komposita) und kommen in den Trainingsdaten seltener vor – dadurch zerfallen sie öfter in mehrere Tokens. Dass ein deutscher Text deshalb „mehr kostet", ist eine begründete Tendenz, keine feste Regel; der genaue Unterschied hängt vom jeweiligen Modell und Tokenizer ab. Praktisch heißt das: Rechne bei deutschen Prompts mit etwas mehr Tokens als bei inhaltlich gleich langen englischen.

Was passiert, wenn mein Prompt das Kontextfenster überschreitet?

Das Kontextfenster ist die maximale Tokenmenge, die ein Modell in einem Durchgang gleichzeitig „sehen" kann – Prompt und Antwort zusammen. Überschreitest du diese Grenze, lehnt die API die Anfrage in der Regel mit einem Fehler ab, statt den Text stillschweigend zu kürzen. Abhilfe schaffen dann Kürzen des Prompts, Aufteilen in mehrere Anfragen oder das Zusammenfassen von Vorwissen. Prüfe vor dem Senden die Tokenzahl, um solche Fehler zu vermeiden.

Wie kann ich Tokens und API-Kosten selbst berechnen?

Zähle zuerst die Tokens von Prompt und erwarteter Antwort mit einem Token-Counter, der zum verwendeten Modell passt. Multipliziere dann die Prompt-Tokens mit dem Eingabepreis und die Antwort-Tokens mit dem Ausgabepreis pro Token (oder pro 1000 Tokens, je nach Preisangabe des Anbieters). Die Rechnung sieht schematisch so aus:

kosten = (prompt_tokens / 1000) * preis_eingabe_pro_1000
       + (antwort_tokens / 1000) * preis_ausgabe_pro_1000

Da sich Preise ändern können, nimm immer die aktuell gültige Preisliste des Anbieters als Grundlage. Ein API-Kostenrechner automatisiert genau diese Rechnung, wenn du Tokens und Preise eingibst.