Ewando. Login
Startseite/KI-Magazin/Ratgeber
Ratgeber

Was sind Tokens? Einfach erklärt für KI-Anfänger

Bei KI begegnet dir früher oder später das Wort Tokens. Gemeint sind kleine Textbausteine. Hier erfährst du ohne Vorwissen, was sie mit deinen Fragen, den Antworten und den Grenzen eines KI-Chats zu tun haben.

KI-GrundlagenAnfänger

Du möchtest eine KI einfach etwas fragen – und plötzlich ist von Tokens, Eingabetokens oder einem Kontextfenster die Rede. Das klingt komplizierter, als es für den Alltag sein muss. Tokens sind zunächst eine technische Einheit, mit der KI-Systeme Text verarbeiten.

1. Ein Token ist ein kleiner Textbaustein

Stell dir einen Satz wie eine Reihe von Bausteinen vor. Bevor ein Sprachmodell damit arbeitet, wird der Text in kleine Stücke zerlegt. Diese Stücke heißen Tokens. Die Zerlegung übernimmt eine Software, ein sogenannter Tokenizer.

Ein Token kann ein ganzes Wort sein, aber auch nur ein Wortteil oder ein Satzzeichen. Auch Leerzeichen können zu einem Token gehören. Ein langes oder ungewöhnliches Wort kann deshalb aus mehreren Tokens bestehen.

Wichtig ist: Ein Token ist nicht automatisch ein Wort. Es ist auch keine vollständige Nachricht und in diesem Zusammenhang keine Kryptowährung. Wenn du „Hallo“ schreibst, wird der Text technisch anders gezählt als eine lange E-Mail – auch wenn beides jeweils eine Nachricht ist.

Vereinfachte Illustration: Ein Satz wird in kleine Textbausteine zerlegt; tatsächliche Token-Grenzen hängen vom Modell ab

Illustration: Ewando. Schematische Darstellung, keine exakte Tokenisierung.

Die Grafik zeigt das Prinzip vereinfacht. Wo die tatsächlichen Grenzen liegen, hängt vom verwendeten Modell und dessen Tokenizer ab. Deshalb gibt es auch keine feste Umrechnung, nach der eine bestimmte Anzahl deutscher Wörter immer genau dieselbe Anzahl Tokens ergibt.

2. Deine Frage und die Antwort zählen beide

Bei der KI-Nutzung unterscheidet man zwei grundlegende Richtungen:

  • Eingabetokens: Informationen, die das Modell für eine Anfrage erhält, etwa deine Aufgabe und beigefügte Texte.

  • Ausgabetokens: Inhalte, die das Modell bei der Bearbeitung erzeugt.

Ein Beispiel: Du lässt einen langen Brief in fünf Stichpunkten zusammenfassen. Der Brief und deine Anweisung gehören zur Eingabe. Die erzeugte Zusammenfassung gehört zur Ausgabe.

In einem laufenden Gespräch können außerdem frühere Nachrichten zur nächsten Anfrage gehören. Deine kurze Nachfrage „Und was bedeutet das?“ ist dann nur ein Teil der gesamten Eingabe.

3. Das Kontextfenster ist der Arbeitstisch der KI

Stell dir vor, die KI hat einen Arbeitstisch, auf dem die Informationen für die aktuelle Aufgabe liegen. Dieser Tisch ist groß, aber begrenzt. Seine Größe wird als Kontextfenster bezeichnet und in Tokens angegeben.

Auf diesen Tisch müssen die benötigten Eingaben und der Platz für die entstehende Antwort passen. Je nach Modell kommen weitere interne Verarbeitungsschritte hinzu. Außerdem kann es eine eigene Grenze für die Länge einer einzelnen Antwort geben.

Bei sehr langen Gesprächen oder umfangreichen Dokumenten muss eine Anwendung den verfügbaren Platz verwalten. Sie kann Informationen beispielsweise zusammenfassen oder nur einen Teil des Materials berücksichtigen. Wie das passiert, hängt vom Dienst ab.

Ein großes Kontextfenster bedeutet deshalb nicht, dass die KI jede Einzelheit dauerhaft und fehlerfrei im Gedächtnis behält. Wichtige Vorgaben solltest du bei längeren Aufgaben gelegentlich knapp wiederholen.

4. Warum tauchen Tokens bei Preisen auf?

Bei technischen Schnittstellen, sogenannten APIs, werden Tokenmengen häufig für die Abrechnung verwendet. Eine API verbindet zum Beispiel eine eigene Software mit einem KI-Modell. Anbieter können für Eingabe und Ausgabe unterschiedliche Preise ansetzen.

Welche Kosten dir entstehen, hängt vom verwendeten Dienst und Tarif ab. Die Tokenpreise einer API lassen sich nicht direkt auf ein Chat-Abo übertragen. Du musst als Anfänger deshalb nicht bei jedem Satz einen Tokenzähler im Kopf mitlaufen lassen.

Auch die sichtbare Antwortlänge zeigt nicht immer den gesamten Verbrauch: Manche Modelle erzeugen zusätzlich Tokens für interne Verarbeitung. Für eine genaue technische Abrechnung sind die Nutzungsangaben des Anbieters entscheidend.

5. Was heißt das für deine tägliche Nutzung?

  • Gib relevante Informationen mit: Die KI braucht deine Aufgabe, das Ziel und den passenden Hintergrund. Unnötige Textmengen helfen selten.

  • Wünsche eine passende Antwortlänge: „Fasse es in fünf Stichpunkten zusammen“ ist oft hilfreicher als eine beliebig lange Antwort.

  • Behalte bei langen Aufgaben den Überblick: Erstelle eine kurze Zusammenfassung der wichtigen Vorgaben, bevor du an einem anderen Punkt weiterarbeitest.

Du musst Tokens nicht selbst zählen, um KI sinnvoll zu nutzen. Es reicht zunächst, sie als kleine Verarbeitungseinheiten zu verstehen. Sie erklären, warum Textmenge, Antwortlänge und der verfügbare Gesprächskontext Grenzen haben.

Wenn du weitere KI-Begriffe verständlich kennenlernen und erste Anwendungen ausprobieren möchtest, begleitet dich der kostenlose KI-Starterkurs Schritt für Schritt.

Mehr als Ratgeber
KI richtig lernen – auf deinem Level.
Kurse ansehen

← Alle Beiträge

↑