Was ist mit „Kontext“ gemeint?
Kontext umfasst die Informationen, die ein Sprachmodell während einer aktiven Verarbeitung berücksichtigen kann: Systemanweisungen, Verlauf, aktuelle Frage, eingefügte Dokumentauszüge, Werkzeugdefinitionen und weitere Eingaben. Auch die erzeugte Antwort benötigt Platz innerhalb des jeweiligen Limits.
Ein Token ist nicht gleichbedeutend mit einem Wort. Die Aufteilung hängt vom Tokenizer und der Sprache ab. 8.000 Tokens sind deshalb weder exakt 8.000 Wörter noch eine feste Zahl von Zeichen.
Drei Zahlen, die nicht verwechselt werden sollten
| Begriff | Bedeutung |
|---|---|
| Unterstützte Modelllänge | Welche maximale Sequenzlänge der Modellanbieter bzw. die Architektur angibt. |
| Eingestellte Runtime-Länge | Welches Kontextlimit Ihre lokale Software tatsächlich konfiguriert. |
| Benötigter Arbeitskontext | Wie viele relevante Informationen Ihre konkrete Aufgabe vernünftigerweise braucht. |
Ein Modell kann beispielsweise ein sehr großes Kontextfenster unterstützen, während Ihre lokale Runtime einen kleineren Wert verwendet. Eine Erhöhung der Einstellung verbessert deshalb nicht automatisch die Antwort.
Warum lange Kontexte RAM und VRAM beanspruchen
Sprachmodelle erstellen neue Tokens schrittweise. Für die Aufmerksamkeit gegenüber früheren Tokens können bereits berechnete Schlüssel- und Werteinformationen zwischengespeichert werden – im sogenannten KV-Cache. Dieser erspart viele Wiederholungsberechnungen, benötigt aber seinerseits Speicher.
Bei längeren Sequenzen muss mehr vergangener Kontext repräsentiert werden. Wie stark der Speicherverbrauch steigt, hängt unter anderem von Anzahl und Aufbau der Attention-Layer, Cache-Datentyp, Anzahl paralleler Sequenzen und Runtime ab. Sliding-Window-Verfahren oder quantisierte beziehungsweise ausgelagerte Caches verändern diese Beziehung. Eine feste Formel „ein Token kostet immer X MB“ wäre irreführend.
Auch die Modellgewichte, temporäre Rechenpuffer und andere Windows-Anwendungen belegen Speicher. Deshalb kann ein Modell mit kurzem Prompt passen und bei sehr langem Kontext plötzlich auf CPU-Verarbeitung ausweichen oder zu wenig Speicher haben.
Beispiel: Ein kleineres Fenster sinnvoll ausnutzen
Sie möchten eine technische Fehlersuche dokumentieren. Statt alle bisherigen Chatverläufe, ungekürzte Logdateien und irrelevante Webseiten auf einmal einzufügen, übertragen Sie die Zieldefinition, den aktuellen Systemzustand, wichtige Fehlermeldungen und die letzten erfolgreichen Prüfungen. Die Originalquellen bleiben separat erhalten und können bei Bedarf gezielt eingebunden werden.
So reduziert sich Kontextverbrauch, ohne dass die nachprüfbare Grundlage verloren geht. Entscheidend ist, dass die Verdichtung nicht aus einer unsicheren Vermutung eine vermeintlich feststehende Tatsache macht.
So testen Sie die passende Kontextlänge
- Starten Sie mit einem realistischen, kleinen Kontextwert, den Ihr Modell und die Runtime unterstützen.
- Testen Sie die Aufgabe mit dem tatsächlich benötigten Dokumentumfang und etwas Reserve für die Antwort.
- Beobachten Sie RAM, VRAM, Promptverarbeitungszeit und Antwortqualität.
- Erhöhen Sie das Limit nur schrittweise. Ändern Sie dabei möglichst keine anderen Parameter.
- Prüfen Sie, ob Details aus dem frühen Dokumentteil korrekt berücksichtigt werden und die Antwort weiterhin belegbar ist.
Was ein größeres Fenster nicht repariert
- Es garantiert keine sachliche Richtigkeit und beseitigt keine Halluzinationen.
- Es ersetzt keine geeigneten Dokumentquellen, Suchstrategie oder strukturierte Ablage.
- Es macht ein schwaches Modell nicht automatisch zu einem zuverlässigen autonomen Agenten.
- Es schützt nicht davor, dass ein Modell wichtige Aussagen trotz vorhandenem Kontext übersieht.
Technische Referenz
Die Hugging-Face-Dokumentation zu KV-Cache-Strategien beschreibt die verschiedenen Speicher- und Geschwindigkeitskompromisse. Weitere Hinweise zu lokalen Einstellungen finden Sie in der Ollama-Kontextdokumentation.
Fazit
Die richtige Kontextgröße ist eine messbare Entscheidung, keine möglichst hohe Zahl. Setzen Sie auf relevante Informationen, klare Aufgaben und ausreichend Hardware-Reserve. Erst wenn reale Tests zeigen, dass Kontext fehlt, erhöhen Sie den Wert.