1. RAM und VRAM haben unterschiedliche Aufgaben
RAM ist der Hauptarbeitsspeicher Ihres Computers. Windows, Browser, Hintergrundprogramme und Modelle, die auf der CPU arbeiten, greifen darauf zu. VRAM sitzt auf der Grafikkarte und wird für die Berechnung auf der GPU verwendet. Je mehr Modellteile dort Platz finden, desto weniger müssen beim Ausführen über den langsameren Weg zwischen CPU und GPU verarbeitet werden.
Eine Grafikkarte mit reichlich VRAM ersetzt deshalb keinen vollgelaufenen Hauptspeicher. Umgekehrt lässt sich mit viel RAM manches Modell zwar starten, das ohne ausreichenden VRAM deutlich langsamer arbeiten kann.
RAM
Windows und andere Anwendungen · CPU-seitige Modellgewichte · Teile des Kontexts und der Laufzeitumgebung · Sicherheitsreserve für weitere Aufgaben
VRAM
Modellgewichte auf der GPU · Zwischenergebnisse der GPU-Berechnung · je nach Laufzeit auch Teile des KV-Caches und der Kontextverarbeitung
2. Was bedeuten 8, 16, 32 oder 64 GB?
| RAM | Praktische Einordnung |
|---|---|
| 8 GB | Sehr wenig Reserve unter Windows. Für kleine, stark quantisierte Modelle oder erste Tests denkbar, für parallele Arbeit meist unkomfortabel. |
| 16 GB | Brauchbarer Einstieg für kleinere lokale Modelle und gezielte Experimente. Browser, IDE und Modell teilen sich den Speicher. |
| 32 GB | Ein guter allgemeiner Zielwert für eine Windows-Arbeitsstation, auf der lokale KI und normale Anwendungen gemeinsam laufen sollen. |
| 64 GB oder mehr | Sinnvoll bei großen CPU- oder Hybrid-Modellen, langen Kontexten, vielen parallel geöffneten Anwendungen oder speicherintensiven Entwicklungsaufgaben. |
Diese Werte sagen nicht, welches konkrete Modell garantiert geladen werden kann. Ein 7B-Modell mit 4-Bit-Quantisierung, ein 30B-Modell und dieselbe Modellfamilie mit höheren Präzisionsstufen haben sehr unterschiedliche Anforderungen. Auch der verwendete Laufzeitdienst zählt.
3. Quantisierung verändert den Speicherbedarf
Bei der Quantisierung werden Modellgewichte mit weniger Bits gespeichert. Dadurch sinkt die benötigte Speichermenge häufig erheblich. Die Entscheidung ist jedoch nicht kostenlos: Qualität und Genauigkeit können sich je nach Modell, Quantisierungsverfahren und Aufgabe verändern.
Eine Angabe wie „8B“ beschreibt nur ungefähr die Zahl der Modellparameter. Sie sagt noch nicht, wie viel RAM oder VRAM der konkrete Modelldownload während der Ausführung benötigt. Prüfen Sie Modellformat, Quantisierung, Runtime und verfügbaren Speicher immer zusammen.
4. Lange Kontexte kosten zusätzlichen Speicher
Ein größeres Kontextfenster ermöglicht es, längere Dokumente, Chatverläufe oder Werkzeuginformationen zu berücksichtigen. Bei der Verarbeitung werden allerdings zusätzliche Zwischendaten benötigt, etwa im sogenannten KV-Cache. Dieser Speicherbedarf wächst mit der genutzten Kontextlänge und hängt von der Architektur des Modells und der Runtime ab.
Ein Modell, das bei einer kurzen Frage problemlos läuft, kann bei großem Kontext, mehreren Dokumenten oder gleichzeitiger Nutzung mehr Speicher beanspruchen. Für reale Arbeitsabläufe ist deshalb nicht nur die Modellgröße entscheidend.
5. Wann sollten Sie RAM und wann VRAM aufrüsten?
- RAM zuerst: Wenn Windows bereits ohne KI fast voll ist, Programme auslagert oder mehrere Anwendungen parallel benötigt werden.
- VRAM zuerst: Wenn noch reichlich RAM frei ist, die Runtime aber viele Modellschichten auf die CPU auslagern muss und die GPU-Ausführung dadurch stark gebremst wird.
- Vor dem Kauf messen: Sehen Sie sich die tatsächliche Speicherauslastung, die Laufzeitprotokolle und die GPU-/CPU-Verteilung des konkreten Modells an.
Nutzen Sie für eine erste Einschätzung unseren Local AI Readiness Check (EN). Er ersetzt keinen Praxistest, zeigt aber, welche Hardwaregrenzen Sie zuerst betrachten sollten.
6. Ein einfacher Test auf Ihrem Windows-PC
- Schließen Sie unnötige Programme und notieren Sie die aktuelle RAM- und VRAM-Belegung.
- Starten Sie das gewünschte Modell mit einer klar definierten Quantisierung und moderater Kontextlänge.
- Prüfen Sie im Windows-Task-Manager und im Runtime-Status, ob RAM, VRAM oder beide knapp werden.
- Wiederholen Sie denselben Test mit einem längeren Dokument oder einem realistischen Arbeitsablauf.
- Bewerten Sie nicht nur, ob das Modell startet, sondern auch Antwortzeit, Stabilität und verbleibende Systemreserve.
Bei Ollama kann beispielsweise ollama ps helfen, die Zuordnung zur CPU oder GPU einzuschätzen. Der genaue Status und die Speicheraufteilung hängen von Ihrer Installation ab.
Fazit
Für ernsthafte lokale KI-Experimente unter Windows sind 16 GB RAM ein vernünftiger Einstieg und 32 GB häufig die deutlich angenehmere Wahl. Das gilt insbesondere, wenn neben dem Modell weitere Programme laufen. Für große Modelle oder umfangreiche Kontexte kann wesentlich mehr Speicher erforderlich sein.
Entscheiden Sie anhand des konkreten Modells und Arbeitsablaufs – nicht anhand einer pauschalen Tabelle oder eines Versprechens, dass eine bestimmte Grafikkarte alles ausführen kann.
Technische Quellen und weiterführende Informationen
Ollama: Context Length Documentation (EN) erläutert die Zusammenhänge zwischen Kontextfenster und Speicherbedarf. Außerdem hilfreich: VRAM für lokale KI (EN) und die Modellwahl nach PC-Hardware (EN).
Redaktionelle Einordnung: Die beschriebenen Speicherbereiche sind Erfahrungs- und Planungswerte. Sie sind keine Messergebnisse eines bestimmten Modells und keine Zusage zur Kompatibilität. Technische Aussagen wurden gegenüber dem englischen Ausgangsguide auf sachliche Gleichwertigkeit geprüft.