1. Was kann Ihr Windows-PC tatsächlich leisten?
Öffnen Sie den Task-Manager und notieren Sie den Prozessor, den gesamten Arbeitsspeicher, die Grafikkarte und ihren dedizierten Grafikspeicher. Prüfen Sie außerdem freien SSD-Speicher. Die Modellgewichte benötigen Platz auf der Festplatte; während der Ausführung beanspruchen Runtime, Windows, Kontext und Modell weitere Ressourcen.
Die verfügbare RAM-Menge allein entscheidet nicht darüber, wie schnell das Modell arbeitet. Eine GPU kann die Berechnung beschleunigen, wenn das Modell oder wesentliche Teile davon in deren VRAM passen. Bei CPU-Ausführung oder Teil-Auslagerung sind andere Kompromisse nötig. Unser RAM-Guide erklärt diese Unterscheidung genauer.
2. Eine passende Laufzeitumgebung auswählen
Ollama
Ein unkomplizierter Einstieg, wenn Sie ein lokales Modell über Terminal oder Anwendungen mit lokaler API verwenden möchten. Versionen, Hardwareunterstützung und Modelle sind den offiziellen Hinweisen zu entnehmen.
Offizielle Windows-Dokumentation →LM Studio
Eine übersichtliche Variante für alle, die Modelle im Fenster auswählen, Parameter ansehen und Prompts ausprobieren möchten. Achten Sie auch hier auf Modellformat und die tatsächliche GPU-Auslastung.
Offizielle Dokumentation →Für fortgeschrittene Nutzer bieten llama.cpp und weitere Backends zusätzliche Konfiguration. Installieren Sie jedoch nicht mehrere Runtimes gleichzeitig, bevor Sie mit einer davon einen stabilen Referenztest durchgeführt haben.
3. Das erste Modell: lieber kleiner und brauchbar
Beginnen Sie mit einem Modell, das deutlich innerhalb Ihrer Ressourcen liegt. Beachten Sie Parameterzahl und Dateigröße sowie die Quantisierungsstufe, beispielsweise Q4 oder Q5. Ein Modell, das gerade noch lädt, kann bei langen Kontexten oder geöffneten Windows-Anwendungen unbrauchbar langsam werden.
Wichtig: Die Angabe „8B“ benennt ungefähr acht Milliarden Parameter. Sie sagt nicht, dass das Modell 8 GB RAM braucht. Der tatsächliche Bedarf hängt unter anderem von Format, Quantisierung, Runtime und Kontext ab.
4. Beispiel: Modell mit Ollama ausprobieren
Installieren Sie Ollama über die offizielle Seite. Öffnen Sie danach PowerShell. Ein Modell wird über das in der Bibliothek angegebene Modellkennzeichen gestartet. Schematisch sieht der Aufruf so aus:
ollama run <modellkennung>Ersetzen Sie <modellkennung> durch einen tatsächlich verfügbaren Bibliothekseintrag. Der Platzhalter ist kein ausführbarer Modellname. Prüfen Sie anhand der offiziellen Modellbibliothek, ob Größe und Lizenz zu Ihrem Vorhaben passen.
Für eine erste Kontrolle können Sie mit ollama ps die geladenen Modelle und – je nach Version – die Verteilung auf CPU und GPU ansehen. Der Task-Manager zeigt zusätzlich den Verlauf der Ressourcenbelegung. Dass die GPU „beschäftigt“ aussieht, belegt noch keine ausreichende Modellqualität.
5. Aus einem Funktionstest einen Praxistest machen
- Beginnen Sie mit einer kurzen, fachlich überprüfbaren Aufgabe und notieren Sie Eingabe und erwartetes Ergebnis.
- Führen Sie denselben Prompt erneut aus, ohne gleichzeitig sämtliche Einstellungen zu ändern.
- Prüfen Sie Fakten, logische Schritte und das gewünschte Ausgabeformat anhand einer unabhängigen Quelle oder eigener Testdaten.
- Erhöhen Sie dann den Kontext schrittweise, etwa durch ein längeres Dokument, und beobachten Sie Speicher, Geschwindigkeit und Fehler.
- Vergleichen Sie erst danach andere Quantisierungen oder Modelle unter denselben Bedingungen.
Für Agenten und Computersteuerung reicht ein schöner Chattext als Test nicht aus. Dann müssen auch Werkzeugzugriffe, Berechtigungen, Abbruchbedingungen und echte Endergebnisse geprüft werden.
6. Häufige Fehlannahmen
- „Das Modell startet, also ist der PC geeignet.“ Nicht zwingend. Längere Aufgaben können zusätzlich RAM oder VRAM benötigen und viel langsamer werden.
- „Mehr Parameter bedeuten immer bessere Ergebnisse.“ Nicht für jede Aufgabe. Prompt, Modelltraining, Quantisierung und Testkriterium entscheiden mit.
- „Lokal bedeutet automatisch privat und sicher.“ Die Datenverarbeitung hängt auch von Anwendungen, Downloads, Erweiterungen, Netzwerkaufrufen und der Konfiguration ab.
- „Ich brauche sofort das größte Kontextfenster.“ Unnötig großer Kontext kostet Speicher und kann die Arbeit erschweren.
Fazit
Die beste lokale Installation ist nicht die mit der größten Modellzahl auf dem Papier, sondern diejenige, die Ihre konkreten Aufgaben wiederholbar und überprüfbar bewältigt. Beginnen Sie mit einem schlanken, messbaren Aufbau und erweitern Sie ihn nur, wenn der Nutzen sichtbar wird.