Lokale KI einrichten

Welche KI-Modelle passen auf 4 GB Grafikspeicher? Quantisierung in Ollama erklärt (gemessen)

von Cengiz · 22. November 2026 · 4 Min. Lesezeit

Werbung: Dieser Beitrag enthält Affiliate-Links (mit * markiert). Kaufst du darüber etwas, bekomme ich eine kleine Provision – der Preis bleibt für dich gleich.

Auf einer Grafikkarte mit 4 GB Grafikspeicher stellt sich bei jedem neuen Modell dieselbe Frage: Passt das noch drauf? Die Antwort hängt an zwei Dingen, an der Größe des Modells und an seiner Quantisierung. Hier erkläre ich beides und zeige, was ich auf meinem Laptop gemessen habe (MSI mit GTX 1050, 4 GB, 32 GB Arbeitsspeicher).

Ob ein bestimmtes Modell auf deinem Gerät läuft, zeigt dir der Rechner Läuft das bei mir?.

Was Quantisierung bedeutet

Ein Sprachmodell besteht aus Milliarden Zahlen, den sogenannten Gewichten. Im Original speichert man jede Zahl mit 16 Bit. Bei der Quantisierung werden die Zahlen gröber gespeichert, zum Beispiel mit 8 oder etwa 4 Bit. Die Datei wird dadurch viel kleiner, das Modell rechnet aber auch etwas ungenauer.

Als grobe Faustregel für die Dateigröße:

Modellgröße 16 Bit (Original) 8 Bit (q8_0) etwa 4 Bit (q4_K_M)
3 Milliarden Parameter (3B) ca. 6 GB ca. 3,2 GB ca. 2 GB
7 Milliarden Parameter (7B) ca. 15 GB ca. 8 GB ca. 4,7 GB

Dazu kommt beim Laufen noch etwas Speicher für den Gesprächsverlauf. Der Rechner rechnet deshalb mit Modellgröße plus etwa 0,8 GB.

Welche Quantisierung Ollama benutzt

Die gute Nachricht: Du musst meist nichts einstellen. Wenn du ein Modell ohne Zusatz lädt, zum Beispiel mit ollama pull llama3.2:3b, bekommst du bei den meisten Modellen schon eine 4-Bit-Fassung (Q4_K_M). Das ist für kleine Grafikkarten der übliche Kompromiss.

Welche Quantisierung ein Modell hat, zeigt dir dieser Befehl:

ollama show llama3.2:3b

In der Ausgabe steht dann eine Zeile quantization mit dem Wert, zum Beispiel Q4_K_M.

Viele Modelle gibt es zusätzlich in anderen Stufen. Die Stufe steht dann hinten im Modellnamen, zum Beispiel q8_0 für 8 Bit. Welche Namen es gibt, siehst du auf der Seite des Modells unter ollama.com bei „Tags“. Auf 4 GB lohnt sich eine 8-Bit-Fassung nur bei sehr kleinen Modellen, weil sie fast doppelt so groß ist.

Tipp: Noch stärker geschrumpfte Stufen wie q2_K oder q3_K_S sparen weiteren Platz, verlieren aber spürbar an Qualität. Ich würde lieber ein kleineres Modell in 4 Bit nehmen als ein großes in 2 Bit.

Gemessen: Was auf 4 GB wirklich läuft

So schnell haben die Modelle bei mir geantwortet, alle in der Standard-Fassung von Ollama. „Auf der Grafikkarte“ zeigt, welcher Anteil des Modells in den Grafikspeicher gepasst hat. Der Rest läuft auf dem Prozessor, und der ist viel langsamer.

Modell Speicher gesamt Auf der Grafikkarte Antwort
llama3.2:1b 1,4 GB 100 % 44,9 Token/s
qwen2.5:1.5b 1,0 GB 100 % 36,9 Token/s
llama3.2:3b 2,2 GB 100 % 24,0 Token/s
qwen3:4b-instruct 3,0 GB 75 % 14,5 Token/s
gemma3:4b 3,2 GB 50 % 11,9 Token/s
qwen2.5:7b 4,7 GB 48 % 6,5 Token/s

Bis etwa 2,2 GB passt das ganze Modell auf meine Grafikkarte, und die Antworten kommen sehr flüssig. Ab den 4B-Modellen muss Ollama aufteilen, das Tempo fällt deutlich. Ein 7B-Modell läuft zwar noch, mit 6,5 Token/s aber eher zäh.

Der Trick für 4B-Modelle

Bei den 4B-Modellen lässt Ollama oft Platz auf der Grafikkarte ungenutzt. Mit der Einstellung num_gpu 99 zwingst du das ganze Modell in den Grafikspeicher. Bei mir hat das viel gebracht:

Modell Ohne Einstellung Mit num_gpu 99
gemma3:4b 11,9 Token/s 18,0 Token/s
qwen3:4b-instruct 14,5 Token/s 18,2 Token/s
qwen2.5:7b 6,5 Token/s 3,2 Token/s

Achtung: Bei 7B-Modellen geht der Trick nach hinten los. Das Modell passt nicht ganz hinein, und es wird nur halb so schnell. Für 7B lass die Einstellung also weg.

Wie du num_gpu einstellst, steht im Artikel Ollama nutzt deine 4-GB-Grafikkarte nicht voll.

Wenn ein Teil auf dem Prozessor läuft

Passt ein Modell nicht ganz in den Grafikspeicher, landet der Rest im normalen Arbeitsspeicher. Ein 7B-Modell braucht dort schnell mehrere Gigabyte zusätzlich. Mit 8 GB Arbeitsspeicher wird es dann eng, weil Windows und der Browser auch Platz brauchen. Ist der Arbeitsspeicher voll, lagert Windows auf die Festplatte aus, und die Antworten werden extrem langsam.

Mit 16 GB oder mehr bist du auf der sicheren Seite. Wenn sich dein Laptop aufrüsten lässt, findest du eine Auswahl bei Arbeitsspeicher bei Coolblue*.

Meine Empfehlung für 4 GB

  • Für flüssige Antworten: Modelle bis 3B, zum Beispiel llama3.2:3b. Sie passen komplett auf die Grafikkarte.
  • Für bessere Antworten: 4B-Modelle wie qwen3:4b-instruct oder gemma3:4b, mit num_gpu 99.
  • Wenn es auf Qualität ankommt und Zeit keine Rolle spielt: 7B-Modelle in der Standard-Fassung, ohne num_gpu.

Bleib bei der Standard-Quantisierung von Ollama. Sie ist für kleine Grafikkarten der beste Kompromiss.

Wenn dein Laptop für lokale KI zu langsam ist: Was sich beim Aufrüsten wirklich lohnt, steht in der Übersicht zum Aufrüsten. Und wenn ein neues Gerät her soll: Welche Grafikkarte wie viel Grafikspeicher hat, zeigt die Kaufberatung nach Grafikspeicher.

Unsere Partner

Werbung: Die Banner und Knöpfe hier sind Partnerlinks. Kaufst du darüber etwas, bekomme ich eine kleine Provision – der Preis bleibt für dich gleich. Als Amazon-Partner verdiene ich an qualifizierten Verkäufen.

Foto von Cengiz

Hi, ich bin Cengiz.

Auf meinem alten Gaming-Laptop mit GTX 1050 (4 GB) habe ich mir einen eigenen KI-Assistenten mit Sprachsteuerung gebaut – mit Ollama und Open WebUI, ganz lokal. Hier schreibe ich auf, was auf älterer Hardware wirklich läuft und was nicht. Jeder Artikel ist von mir geprüft und freigegeben.

Mehr über mich und den Blog · ▶ Meine Videos auf YouTube

Passt dazu