Lokale KI einrichten

Ollama nutzt deine 4-GB-Grafikkarte nicht voll – so holst du mehr Tempo raus

von Cengiz · 24. Oktober 2026 · 6 Min. Lesezeit

Werbung: Dieser Beitrag enthält Affiliate-Links (mit * markiert). Kaufst du darüber etwas, bekomme ich eine kleine Provision – der Preis bleibt für dich gleich.

Bei meinen Messungen auf der GTX 1050 ist mir etwas aufgefallen: Ollama hat auf der 4-GB-Grafikkarte nie mehr als rund 2,3 GB für das Modell genutzt. Alles, was größer war, wurde teilweise auf den Prozessor ausgelagert – und dort läuft es deutlich langsamer.

Ein Blick mit nvidia-smi hat gezeigt: Während qwen3:4b lief, waren auf der Grafikkarte noch fast 1,6 GB frei. Ollama verschenkt hier also Platz. Mit einer einzigen Einstellung kannst du das ändern – bei mir liefen drei Modelle dadurch 20 bis 51 % schneller.

Tipp: Die vollständigen Messwerte aller zehn Modelle findest du im Artikel Ollama auf der GTX 1050: So schnell laufen kleine KI-Modelle. Ob ein Modell grundsätzlich zu deinem Gerät passt, zeigt dir der Rechner Läuft das bei mir?

Warum Ollama nicht alles auf die Grafikkarte legt

Ein Sprachmodell besteht aus vielen Schichten (Layern). Ollama schätzt vor dem Start, wie viele davon in den Grafikspeicher passen, und legt den Rest in den Arbeitsspeicher. Diese Schätzung ist vorsichtig – Ollama hält Platz frei, damit beim Rechnen nichts überläuft.

Auf großen Grafikkarten fällt das kaum auf. Auf einer 4-GB-Karte ist die Reserve aber ein großer Teil des gesamten Speichers. Ergebnis: Modelle um 3 GB, die eigentlich komplett hineinpassen würden, werden aufgeteilt.

Wie viele Schichten auf die Grafikkarte kommen, steuert der Parameter num_gpu. Setzt du ihn auf 99, legt Ollama alle Schichten auf die Grafikkarte (die kleinen Modelle haben deutlich weniger als 99).

Meine Messwerte: vorher und nachher

Getestet habe ich auf meinem MSI-Laptop (GTX 1050 mit 4 GB, i7-7700HQ, 32 GB RAM) mit Ollama 0.40.8. Jedes Modell bekam dieselbe Frage, maximal 256 Tokens Antwort, 4096 Tokens Kontext, Mittelwert aus zwei Durchläufen. Den belegten Grafikspeicher habe ich mit nvidia-smi gemessen.

Modell Ollama automatisch mit num_gpu 99 Unterschied Grafikspeicher belegt
gemma3:4b 11,9 t/s (50 % GPU) 18,0 t/s (100 % GPU) +51 % 3.641 von 4.096 MiB
qwen3:4b-instruct 14,5 t/s (75 % GPU) 18,2 t/s (100 % GPU) +26 % 2.862 von 4.096 MiB
phi4-mini 16,6 t/s (72 % GPU) 20,0 t/s (100 % GPU) +20 % 2.831 von 4.096 MiB
qwen2.5:7b 6,5 t/s (48 % GPU) 3,2 t/s −51 % 3.969 von 4.096 MiB

Balkendiagramm: Tokens pro Sekunde mit Ollama automatisch gegen num_gpu 99 auf der GTX 1050 – gemma3:4b 11,9 zu 18,0, qwen3:4b-instruct 14,5 zu 18,2, phi4-mini 16,6 zu 20,0, qwen2.5:7b 6,5 zu 3,2

Bei den drei kleinen Modellen lohnt sich die Einstellung klar. Am meisten profitiert gemma3:4b: Ollama hatte es nur zur Hälfte auf die Grafikkarte gelegt, mit num_gpu 99 läuft es eineinhalbmal so schnell. Auch die Ladezeit sank bei qwen3:4b und phi4-mini von gut 10 auf unter 4 Sekunden.

Bei qwen2.5:7b ging der Versuch nach hinten los – dazu gleich mehr.

So probierst du es aus

Starte das Modell wie gewohnt mit Zeitmessung:

ollama run qwen3:4b-instruct --verbose

Gib im Chat zuerst diese Zeile ein:

/set parameter num_gpu 99

Stell dann eine Frage. Am Ende der Antwort steht die eval rate in Tokens pro Sekunde. Öffne parallel ein zweites Terminal und prüfe:

ollama ps
nvidia-smi --query-gpu=memory.used,memory.free --format=csv

Bei ollama ps sollte in der Spalte PROCESSOR jetzt „100% GPU“ stehen. Wichtiger ist aber die zweite Zeile: Bleiben noch einige hundert MiB frei, passt das Modell. Ist der Speicher fast komplett belegt, ist es zu groß (siehe unten).

Die Einstellung gilt nur für diesen Chat. Mit /bye ist sie wieder weg.

Dauerhaft speichern mit einem Modelfile

Damit du die Einstellung nicht jedes Mal neu setzen musst, legst du eine eigene Variante des Modells an. Erstelle eine Textdatei mit dem Namen Modelfile (ohne Endung) und diesem Inhalt:

FROM qwen3:4b-instruct
PARAMETER num_gpu 99

Tipp: Unter Windows speichert der Editor gern als Modelfile.txt. Wähle beim Speichern bei Dateityp „Alle Dateien“ aus, dann bleibt die Endung weg.

Öffne im selben Ordner ein Terminal und erstelle daraus das neue Modell:

ollama create qwen3-4b-gpu -f Modelfile

Den Namen qwen3-4b-gpu kannst du frei wählen. Ollama lädt dabei nichts neu herunter, sondern nutzt die vorhandenen Modelldaten – die Variante kostet also kaum zusätzlichen Speicherplatz. Ab jetzt startest du einfach:

ollama run qwen3-4b-gpu

Die neue Variante erscheint auch in Oberflächen wie Open WebUI in der Modellauswahl, weil sie dort ganz normal über Ollama angezeigt wird.

Wann es nicht funktioniert

Achtung: Erzwingst du num_gpu 99 bei einem Modell, das zu groß für die Grafikkarte ist, wird es nicht schneller, sondern langsamer. Bei mir halbierte sich das Tempo von qwen2.5:7b von 6,5 auf 3,2 Tokens pro Sekunde.

Das Tückische daran: ollama ps zeigt trotzdem „100% GPU“ an. Laut nvidia-smi war die Karte aber mit 3.969 von 4.096 MiB randvoll. Vermutlich lagert der Nvidia-Treiber unter Windows den Rest dann selbst in den Arbeitsspeicher aus – und dieser Umweg ist langsamer, als wenn Ollama die Aufteilung selbst übernimmt.

Für eine 4-GB-Karte gilt bei mir deshalb:

  • Modelle bis etwa 2 GB (llama3.2:3b und kleiner) laufen ohnehin komplett auf der Grafikkarte. Hier bringt die Einstellung nichts.
  • Modelle um 3 GB (qwen3:4b, phi4-mini, gemma3:4b) sind die Kandidaten. Hier lohnt sich num_gpu 99.
  • 7B- und 8B-Modelle passen nicht hinein. Hier lässt du Ollama die Aufteilung selbst machen.

Behalte außerdem im Hinterkopf: Je länger der Chat, desto mehr Grafikspeicher braucht das Modell für den Gesprächsverlauf (den Kontext). Ich habe mit 4096 Tokens Kontext gemessen. Stellst du einen deutlich größeren Kontext ein, kann ein Modell, das vorher knapp gepasst hat, überlaufen. Prüfe in dem Fall noch einmal mit nvidia-smi.

Meine Ollama-Einstellungen

Bei mir sind zwei Umgebungsvariablen gesetzt, die zusätzlich Grafikspeicher sparen:

  • OLLAMA_FLASH_ATTENTION=1
  • OLLAMA_KV_CACHE_TYPE=q8_0

Beide verkleinern den Speicherbedarf für den Gesprächsverlauf. Ohne sie brauchen die Modelle etwas mehr Platz – gerade bei gemma3:4b, das bei mir mit 3.641 MiB schon recht knapp war, kann der Spielraum dann fehlen.

Fazit

Wenn du eine Grafikkarte mit 4 GB hast, lohnt sich ein Blick auf num_gpu. Bei Modellen um 3 GB holst du damit ohne neue Hardware spürbar mehr Tempo heraus – bei mir zwischen 20 und 51 %. Wichtig ist nur, mit nvidia-smi zu prüfen, dass noch etwas Speicher frei bleibt.

Weil die Grafikkarte dabei stärker ausgelastet ist, wird der Laptop auch wärmer. Hilfreich ist dann mehr Luft an der Unterseite.

Und wenn dir 4 GB auf Dauer zu knapp werden: Mit 8 GB Grafikspeicher laufen auch 7B- und 8B-Modelle komplett auf der Grafikkarte. Passende Geräte findest du zum Beispiel unter Notebooks bei notebooksbilliger.de*.

Tipp: Das gibt es auch als kurzes Video ohne Ton: Video-zum-num_gpu-Trick. Der Link führt zu YouTube, dort gelten die Datenschutzregeln von Google.

Wenn dein Laptop für lokale KI zu langsam ist: Was sich beim Aufrüsten wirklich lohnt, steht in der Übersicht zum Aufrüsten. Und wenn ein neues Gerät her soll: Welche Grafikkarte wie viel Grafikspeicher hat, zeigt die Kaufberatung nach Grafikspeicher.

Unsere Partner

Werbung: Die Banner und Knöpfe hier sind Partnerlinks. Kaufst du darüber etwas, bekomme ich eine kleine Provision – der Preis bleibt für dich gleich. Als Amazon-Partner verdiene ich an qualifizierten Verkäufen.

Foto von Cengiz

Hi, ich bin Cengiz.

Auf meinem alten Gaming-Laptop mit GTX 1050 (4 GB) habe ich mir einen eigenen KI-Assistenten mit Sprachsteuerung gebaut – mit Ollama und Open WebUI, ganz lokal. Hier schreibe ich auf, was auf älterer Hardware wirklich läuft und was nicht. Jeder Artikel ist von mir geprüft und freigegeben.

Mehr über mich und den Blog · ▶ Meine Videos auf YouTube

Passt dazu