Lokale KI einrichten

Lokale Sprachsteuerung: Whisper mit Ollama und Open WebUI nutzen

von Cengiz · 1. November 2026 · 4 Min. Lesezeit

Werbung: Dieser Beitrag enthält Affiliate-Links (mit * markiert). Kaufst du darüber etwas, bekomme ich eine kleine Provision – der Preis bleibt für dich gleich. Als Amazon-Partner verdiene ich an qualifizierten Verkäufen.

Statt zu tippen, kann ich mit meiner lokalen KI auch sprechen: In Open WebUI klicke ich auf das Mikrofon, rede, und der Text steht im Chatfenster – ohne dass meine Stimme an einen Cloud-Dienst geht. Hier zeige ich, wie das zusammenspielt, wo die Einstellung versteckt ist und welche Modellgröße ich nutze.

Wer macht was? Whisper, Ollama und Open WebUI

Oft liest man, dass Ollama die Spracherkennung übernimmt. Das stimmt nicht – die Arbeit ist aufgeteilt:

  • Whisper wandelt deine Sprache in Text um. Open WebUI bringt dafür faster-whisper gleich mit, eine schnellere Umsetzung des Whisper-Modells.
  • Ollama bekommt danach nur den fertigen Text und erzeugt die Antwort mit deinem Sprachmodell – genauso, als hättest du getippt.
  • Open WebUI verbindet beides: Mikrofon-Knopf, Chatfenster und auf Wunsch das Vorlesen der Antwort.

Du musst für die Spracheingabe also nichts in Ollama installieren.

Die Einstellung in Open WebUI

Bei mir (Open WebUI Desktop) findest du sie hier: Einstellungen → Administrator → Werkzeuge → Audio. Im Bereich Sprache-zu-Text stehen zwei Felder:

Feld Meine Einstellung Bedeutung
Sprache-zu-Text-Engine Whisper (Lokal) Erkennung läuft auf deinem Rechner
STT-Modell base Größe des Whisper-Modells

Darunter, bei Text-zu-Sprache, steht bei mir „Web-API“. Damit liest Open WebUI Antworten mit der Stimme vor, die dein System bzw. Browser mitbringt – ebenfalls ohne eigenen Cloud-Dienst.

Achtung: Das Whisper-Modell lädt Open WebUI erst beim ersten Gebrauch herunter. Bei mir lag es zunächst gar nicht auf der Festplatte – offline kam deshalb nur eine Fehlermeldung. Benutz das Mikrofon also einmal mit Internet. Danach lief die Spracheingabe bei mir auch offline. Meinen ganzen Offline-Test findest du in Open WebUI ohne Internet: Diese Fehler sind mir begegnet.

Welche Modellgröße?

Whisper gibt es in mehreren Größen – grob: tiny, base, small, medium, large. Größer erkennt genauer, braucht aber mehr Rechenzeit und Speicher.

Ich nutze in Open WebUI die Standardeinstellung base, und für mein Deutsch reicht das völlig: Mit meinem Headset (Teufel ZOLA) erkennt es bei normaler Sprechweise praktisch fehlerfrei. Einen Grund, größer zu gehen, hatte ich bisher nicht.

Auch mein selbstgebauter Assistent Jarvis nutzt im lokalen Modus faster-whisper. Dort kann ich zwischen tiny, base, small und medium wählen – vorgegeben ist small. Wie der Assistent aufgebaut ist, steht in KI-Assistent per Telegram: So steuere ich Jarvis vom Handy aus.

Meine Empfehlung für alte Laptops: Fang mit base an. Nur wenn dir Fehler bei Fachbegriffen oder Namen auffallen, probier small.

Achtung: Whisper und das Sprachmodell teilen sich deinen Rechner. Auf einer Grafikkarte mit 4 GB ist der Platz knapp – wenn die Antwort nach der Spracheingabe plötzlich langsamer kommt, ist ein kleineres Whisper-Modell oder ein kleineres Sprachmodell die erste Stellschraube. Was auf deinem Gerät überhaupt flüssig läuft, zeigt der Rechner Läuft das bei mir?.

Das Mikrofon macht den Unterschied

Whisper kann nur erkennen, was sauber ankommt. Das eingebaute Laptop-Mikrofon nimmt Lüfter und Raumhall mit auf – gerade wenn das Sprachmodell gleichzeitig rechnet und der Lüfter hochdreht. Ein Headset sitzt nah am Mund und blendet das weitgehend aus. Ich nutze deshalb ein Headset statt des eingebauten Mikrofons.

Welche Mikrofon-Arten sich für einen Sprachassistenten eignen, habe ich ausführlich im Artikel Welches Mikrofon für den KI-Sprachassistenten am Laptop? beschrieben.

Schritt für Schritt

  1. In Open WebUI Einstellungen → Administrator → Werkzeuge → Audio öffnen.
  2. Bei Sprache-zu-Text-Engine „Whisper (Lokal)“ wählen.
  3. Bei STT-Modell „base“ eintragen, das Modell über den Knopf daneben herunterladen und Speichern klicken.
  4. In Windows prüfen, ob das richtige Mikrofon als Standard eingestellt ist (Einstellungen → System → Sound → Eingabe).
  5. Im Chat auf das Mikrofon-Symbol klicken, sprechen, fertig. Beim ersten Mal fragt der Browser bzw. die App nach der Erlaubnis für das Mikrofon – und das erste Mal sollte mit Internet sein, damit das Modell geladen wird.

Grenzen

  • Wie lange die Erkennung dauert, habe ich nicht gemessen – das hängt von Modellgröße und Satzlänge ab.
  • Mit Dialekt, Nuscheln oder vielen Fachbegriffen kann es mehr Fehler geben. Dann hilft ein größeres Modell, kostet aber Tempo.
  • Kommt die Meldung open() got an unexpected keyword argument 'metadata_errors', passen bei Open WebUI Desktop zwei mitgelieferte Bibliotheken nicht zusammen. Wie ich das gelöst habe, steht im Offline-Artikel.
  • Whisper erkennt nur Sprache. Ein „Hey Jarvis“-Aufwachwort oder echte Sprachbefehle für den PC sind damit noch nicht eingerichtet – dafür braucht es zusätzliche Programme.

Wenn dein Laptop für lokale KI zu langsam ist: Was sich beim Aufrüsten wirklich lohnt, steht in der Übersicht zum Aufrüsten. Und wenn ein neues Gerät her soll: Welche Grafikkarte wie viel Grafikspeicher hat, zeigt die Kaufberatung nach Grafikspeicher.

Unsere Partner

Werbung: Die Banner und Knöpfe hier sind Partnerlinks. Kaufst du darüber etwas, bekomme ich eine kleine Provision – der Preis bleibt für dich gleich. Als Amazon-Partner verdiene ich an qualifizierten Verkäufen.

Foto von Cengiz

Hi, ich bin Cengiz.

Auf meinem alten Gaming-Laptop mit GTX 1050 (4 GB) habe ich mir einen eigenen KI-Assistenten mit Sprachsteuerung gebaut – mit Ollama und Open WebUI, ganz lokal. Hier schreibe ich auf, was auf älterer Hardware wirklich läuft und was nicht. Jeder Artikel ist von mir geprüft und freigegeben.

Mehr über mich und den Blog · ▶ Meine Videos auf YouTube

Passt dazu