Werbung: Unter diesem Beitrag stehen Werbebanner unserer Partner (Affiliate-Links). Kaufst du darüber etwas, bekomme ich eine kleine Provision – der Preis bleibt für dich gleich.
Aktualisiert am 02.11.2026: mit meiner eigenen Einrichtung und Erfahrung ergänzt.
Eigene Dokumente lokal mit KI durchsuchen
Wer lokale Künstliche Intelligenz nutzt, möchte irgendwann nicht nur allgemeine Fragen stellen, sondern die KI mit den eigenen Unterlagen arbeiten lassen – Handbücher, Notizen oder Lernmaterial im PDF-Format. Die Technik dahinter heißt RAG (Retrieval-Augmented Generation).
Ich nutze das selbst: In Open WebUI habe ich einen Assistenten namens „Llama · Skript“ angelegt, der Fragen nur aus meinen eigenen Unterlagen beantwortet – aus über 30 PDFs mit Lernmaterial. Das läuft komplett lokal auf meinem Laptop mit GTX 1050 (4 GB) und 32 GB RAM.
Tipp: Ob dein Gerät genug Leistung für lokale Modelle hat, zeigt dir der Rechner „Läuft das bei mir?“.
Wie funktioniert RAG?
Die KI muss nicht alles auswendig wissen. Stattdessen werden deine Dokumente vorher in kleine Abschnitte zerlegt und durchsuchbar gemacht. Stellst du eine Frage, sucht Open WebUI die passenden Abschnitte heraus und gibt sie zusammen mit deiner Frage an das Sprachmodell. Das Modell antwortet dann auf Grundlage dieser Textstellen.
Dafür arbeiten zwei Modelle zusammen:
- ein Einbettungsmodell, das die Texte durchsuchbar macht – bei mir
nomic-embed-text(nur rund 270 MB groß), - ein Sprachmodell, das die Antwort formuliert – bei mir
psycho-llama3.2-3b, eine eigene Variante vonllama3.2:3b.
Gerade weil die Antwort aus den Dokumenten kommt, reicht ein kleines 3B-Modell erstaunlich gut aus. Das zugrunde liegende llama3.2:3b läuft auf meiner 4-GB-Grafikkarte komplett auf der GPU – in meiner Messung mit 24 Token pro Sekunde.
Schritt 1: Einbettungsmodell laden
Lade das Einbettungsmodell über Ollama:
ollama pull nomic-embed-text
Öffne in Open WebUI die Einstellungen. Im Administrator-Bereich findest du unter „Werkzeuge“ den Punkt „Dokumente“. Weiter unten auf dieser Seite wählst du das Einbettungsmodell aus: Ollama mit nomic-embed-text. Danach unten rechts auf „Speichern“ klicken. Die genauen Menünamen können je nach Version etwas abweichen.
Auf derselben Seite stehen auch die Chunk-Größe (bei mir 1000) und die Überlappung (100). Diese Standardwerte habe ich nicht verändert – für Lernmaterial passen sie gut.
Achtung: Wechselst du das Einbettungsmodell später, müssen bereits hochgeladene Dokumente neu eingelesen werden – sonst passt die Suche nicht mehr zusammen.
Schritt 2: Einzelnes Dokument oder dauerhafter Wissensspeicher?
Open WebUI bietet zwei Wege:
- Einzelnes PDF im Chat: Über das Büroklammer-Symbol lädst du eine Datei direkt in den Chat. Praktisch für eine schnelle Frage zu einem einzelnen Dokument.
- Wissensspeicher: Im Arbeitsbereich gibt es neben „Modelle“ den Reiter „Wissen“. Dort legst du eine Sammlung an und lädst alle zugehörigen PDFs hinein. Diese Sammlung bleibt gespeichert und kann mit einem Assistenten verknüpft werden.
Für meine über 30 Lern-PDFs nutze ich den Wissensspeicher. So muss ich die Dateien nicht in jeden Chat neu hochladen. Das erste Einlesen vieler Dokumente dauert auf einem älteren Laptop eine Weile – danach geht die Suche schnell.
Schritt 3: Einen Assistenten für deine Unterlagen anlegen
Damit die KI wirklich nur aus deinen Dokumenten antwortet, lege einen eigenen Assistenten an (Arbeitsbereich → Modelle → Erstellen), wähle dein Sprachmodell und verknüpfe ihn mit dem Wissensspeicher. Wie das Anlegen genau funktioniert, zeige ich im Artikel Open WebUI: Eigene Assistenten für Aufgaben anlegen.
Entscheidend ist die Systemanweisung. So könnte sie aussehen:
Beantworte Fragen ausschließlich mit Informationen aus den bereitgestellten Dokumenten.
Wenn die Antwort dort nicht steht, sag ehrlich: "Das steht nicht in deinen Unterlagen."
Erfinde nichts dazu. Nenne, wenn möglich, aus welchem Dokument die Information stammt.
Bei mir funktioniert das sehr gut: Der Assistent findet die passenden Stellen, und wenn etwas nicht in meinen Unterlagen steht, sagt er das auch wirklich – statt sich eine Antwort auszudenken. Genau das ist bei Lernmaterial wichtig.
Schritt 4: Gute Fragen stellen
Konkrete Fragen liefern die besten Treffer, zum Beispiel:
- „Was versteht man laut meinen Unterlagen unter …?“
- „Fasse die wichtigsten Punkte zu … zusammen.“
- „In welchem Dokument wird … erklärt?“
Grenzen aus meiner Erfahrung
- Formeln und Tabellen klappen nur mittelmäßig. Beim Einlesen geht der Aufbau von Tabellen und Formeln oft teilweise verloren. Bei solchen Stellen schaue ich lieber selbst im Original nach.
- Eingescannte PDFs ohne echten Text (nur Bilder der Seiten) lassen sich normalerweise nicht durchsuchen. Prüf vorher, ob du im PDF Text markieren kannst. In den Dokument-Einstellungen gibt es zwar den Schalter „Bilder aus PDFs extrahieren (OCR)“ – den habe ich aber selbst nicht ausprobiert.
- Sehr viele Dateien auf einmal brauchen beim ersten Einlesen Zeit und Arbeitsspeicher. Lieber in Etappen hochladen.
Achtung: Meine feste Regel: Private Unterlagen und Lernmaterial gebe ich nur lokalen Modellen. Einen Wissensspeicher verknüpfe ich nie mit einem Cloud-Modell – sonst würden Teile deiner Dokumente an einen fremden Server gehen.
Tipp: Lernmaterial von Uni oder Schule ist in der Regel urheberrechtlich geschützt. Für deine eigene Nutzung auf deinem Rechner ist das kein Problem – weitergeben oder öffentlich hochladen solltest du die Dateien aber nicht.
Mehr zur Einrichtung ohne Internet findest du im Artikel Open WebUI Desktop komplett offline einrichten.
Wenn dein Laptop für lokale KI zu langsam ist: Was sich beim Aufrüsten wirklich lohnt, steht in der Übersicht zum Aufrüsten. Und wenn ein neues Gerät her soll: Welche Grafikkarte wie viel Grafikspeicher hat, zeigt die Kaufberatung nach Grafikspeicher.
Unsere Partner
Werbung: Die Banner und Knöpfe hier sind Partnerlinks. Kaufst du darüber etwas, bekomme ich eine kleine Provision – der Preis bleibt für dich gleich. Als Amazon-Partner verdiene ich an qualifizierten Verkäufen.

Hi, ich bin Cengiz.
Auf meinem alten Gaming-Laptop mit GTX 1050 (4 GB) habe ich mir einen eigenen KI-Assistenten mit Sprachsteuerung gebaut – mit Ollama und Open WebUI, ganz lokal. Hier schreibe ich auf, was auf älterer Hardware wirklich läuft und was nicht. Jeder Artikel ist von mir geprüft und freigegeben.
Mehr über mich und den Blog · ▶ Meine Videos auf YouTube

