Enterprise Knowledge Assistant
Eine Referenzarchitektur für einen internen Wissensassistenten, der Fragen von Mitarbeitenden auf Basis unternehmenseigener Dokumente – Wikis, Richtlinien, Tickets, Code – beantwortet, inklusive Quellenangaben und unter Berücksichtigung der jeweiligen Zugriffsberechtigungen. Sie kombiniert hybrides Retrieval und Reranking für das Grounding, berechtigungsbasiertes Filtern für die Sicherheit und ein Evaluation Harness, damit die Antwortqualität gemessen statt nur vorausgesetzt wird. Die Herausforderungen liegen nicht im Modell, sondern in der Retrieval-Qualität, der Zugriffskontrolle und der Evaluierung.
Schlüsselkonzepte
- Berechtigungsbasiertes Retrieval: Ein Benutzer ruft immer nur Dokumente ab, die er auch sehen darf.
- Hybride Suche + Reranking: Kombination aus Keyword- und Vektorsuche mit anschließendem Reranking für maximale Präzision.
- Quellenangaben: Jede Antwort verweist zur Überprüfung direkt auf die zugrunde liegenden Textpassagen.
- Evaluierung: Die Antwortqualität wird kontinuierlich anhand eines kuratierten Testsets bewertet.
Definition
Die Architektur des Enterprise Knowledge Assistant ist ein berechtigungsbasiertes RAG-System, das Fragen von Mitarbeitenden auf Basis interner Dokumente mit Quellenangaben beantwortet, abgestimmt auf die Zugriffsrechte des jeweiligen Benutzers und kontinuierlich auf Qualität evaluiert.
Architektur
Inhalte aus verschiedenen internen Quellen werden erfasst, in Chunks unterteilt und in einem Vektorspeicher abgelegt, wobei jeder Chunk mit den Metadaten zur Zugriffskontrolle des Quelldokuments versehen wird. Bei einer Anfrage leitet der Assistent die Frage weiter, führt ein hybrides Retrieval (Keyword + Vektor) gefiltert nach den Berechtigungen des Benutzers aus, führt ein Reranking der Kandidaten durch und generiert eine Antwort mit Quellenangaben aus den besten Textpassagen.
Sicherheit ist strukturell verankert, nicht nachträglich aufgesetzt: Der Filter zur Zugriffskontrolle wird bereits beim Retrieval angewendet, sodass das Modell Dokumente, auf die der Benutzer keinen Zugriff hat, gar nicht erst zu Gesicht bekommt. Ein semantischer Cache beantwortet wiederkehrende Fragen kostengünstig, während Guardrails sicherstellen, dass Antworten den Richtlinien entsprechen, und Fälle mit geringer Konfidenz markieren.
Qualität wird durch Messung gesteuert: Ein Evaluation Harness bewertet Antworten auf Groundedness, Korrektheit und Genauigkeit der Quellenangaben anhand eines kuratierten Testsets, und ein optionaler Evaluator-Optimizer-Loop überarbeitet schwache Antworten, bevor sie den Benutzer erreichen. Observability zeichnet jede Anfrage auf, sodass Fehler diagnostiziert und in die Evaluierungen zurückgeführt werden können.
Anfrage-Flow
- 1. Ingest (offline): Dokumente in Chunks unterteilen und einbetten; jeden Chunk mit Metadaten zur Zugriffskontrolle versehen.
- 2. Route: Die Frage klassifizieren und die Retrieval-Strategie auswählen.
- 3. Retrieve: Hybride Suche, gefiltert nach den Berechtigungen des Benutzers (zuerst Prüfung des Cache).
- 4. Rerank: Kandidaten für höhere Präzision neu ordnen; die besten Passagen behalten.
- 5. Synthesize: Eine Antwort mit Quellenangaben generieren; optional über einen Evaluator-Loop überarbeiten.
- 6. Return & log: Antwort mit Quellenangaben ausgeben; für die Evaluierung aufzeichnen und bewerten.
Komponenten
Referenzszenario
- Kontext
- Ein anschaulicher interner Assistent für das Wiki, die HR- und IT-Richtlinien sowie die Engineering-Dokumente eines Unternehmens.
- Szenario
- Mitarbeitende stellen Fragen in natürlicher Sprache („Wie rechne ich Reisekosten ab?“, „Wie sieht unsere On-Call-Regelung aus?“); der Assistent antwortet mit Quellenangaben, zeigt niemals Dokumente an, auf die der Fragesteller keinen Zugriff hat, und antwortet bei unzureichendem Retrieval mit „Das weiß ich nicht“, statt zu raten.
- Technologie
- Ingestion-Pipeline, Embeddings + Vektorspeicher mit ACL-Metadaten, hybrides Retrieval und Reranking, ein Evaluation Harness und Query-Tracing.
- Last
- Gleichmäßiger interner Traffic mit starker Überschneidung der Anfragen (einige wenige Richtlinien machen die meisten Fragen aus), sodass die Cache-Hit-Rate hoch ist und die Embeddings die Offline-Kosten dominieren.
- Ergebnisse
- Referenzziel: Fundierte Antworten mit Quellenangaben ohne Verletzung von Zugriffsrechten sowie ein messbarer Groundedness-Score, der sich durch die Optimierung des Retrievals verbessert. Betrachten Sie alle Zahlen als Messwerte für Ihr eigenes Korpus, nicht als Garantien.
Vorteile
- Verwandelt verstreutes internes Wissen in sofortige Antworten mit Quellenangaben.
- Berechtigungsbasiertes Retrieval verhindert systembedingt die Verletzung von Zugriffsrechten.
- Quellenangaben machen Antworten überprüfbar und schaffen Vertrauen bei den Benutzern.
- Ein Evaluation Harness macht Qualität messbar und Verbesserungen nachweisbar.
Risiken
- Verletzung von Zugriffsrechten, wenn Berechtigungen nicht bereits beim Retrieval erzwungen werden.
- Veraltete Antworten, wenn sich das Dokumentenkorpus schneller ändert als die Neuindexierung erfolgt.
- Überzeugend formulierte Halluzinationen, wenn das Retrieval unzureichend ist und das Modell die Lücken füllt.
- Mangelhaftes Chunking, das Sinnzusammenhänge fragmentiert und das Retrieval verschlechtert.
KPIs
- Groundedness
- Anteil der Antworten, die vollständig durch die zitierten Passagen gestützt werden; die zentrale Qualitätsmetrik für einen RAG-Assistenten.
- Retrieval-Recall@k
- Wie oft sich die richtige Passage unter den Top-k abgerufenen Ergebnissen befindet; die meisten Antwortfehler lassen sich darauf zurückführen.
- Verletzungsrate der Zugriffskontrolle
- Jede Antwort, die ein Dokument offenlegt, auf das der Benutzer keinen Zugriff hatte – diese Metrik muss zwingend bei null bleiben.
- Cache-Hit-Rate & Kosten pro Anfrage
- Abdeckung wiederkehrender Fragen und Stückkosten; eine hohe Überschneidung sollte die meisten Anfragen kostengünstig machen.
- Enthaltungsqualität
- Wie oft der Assistent korrekterweise „Das weiß ich nicht“ antwortet, anstatt bei unzureichendem Retrieval zu halluzinieren.
Kosten & Skalierung
- Offline-Embedding und -Indexierung dominieren die Ingestion-Kosten und steigen mit der Größe des Korpus und der Aktualisierungshäufigkeit.
- Die Kosten zur Abfragezeit entfallen hauptsächlich auf Retrieval + Generierung; Reranking erhöht die Latenz im Austausch für höhere Präzision.
- Der Cache dämpft die Kosten bei steigender Überschneidung der Anfragen, sodass die Stückkosten mit zunehmender Nutzung sinken.
- Die Taktung der Neuindexierung ist der eigentliche kritische Faktor bei der Skalierung: Aktuellere Antworten erfordern mehr Rechenleistung.
Beobachtete Fehlermuster
- Umgehung von Berechtigungen: Ein Chunk erbt die falsche ACL und taucht in den Ergebnissen eines Benutzers auf.
- Retrieval-Lücken: Das richtige Dokument existiert, wird aber durch das Chunking oder die Embeddings nicht erfasst.
- Veraltete Daten: Eine Antwort zitiert eine überholte Richtlinie, weil die Neuindexierung verzögert war.
- Abweichende Quellenangaben: Die zitierte Passage stützt die generierte Aussage nicht tatsächlich.
Erkenntnisse
- Erzwingen Sie die Zugriffskontrolle direkt beim Retrieval, nicht erst nach der Generierung – das Filtern des Prompts ist zu spät.
- Die meisten Qualitätsgewinne resultieren aus dem Retrieval (Chunking, hybride Suche, Reranking), nicht aus einem größeren Modell.
- Etablieren Sie „Das weiß ich nicht“ als vollwertige Antwort; eine falsche, aber überzeugend formulierte Antwort ist schlimmer als eine Enthaltung.
- Etablieren Sie die Evaluierung vor der Skalierung; ohne sie ist jede Änderung nur ein Ratespiel.
Technologien
Beispiele
- Ein Mitarbeiter fragt nach den Reisekostenrichtlinien und erhält eine aktuelle Antwort mit Quellenangaben.
- Eine Frage zu einem geschützten Projekt liefert für einen nicht autorisierten Benutzer korrekterweise kein Ergebnis.
- Eine Anfrage mit unzureichendem Retrieval wird mit „Dazu liegt mir keine verlässliche Quelle vor“ beantwortet, statt zu raten.
FAQs
- Ist das nicht einfach nur RAG?
- RAG bildet den Kern, aber die Architektur zeichnet sich durch das aus, was sie unternehmenstauglich macht: berechtigungsbasiertes Retrieval, Quellenangaben, ein Evaluation Harness und Observability. Das sind die Komponenten, die darüber entscheiden, ob man dem System vertrauen kann.
- Warum sollten Berechtigungen bereits beim Retrieval erzwungen werden?
- Damit das Modell Dokumente, auf die der Benutzer keinen Zugriff hat, gar nicht erst zu Gesicht bekommt. Ein Filtern nach der Generierung ist zu spät – der Inhalt könnte bereits in die Antwort eingeflossen sein.
- Wie verhindert man, dass Antworten halluziniert werden?
- Verankern Sie jede Antwort in den abgerufenen Passagen mit Quellenangaben, messen Sie die Fundierung (Groundedness) anhand eines Evaluierungssets und lassen Sie den Assistenten bei schwachem Abruf lieber auf eine Antwort verzichten, anstatt die Lücke zu füllen.