Ressourcen · 09
RAG-Qualität: Bewerten Sie einen Wissensassistenten anhand von Beweisen
Messen Sie Korpus, Retrieval, Zitate, Antworten, Enthaltung und Drift separat, damit Sie wissen, was wirklich korrigiert werden muss.
Aktualisiert · 3 min
Wozu dieser Leitfaden beiträgt
- Wissen Sie, ob der Fehler vom Korpus, vom Abruf oder vom Modell herrührt
- Verfolgen Sie jedes Zitat
- Angemessene Enthaltung belohnen
- Drift nach Änderung erkennen
Kurzcheck
- Ist die Referenzquelle autorisiert und aktuell?
- Erscheint die rechte Passage oben?
- Wird jeder entscheidende Anspruch gestützt?
- Kann der Assistent sagen, dass er es nicht weiß?
- Werden sensible Fälle eskaliert?
Schritt-für-Schritt-Anleitung
- 1
Definieren Sie sinnvolle Aufgaben
Sammeln Sie reale Fragen, deren Varianten und das erwartete Geschäftsergebnis. Fügen Sie Unklarheiten, Quellenkonflikte, abgelaufene Dokumente und außerhalb des Gültigkeitsbereichs liegende Anforderungen hinzu.
Liefergegenstand: Fall- und Risikotaxonomie.
- 2
Korpus reinigen
Weisen Sie jeder Quelle einen Eigentümer, Rechte, Gültigkeitsdatum und Status zu. Entfernen Sie Duplikate, verwaiste Fragmente und Dokumente unbekannter Autorität.
Liefergegenstand: Korpusregister.
- 3
Abruf auswerten
Messen Sie, ob notwendige Passagen gefunden und eingestuft wurden, bevor Sie den endgültigen Wortlaut beurteilen. Untersuchen Sie Abfragen, für die keine Beweise vorliegen.
Liefergegenstand: Reichweiten- und Relevanzmessungen.
- 4
Antworten und Zitate auswerten
Überprüfen Sie die Textstellentreue, Vollständigkeit, Einschränkungen, das Zitat-zu-Anspruchs-Verhältnis und die Fähigkeit, Widersprüche zu kennzeichnen.
Liefergegenstand: Rubrik Treue und Nutzen.
- 5
Testverweigerung und Angriffe
Fügen Sie indirekte Injektion, verbotene Datenanfragen, böswillige Quellen, Dokumente mit falscher Priorität und irreversible Aktionen hinzu. Definieren Sie menschliche Eskalation.
Liefergegenstand: Sicherheitsergebnisse und Leitplanken.
- 6
Änderung überwachen
Versionskorpus, Index, Einstellungen, Modell und Anweisungen. Spielen Sie den stabilen Satz bei jeder Änderung erneut ab und analysieren Sie echtes Feedback, ohne unnötige Daten aufzubewahren.
Liefergegenstand: Drift-Dashboard und Review-Verfahren.
Fiktives Arbeitsbeispiel
Beispielhafte Situation
Ein interner Assistent antwortet aus teilweise abgelaufenen Verfahren. Das Testset enthält routinemäßige, mehrdeutige und unbeantwortbare Fragen; Jedes Zitat wird mit der Dokumentversion verglichen.
Entscheidung und erwartete Beweise
Die Veröffentlichung wartet, bis abgelaufene Quellen ausgeschlossen sind, nicht unterstützte Antworten abgelehnt werden und der Korpusbesitzer identifiziert wird.
Managementindikatoren
| Indikator | Was es misst | Erste Aktion |
|---|---|---|
| Abrufabdeckung | Fragen, zu denen notwendige Passagen gefunden werden | Korpus, Chunking oder Abfrage vor dem Modell korrigieren |
| Treue | Behauptungen, die durch zitierte Quellen tatsächlich gestützt werden | Nicht unterstützte Antworten blockieren oder umschreiben |
| Sinnvolle Enthaltung | Fälle ohne Beweise wurden korrekterweise abgelehnt oder eskaliert | Konfidenzschwellenwerte optimieren |
| Regression | Qualitätsunterschied zwischen Versionen auf demselben Set | Identifizieren Sie die verantwortliche Änderung |
Häufige Fallstricke
- Nur die Schreibflüssigkeit messen
- Eine Mischung aus Apportierversagen und Halluzination
- Verwendung eines zu einfachen Auswertungssatzes
- Änderung mehrerer Komponenten ohne Vergleich
Häufig gestellte Fragen
Wie viele Fragen werden benötigt?
Beginnen Sie mit einem repräsentativen, versionierten Satz, der wichtige Risiken abdeckt. Vielfalt und Qualität sind wichtiger als künstliches Volumen.
Reicht eine automatisierte Metrik aus?
Nein. Es beschleunigt die Triage, aber sensible, mehrdeutige und domänenbezogene Fälle erfordern explizite Kriterien und eine menschliche Überprüfung.
Soll jedes Gespräch gespeichert werden?
Nein. Bewahren Sie nur notwendige Spuren mit definiertem Zweck, Zugriff und Dauer auf. Bevorzugen Sie anonymisierte Fälle zur Verbesserung.
Offizielle Referenzen
Die Referenzen unterstützen die Methode. Passen Sie die Prüfungen an Ihren Kontext an; sie stellen keine Zertifizierung dar. Originalreferenztitel und Quelldokumente können in einer anderen Sprache verfasst sein.
