참고 자료 · 09
RAG 품질: 증거 기반 지식 도우미 평가
코퍼스, 검색, 인용, 답변, 기피 및 드리프트를 개별적으로 측정하여 실제로 수정해야 할 사항을 파악합니다.
업데이트됨 · 3 min
이 가이드가 달성하는 목표
- 오류의 원인이 코퍼스, 검색 또는 모델 중 무엇인지 파악
- 모든 인용을 추적
- 적절한 기권에 대한 보상
- 변경 후 드리프트 감지
빠른 확인
- 참조 소스가 승인되었고 최신 정보인지 확인
- 올바른 구절이 상단에 나타나는지 확인
- 모든 결정적인 주장이 뒷받침되는지 확인
- 어시스턴트가 모름을 표시할 수 있는지 확인
- 민감한 사례는 상위 담당자에게 보고되는지 확인
단계별 방법
- 1
유용한 작업 정의
실제 질문, 질문 변형 및 예상되는 비즈니스 결과를 수집합니다. 모호성, 소스 충돌, 만료된 문서 및 범위 외 요청을 추가합니다.
결과물: 사례 및 위험 분류 체계
- 2
코퍼스 정리
모든 소스에 소유자, 권한, 유효 기간 및 상태를 할당합니다. 중복, 고아 조각 및 출처를 알 수 없는 문서를 제거합니다.
결과물: 코퍼스 등록부.
- 3
검색 평가
최종 문구를 평가하기 전에 필요한 구절이 발견되고 순위가 매겨졌는지 측정합니다. 증거가 없는 쿼리를 검토합니다.
결과물: 적용 범위 및 관련성 측정.
- 4
답변 및 인용 평가
구절의 충실도, 완전성, 제한 사항, 인용-주장 관계 및 모순 표시 기능을 확인합니다.
결과물: 충실도 및 유용성 평가 기준표.
- 5
거부 및 공격 테스트
간접 주입, 금지된 데이터 요청, 악성 소스, 허위 우선순위 문서 및 되돌릴 수 없는 작업 추가. 인적 에스컬레이션 정의.
결과물: 보안 결과 및 안전장치.
- 6
변경 사항 모니터링
코퍼스, 인덱스, 설정, 모델 및 지침 버전 관리. 모든 변경 사항에 대해 안정적인 데이터 세트를 재생하고 불필요한 데이터를 보존하지 않고 실제 피드백을 분석합니다.
결과물: 드리프트 대시보드 및 검토 절차.
가상 예시
예시 상황
내부 지원 도구는 만료된 절차를 포함한 여러 절차에 대한 답변을 제공합니다. 테스트 세트에는 일반적이고 모호하며 답변할 수 없는 질문이 포함되어 있으며, 각 인용문은 문서 버전과 대조하여 확인됩니다.
결정 및 예상 증거
만료된 출처가 제외되고, 지원되지 않는 답변이 거부되고, 코퍼스 소유자가 확인될 때까지 릴리스가 대기합니다.
관리 지표
| 지표 | 측정 대상 | 첫 번째 조치 |
|---|---|---|
| 검색 범위 | 필요한 구절이 발견된 질문 | 모델 적용 전 코퍼스, 청킹 또는 쿼리 수정 |
| 충실도 | 인용된 출처로 진정으로 뒷받침되는 주장 | 근거 없는 답변 차단 또는 재작성 |
| 유용한 기권 | 증거가 없는 사례를 올바르게 거부하거나 상위 부서로 이관 | 신뢰도 임계값 조정 |
| 회귀 분석 | 동일한 데이터 세트에 대한 버전 간 품질 차이 | 원인이 된 변경 사항 식별 |
일반적인 실수
- 쓰기 유창성만 측정
- 검색 실패와 환각 현상 혼합
- 너무 쉬운 평가 세트 사용
- 비교 없이 여러 구성 요소 변경
자주 묻는 질문
필요한 질문 수는 몇 개인가?
중요한 위험을 포괄하는 대표적인 버전 관리 데이터 세트로 시작하십시오. 인위적인 양보다 다양성과 품질이 더 중요합니다.
자동화된 지표 하나만으로 충분할까요?
아닙니다. 분류 속도는 빨라지지만, 민감하거나 모호한 경우, 또는 전문 분야와 관련된 경우에는 명확한 기준과 사람의 검토가 필요합니다.
모든 대화를 보관해야 할까요?
아닙니다. 목적, 접근 권한, 보관 기간이 명확하게 정의된 필수적인 기록만 보관하십시오. 개선을 위해서는 익명화된 사례를 선호합니다.
공식 참조
참조는 방법을 뒷받침합니다. 상황에 맞게 검사를 조정하십시오. 이는 인증이 아닙니다. 원본 참조 제목 및 소스 문서는 다른 언어로 작성되었을 수 있습니다.
