참고 자료 · 49
버전 변경 전 AI 회귀 평가
동일한 작업에 대한 버전을 비교하고, 로컬 손실을 찾아내고, 평균값이 아닌 사례를 기반으로 결정을 내립니다.
업데이트됨 · 7 min
이 가이드가 달성하는 목표
- 테스트된 변경 사항 분리
- 독립적인 참조 세트 유지
- 세그먼트별 오류 검사
- 종료 또는 롤백 준비
빠른 확인
- 어떤 구성 요소가 변경되었습니까?
- 테스트 세트가 후보 최적화에 사용되었습니까?
- 주석 불일치는 누가 해결합니까?
- 평균값이 민감한 오류를 숨길 수 있습니까?
- 이전 구성을 복원할 수 있습니까?
단계별 방법
- 1
작업 및 거부 정의
예상 출력, 허용 데이터 및 비용이 많이 드는 오류를 설명하십시오. 정확성, 유용성, 적절한 거부 및 조치 효과를 구분하십시오. NIST 프레임워크는 상황에 맞는 측정을 요구하며, 보편적인 신뢰도 점수를 제공하지 않습니다.
결과물: 평가 기준 및 결정 담당자.
- 2
참조와 탐색을 구분하십시오.
최적화 과정에서 안정적인 데이터 세트를 제외하십시오. 새로운 익명화된 피드백 사례는 별도로 추가하십시오. 이러한 사례는 사각지대를 드러내지만 비교 분모를 조용히 변경해서는 안 됩니다.
결과물: 출처가 명시된 버전 관리 데이터 세트.
- 3
문서 주석.
답변이 허용 가능한지, 부분적인지, 또는 잘못된지를 판단하는 기준을 설명하십시오. 유능한 검토자가 모호한 부분을 해결하고 의견 불일치 사유를 기록하도록 하십시오. 개방형 과제에는 단일 참조 답변이 너무 제한적일 수 있습니다.
결과물: 평가 기준표 및 판정된 사례.
- 4
동일 조건에서 비교
기록된 버전, 매개변수, 도구 및 소스를 사용하여 동일한 입력을 재생합니다. 출력이 다를 경우 테스트를 반복하고 변동 사항을 보고합니다. 모델 오류, 데이터 부재, 도구 사용 불가 및 결함 있는 테스트를 구분합니다.
결과물: 쌍을 이루는 결과 및 최소화된 흔적.
- 5
위험 유형별 결정
평균이 개선되더라도 언어, 문서 유형 및 민감한 상황별 손실을 검사합니다. 결과를 읽기 전에 중지, 수정 및 제한적 릴리스 기준을 정의합니다. 심각한 사례 하나만으로도 릴리스를 보류할 수 있습니다.
결과물: 결정, 유보 사항 및 예외 사항.
- 6
릴리스 후 재생
복구 가능한 구성 및 연락 가능한 담당자를 준비합니다. 초기 피드백을 테스트 세트와 비교하되, 로컬에서의 성공을 모든 사용 사례에 대한 증거로 간주하지 않습니다. 데이터 또는 종속성이 변경될 경우 재평가합니다.
결과물: 모니터링 및 롤백 절차.
이해하고 계산하고 판단하기
같은 사례 비교: 순개선과 개별 퇴행
두 전체 비율만으로는 어떤 사례가 변했는지 알 수 없습니다. 가상 예시에서는 테스트 전에 정한 같은 기준으로 각 작업의 A와 B 결과를 수용 가능 또는 불가로 평가합니다.
적절한 응답 거절도 작업에 따라 수용 가능할 수 있습니다. 한 버전의 평가가 빠진 사례는 따로 두며 실패로 취급하지 않습니다.
| A / B | B 수용 가능 | B 수용 불가 |
|---|---|---|
| A 수용 가능 | 70둘 다 수용 가능 | 10A에서 B로의 손실 |
| A 수용 불가 | 15A에서 B로의 개선 | 5둘 다 수용 불가 |
계산 규칙
N = c + l + g + e ; A% = 100(c + l)/N ; B% = 100(c + g)/N ; Δpp = 100(g − l)/N
전환 해석
비율로 결정할 수 없는 것
가상의 변형은 계산기 입력값과 무관합니다.
- 대응시키기
사례 ID, 버전, 테스트 조건을 맞춥니다.
- 평가하기
같은 기준을 쓰고 누락되거나 모호한 평가를 해결합니다.
- 검토하기
판단 전에 위험 유형별로 손실을 검토합니다.
실제 시스템을 평가하지 않는 가상의 연습입니다.
비율이 같으면 수용 가능한 답도 같을까요?
- 관찰
- 다른 집합에는 개선 10건과 손실 10건이 있습니다.
- 예상 해석
- 순차이는 0이지만 20건의 상태가 바뀝니다.
B의 평가가 빠졌나요?
- 관찰
- A는 평가했고 B는 아직입니다.
- 예상 해석
- 완전한 표 밖에 따로 두고 누락을 밝힌 뒤 평가를 받습니다.
주석 기준이 달라졌나요?
- 관찰
- A는 이전 기준, B는 새 기준을 사용합니다.
- 예상 해석
- 비교 전에 공통 기준으로 두 버전을 다시 평가합니다.
심각한 손실이 하나뿐인가요?
- 관찰
- 한 손실이 사전에 출시 차단 조건으로 정한 격리 규칙을 위반합니다.
- 예상 해석
- 이 범위의 출시를 보류합니다. 개선 15건으로 차단 조건이 해소되지 않습니다.
재사용 가능한 워크시트
승인된 의견을 기입하십시오. 이 항목들은 작업 템플릿이며, 관찰된 결과가 아닙니다.
| 필드 | 기록할 정보 |
|---|---|
| 사례 및 세그먼트 | 안정적인 식별자, 언어, 작업 유형 |
| 예상 결과 | 수용 기준 및 참조 증거 |
| 버전 A/B | 결과, 반복, 실패 원인 |
| 결정 | 수용, 수정 또는 중단; 담당자 및 증거 |
가상 예시
예시 상황
가상 예시입니다. 고객이나 실제 관측 결과를 나타내지 않습니다. 분류 모델의 전체 점수는 높아졌지만, 긴급 처리가 필요한 요청은 이전보다 잘 찾아내지 못합니다.
결정 및 예상 증거
동일한 사례를 다시 실행하고 요청 유형별 결과를 보관합니다. 공통 정의로 중요한 오류를 검토합니다. 심각성, 건수, 복구 가능성을 함께 판단합니다. 평균이 가장 좋은 모델이 서비스에 가장 적합한 것은 아닙니다.
메커니즘 구분
| 메커니즘 | 목적 | 검증 또는 제한 |
|---|---|---|
| 안정적인 세트 | 버전 비교 | 최적화 제외 |
| 새로운 사례 | 사각지대 찾기 | 과거 결과와 별도 보고 |
| 서비스 중 관찰 | 실제 사용 이해 | 권한, 최소화 및 컨텍스트 존중 |
관리 지표
| 지표 | 측정 대상 | 첫 번째 조치 |
|---|---|---|
| 쌍을 이루는 손실 | 이전에 승인되었던 사례가 이제 실패함 | 각 민감한 손실 검사 |
| 주석 불일치 | 판단이 다른 사례 | 비교 전 평가 기준 명확화 |
| 세그먼트 적용 범위 | 실제로 표현된 상황 | 테스트되지 않은 사용 사례 명명 |
일반적인 실수
- 최종 테스트에서 최적화
- 세트와 버전을 함께 변경
- 자동 판정 결과를 진실로 간주
- 평균값이 높기 때문에 중요한 손실을 수용 개선 사항
자주 묻는 질문
자동화된 판단 도구가 필요한가요?
아니요. 평가 기준이 검증되면 분류 속도를 높일 수 있지만, 모호하거나 비용이 많이 드는 사례는 여전히 비즈니스 판단이 필요합니다.
평균적인 개선만으로 충분한가요?
아니요. 관련 사례와 세그먼트를 비교한 다음 테스트 전에 설정된 기준을 적용해야 합니다.
얼마나 많은 사례가 필요한가요?
사례 수는 다양성과 위험도에 따라 다릅니다. 사례 수, 출처 및 한계를 보고해야 하며, 적은 수의 사례만으로는 일반적인 안전성을 확보할 수 없습니다.
RAG: 접근 권한, 인용 및 캐시
이 언어판의 상세 참고 설명은 영어로 제공됩니다.
Replay rights after every RAG-chain change
Changing a lexical engine, fusion, cache or citation resolver may reopen a secondary path. Freeze a fictional document set with expected outcomes before comparing versions.
- Version policy, index, connector, model and cases.
- Exercise initial, revoked-group and deleted-object states.
- Examine every difference without hiding a critical failure in an average.
Explore the RAG access matrix and replay cases →
References consulted on · OWASP · LLM08:2025 Vector and Embedding Weaknesses OWASP · API1:2023 Broken Object Level Authorization
AI: JSON 결과 검증
이 언어판의 상세 참고 설명은 영어로 제공됩니다.
Test refused and undecidable outputs too
A model, prompt or validator update can change handling of duplicates, types and dates. Acceptance checks need to cover these decisions beyond the number of parseable JSON responses.
- Version the schema, validator settings and reference cases.
- Check that well-formed but false values remain blocked.
- Keep syntax, contract, date and evidence errors separate.
Compare the 14 outputs and their reasons →
Sources reviewed on · IETF · RFC 8259 · JSON Schema · Object reference · JSON Schema · Draft 2020-12 validation · Python 3.12 · json decoder · python-jsonschema · Schema validation · OWASP · LLM05:2025 Improper Output Handling
RAG 관련성과 순위
이 언어판의 상세 참고 설명은 영어로 제공됩니다.
Compare retrieval before evaluating the answer
Keep the same needs, judgments and depth k when comparing configurations. Inspect regressing queries before drawing conclusions from an average.
- Separate window precision, relevant-record coverage and ordering quality.
- Document missing judgments and the no-relevant-record convention.
- Then evaluate the answer, citations and refusals using a separate protocol.
Explore ranking measures and relevance judgments →
Stanford CS276 · Retrieval evaluation · 2019 course archive · PDF pp. 3, 5–6 · consulted 2026-10-23
NIST TREC · Reciprocal rank definition · Repository snapshot 35cf096ba6d5ae08ca4803c056b31ed61a56a6d4 · consulted 2026-10-23
공식 참조
참조는 방법을 뒷받침합니다. 상황에 맞게 검사를 조정하십시오. 이는 인증이 아닙니다. 원본 참조 제목 및 소스 문서는 다른 언어로 작성되었을 수 있습니다.
참고 자료 확인일 .
- NIST — AI Risk Management Framework 1.0, Measure
- NIST — AI RMF Core, Measure
- Dror et al. · ACL 2018 · §3.2.2, paired observations
- OWASP · LLM08:2025 Vector and Embedding Weaknesses
- OWASP · API1:2023 Broken Object Level Authorization
- IETF · RFC 8259
- JSON Schema · Object reference
- JSON Schema · Draft 2020-12 validation
- Python 3.12 · json decoder
- python-jsonschema · Schema validation
- OWASP · LLM05:2025 Improper Output Handling
- Stanford CS276 · Retrieval evaluation
- NIST TREC · Reciprocal rank definition
