버전 변경 전 AI 회귀 평가

이 가이드가 달성하는 목표

• 테스트된 변경 사항 분리
• 독립적인 참조 세트 유지
• 세그먼트별 오류 검사
• 종료 또는 롤백 준비

빠른 확인

• 어떤 구성 요소가 변경되었습니까?
• 테스트 세트가 후보 최적화에 사용되었습니까?
• 주석 불일치는 누가 해결합니까?
• 평균값이 민감한 오류를 숨길 수 있습니까?
• 이전 구성을 복원할 수 있습니까?

단계별 방법

1. 1

   작업 및 거부 정의

   예상 출력, 허용 데이터 및 비용이 많이 드는 오류를 설명하십시오. 정확성, 유용성, 적절한 거부 및 조치 효과를 구분하십시오. NIST 프레임워크는 상황에 맞는 측정을 요구하며, 보편적인 신뢰도 점수를 제공하지 않습니다.

   결과물: 평가 기준 및 결정 담당자.

2. 2

   참조와 탐색을 구분하십시오.

   최적화 과정에서 안정적인 데이터 세트를 제외하십시오. 새로운 익명화된 피드백 사례는 별도로 추가하십시오. 이러한 사례는 사각지대를 드러내지만 비교 분모를 조용히 변경해서는 안 됩니다.

   결과물: 출처가 명시된 버전 관리 데이터 세트.

3. 3

   문서 주석.

   답변이 허용 가능한지, 부분적인지, 또는 잘못된지를 판단하는 기준을 설명하십시오. 유능한 검토자가 모호한 부분을 해결하고 의견 불일치 사유를 기록하도록 하십시오. 개방형 과제에는 단일 참조 답변이 너무 제한적일 수 있습니다.

   결과물: 평가 기준표 및 판정된 사례.

4. 4

   동일 조건에서 비교

   기록된 버전, 매개변수, 도구 및 소스를 사용하여 동일한 입력을 재생합니다. 출력이 다를 경우 테스트를 반복하고 변동 사항을 보고합니다. 모델 오류, 데이터 부재, 도구 사용 불가 및 결함 있는 테스트를 구분합니다.

   결과물: 쌍을 이루는 결과 및 최소화된 흔적.

5. 5

   위험 유형별 결정

   평균이 개선되더라도 언어, 문서 유형 및 민감한 상황별 손실을 검사합니다. 결과를 읽기 전에 중지, 수정 및 제한적 릴리스 기준을 정의합니다. 심각한 사례 하나만으로도 릴리스를 보류할 수 있습니다.

   결과물: 결정, 유보 사항 및 예외 사항.

6. 6

   릴리스 후 재생

   복구 가능한 구성 및 연락 가능한 담당자를 준비합니다. 초기 피드백을 테스트 세트와 비교하되, 로컬에서의 성공을 모든 사용 사례에 대한 증거로 간주하지 않습니다. 데이터 또는 종속성이 변경될 경우 재평가합니다.

   결과물: 모니터링 및 롤백 절차.

재사용 가능한 워크시트

승인된 의견을 기입하십시오. 이 항목들은 작업 템플릿이며, 관찰된 결과가 아닙니다.

메커니즘 구분

관리 지표

일반적인 실수

• 최종 테스트에서 최적화
• 세트와 버전을 함께 변경
• 자동 판정 결과를 진실로 간주
• 평균값이 높기 때문에 중요한 손실을 수용 개선 사항