Recursos · 49
Avaliar regressões de IA antes de alterar versões
Comparar versões nas mesmas tarefas, encontrar perdas locais e tomar uma decisão baseada em casos, em vez de uma média.
Atualizado · 5 min
O que este guia ajuda a alcançar
- Isolar a alteração testada
- Preservar um conjunto de referência independente
- Inspecionar falhas por segmento
- Preparar o desligamento ou a reversão
Verificação rápida
- Qual componente foi alterado?
- O conjunto de teste foi usado para otimizar o candidato?
- Quem resolve divergências de anotações?
- A média oculta um erro sensível?
- A configuração anterior pode ser restaurada?
Método passo a passo
- 1
Definir tarefa e recusas
Descrever a saída esperada, os dados permitidos e os erros dispendiosos. Separar a precisão, a utilidade, a recusa apropriada e os efeitos da ação. A estrutura do NIST exige medições adequadas ao contexto; ela não fornece uma pontuação de confiabilidade universal.
Entregável: critérios e responsável pela decisão.
- 2
Separar referência e descoberta.
Manter um conjunto estável fora da otimização. Adicionar novos casos de feedback anonimizados separadamente: eles revelam pontos cegos, mas não devem alterar silenciosamente o denominador da comparação.
Entregável: conjuntos versionados com proveniência.
- 3
Anotação de documentos.
Explicar o que torna uma resposta aceitável, parcial ou incorreta. Ter um revisor competente para resolver ambiguidades e registrar as razões para discordâncias. Uma única resposta de referência pode ser muito restritiva para uma tarefa aberta.
Entregável: rubrica e casos julgados.
- 4
Comparar em condições iguais.
Reproduzir entradas idênticas com versões, parâmetros, ferramentas e fontes gravados. Repita os testes quando as saídas variarem e relate a variação. Separe falhas do modelo, dados ausentes, ferramentas indisponíveis e um teste defeituoso.
Entregável: resultados pareados e rastreamentos minimizados.
- 5
Decida por família de risco.
Inspecione as perdas por idioma, tipo de documento e situação sensível, mesmo quando a média melhorar. Defina critérios de parada, correção e liberação limitada antes de ler os resultados. Um caso grave pode justificar a retenção de uma liberação.
Entregável: decisão, reservas e exceções.
- 6
Reprodução após a liberação.
Prepare uma configuração restaurável e um proprietário acessível. Compare o feedback inicial com o conjunto de testes sem tratar o sucesso local como evidência para todos os usos. Reavalie quando os dados ou as dependências mudarem.
Entregável: procedimento de monitoramento e reversão.
Compreender, calcular e decidir
Comparar os mesmos casos: ganhos líquidos e regressões locais
Duas taxas globais não mostram quais casos mudaram. No exemplo fictício, cada tarefa é julgada aceitável ou não aceitável para A e B segundo o mesmo critério fixado antes do teste.
Uma recusa adequada pode ser aceitável para a tarefa. Casos sem julgamento para uma versão ficam separados e não contam como falhas.
| A / B | B aceitável | B não aceitável |
|---|---|---|
| A aceitável | 70Ambos aceitáveis | 10Perdas de A para B |
| A não aceitável | 15Ganhos de A para B | 5Ambos não aceitáveis |
Regra de cálculo
N = c + l + g + e ; A% = 100(c + l)/N ; B% = 100(c + g)/N ; Δpp = 100(g − l)/N
Interpretar transições
O que a taxa não decide
Estas variantes fictícias são independentes dos valores introduzidos no calculador.
- Emparelhar
Alinhar identificadores, versões e condições de teste.
- Julgar
Usar o mesmo critério e resolver julgamentos em falta ou ambíguos.
- Analisar
Rever perdas por família de risco antes de decidir.
Exercícios fictícios, sem avaliar um sistema real.
Mesma taxa, mesmas respostas aceitáveis?
- Observação
- Outro conjunto tem dez ganhos e dez perdas.
- Leitura esperada
- A diferença líquida é zero, mas vinte casos mudam de estado.
Falta o julgamento de B?
- Observação
- A foi julgado, B ainda não.
- Leitura esperada
- Manter o par fora da tabela completa, declarar a ausência e obter o julgamento.
A regra de anotação mudou?
- Observação
- A usa o critério antigo e B o novo.
- Leitura esperada
- Rejulgar ambas as versões com uma regra comum.
Uma única perda crítica?
- Observação
- Uma perda viola uma regra de isolamento definida como bloqueante antes do teste.
- Leitura esperada
- Suspender o lançamento nesse âmbito; quinze ganhos não eliminam o bloqueio.
Planilha reutilizável
Preencha com suas observações autorizadas. Estes campos são um modelo de trabalho, não resultados observados.
| Campo | Informações a serem registradas |
|---|---|
| Caso e segmento | Identificador estável, idioma, tipo de tarefa |
| Esperado | Critério de aceitação e evidência de referência |
| Versões A / B | Resultado, repetição, causa da falha |
| Decisão | Aceitar, corrigir ou interromper; proprietário e evidência |
Exemplo prático fictício
Situação ilustrativa
Exemplo fictício: estes dados não descrevem clientes nem resultados observados. Um classificador melhora a pontuação global, mas identifica pior os pedidos que exigem tratamento urgente.
Decisão e evidências esperadas
Repetir os mesmos casos, guardar resultados por tipo de pedido e rever os erros críticos com uma definição comum. Decidir segundo gravidade, volume e capacidade de recuperação. A melhor média não é automaticamente a melhor escolha para o serviço.
Distinguir os mecanismos
| Mecanismo | Finalidade | Verificação ou limitação |
|---|---|---|
| Conjunto estável | Comparar versões | Manter fora da otimização |
| Novos casos | Encontrar pontos cegos | Relatar separadamente dos resultados históricos |
| Observação em serviço | Compreender o uso real | Respeitar permissões, minimização e contexto |
Indicadores de gestão
| Indicador | O que mede | Primeira ação |
|---|---|---|
| Perdas pareadas | Casos anteriormente aceitos que agora falham | Inspecionar cada perda sensível |
| Divergência de anotação | Casos com julgamentos diferentes | Esclarecer a rubrica antes da comparação |
| Cobertura de segmento | Situações realmente representadas | Nomear usos não testados |
Erros comuns
- Otimizar no teste final
- Alterar conjunto e versão simultaneamente
- Tratar um juiz automatizado como verdade
- Aceitar perdas críticas porque a média Melhora
Perguntas frequentes
É necessário um juiz automatizado?
Não. Ele pode acelerar a triagem se sua rubrica for validada; casos ambíguos ou dispendiosos ainda precisam de julgamento comercial.
Uma melhoria média é suficiente?
Não. Compare os casos e segmentos relevantes e, em seguida, aplique os critérios estabelecidos antes do teste.
Quantos casos são necessários?
O volume depende da diversidade e do risco. Contagem de casos, proveniência e limitações; nenhum conjunto pequeno garante segurança geral.
RAG: permissões, citações e caches
As notas detalhadas desta edição estão disponíveis em inglês.
Replay rights after every RAG-chain change
Changing a lexical engine, fusion, cache or citation resolver may reopen a secondary path. Freeze a fictional document set with expected outcomes before comparing versions.
- Version policy, index, connector, model and cases.
- Exercise initial, revoked-group and deleted-object states.
- Examine every difference without hiding a critical failure in an average.
Explore the RAG access matrix and replay cases →
References consulted on · OWASP · LLM08:2025 Vector and Embedding Weaknesses OWASP · API1:2023 Broken Object Level Authorization
IA: verificar um resultado JSON
As notas detalhadas desta edição estão disponíveis em inglês.
Test refused and undecidable outputs too
A model, prompt or validator update can change handling of duplicates, types and dates. Acceptance checks need to cover these decisions beyond the number of parseable JSON responses.
- Version the schema, validator settings and reference cases.
- Check that well-formed but false values remain blocked.
- Keep syntax, contract, date and evidence errors separate.
Compare the 14 outputs and their reasons →
Sources reviewed on · IETF · RFC 8259 · JSON Schema · Object reference · JSON Schema · Draft 2020-12 validation · Python 3.12 · json decoder · python-jsonschema · Schema validation · OWASP · LLM05:2025 Improper Output Handling
RAG: relevância e classificação
As notas detalhadas desta edição estão disponíveis em inglês.
Compare retrieval before evaluating the answer
Keep the same needs, judgments and depth k when comparing configurations. Inspect regressing queries before drawing conclusions from an average.
- Separate window precision, relevant-record coverage and ordering quality.
- Document missing judgments and the no-relevant-record convention.
- Then evaluate the answer, citations and refusals using a separate protocol.
Explore ranking measures and relevance judgments →
Stanford CS276 · Retrieval evaluation · 2019 course archive · PDF pp. 3, 5–6 · consulted 2026-10-23
NIST TREC · Reciprocal rank definition · Repository snapshot 35cf096ba6d5ae08ca4803c056b31ed61a56a6d4 · consulted 2026-10-23
Referências oficiais
As referências apoiam o método. Adapte as verificações ao seu contexto; elas não são uma certificação. Os títulos das referências originais e os documentos de origem podem estar em outro idioma.
Referências consultadas em .
- NIST — AI Risk Management Framework 1.0, Measure
- NIST — AI RMF Core, Measure
- Dror et al. · ACL 2018 · §3.2.2, paired observations
- OWASP · LLM08:2025 Vector and Embedding Weaknesses
- OWASP · API1:2023 Broken Object Level Authorization
- IETF · RFC 8259
- JSON Schema · Object reference
- JSON Schema · Draft 2020-12 validation
- Python 3.12 · json decoder
- python-jsonschema · Schema validation
- OWASP · LLM05:2025 Improper Output Handling
- Stanford CS276 · Retrieval evaluation
- NIST TREC · Reciprocal rank definition
