Recursos · 09
Qualidade RAG: avalie um assistente de conhecimento com evidências.
Meça o corpus, a recuperação, as citações, as respostas, a abstenção e a deriva separadamente para que você saiba o que realmente precisa ser corrigido.
Atualizado · 3 min
O que este guia ajuda a alcançar
- Saber se a falha provém do corpus, da recuperação ou do modelo
- Rastrear cada citação
- Recompensar a abstenção apropriada
- Detectar desvios após a alteração
Verificação rápida
- A fonte de referência é autorizada e atualizada?
- A passagem correta aparece perto do topo?
- Cada afirmação decisiva é fundamentada?
- O assistente pode dizer que não sabe?
- Os casos sensíveis são escalados?
Método passo a passo
- 1
Definir tarefas úteis
Coletar perguntas reais, suas variantes e o resultado comercial esperado. Adicionar ambiguidade, conflito de fontes, documentos expirados e solicitações fora do escopo.
Entregável: taxonomia de casos e riscos.
- 2
Limpar o corpus
Atribuir um proprietário, direitos, data de validade e status a cada fonte. Remover duplicatas, fragmentos órfãos e documentos de autoridade desconhecida.
Entregável: registro do corpus.
- 3
Avaliar a recuperação.
Medir se as passagens necessárias são encontradas e classificadas antes de avaliar a redação final. Inspecionar consultas para as quais não existem evidências.
Entregável: medidas de cobertura e relevância.
- 4
Avaliar respostas e citações.
Verificar a fidelidade às passagens, a completude, as limitações, a relação citação-afirmação e a capacidade de sinalizar contradições.
Entregável: rubrica de fidelidade e utilidade.
- 5
Testar recusas e ataques.
Adicionar injeção indireta, solicitações de dados proibidas, fontes maliciosas, documentos com prioridade falsa e ações irreversíveis. Definir escalonamento humano.
Entregável: resultados de segurança e salvaguardas.
- 6
Monitorar mudanças.
Versionar o corpus, o índice, as configurações, o modelo e as instruções. Reproduzir o conjunto estável a cada alteração e analisar o feedback real sem reter dados desnecessários.
Entregável: painel de controle de desvios e procedimento de revisão.
Exemplo prático fictício
Situação ilustrativa
Um assistente interno responde a partir de procedimentos, alguns dos quais expiraram. O conjunto de testes contém perguntas rotineiras, ambíguas e sem resposta; cada citação é verificada em relação à versão do documento.
Decisão e evidências esperadas
A liberação aguarda até que as fontes expiradas sejam excluídas, as respostas sem suporte sejam rejeitadas e o proprietário do corpus seja identificado.
Indicadores de gestão
| Indicador | O que mede | Primeira ação |
|---|---|---|
| Cobertura de recuperação | Perguntas para as quais as passagens necessárias foram encontradas | Corrigir corpus, segmentação ou consulta antes do modelo |
| Fidelidade | Afirmações genuinamente apoiadas por fontes citadas | Bloquear ou reescrever respostas sem suporte |
| Abstenção útil | Casos sem evidências corretamente recusados ou escalados | Ajustar os limites de confiança |
| Regressão | Diferença de qualidade entre versões no mesmo conjunto | Identificar a mudança responsável |
Erros comuns
- Medir apenas a fluência na escrita
- Misturar falha de recuperação e alucinação
- Usar um conjunto de avaliação muito fácil
- Alterar vários componentes sem comparação
Perguntas frequentes
Quantas perguntas são necessárias?
Começar com um conjunto representativo e versionado que cubra os riscos importantes. Diversidade e qualidade importam mais do que volume artificial.
Uma métrica automatizada é suficiente?
Não. Ela acelera a triagem, mas casos sensíveis, ambíguos e específicos do domínio precisam de critérios explícitos e revisão humana.
Todas as conversas devem ser retidas?
Não. Mantenha apenas os registros necessários com propósito, acesso e duração definidos. Prefira casos anonimizados para melhoria.
Referências oficiais
As referências apoiam o método. Adapte as verificações ao seu contexto; elas não são uma certificação. Os títulos das referências originais e os documentos de origem podem estar em outro idioma.
