Recursos · 09
Calidad RAG: evaluar un asistente de conocimiento con evidencia
Mida el corpus, la recuperación, las citas, las respuestas, la abstención y la deriva por separado para saber qué es lo que realmente necesita arreglarse.
Actualizado · 3 min
Lo que esta guía ayuda a lograr
- Saber si el fallo proviene del corpus, recuperación o modelo
- Seguimiento de cada cita
- Premia la abstención adecuada
- Detectar deriva tras cambio
Comprobación rápida
- ¿La fuente de referencia está autorizada y vigente?
- ¿Aparece el pasaje correcto cerca de la parte superior?
- ¿Se sustentan todas las afirmaciones decisivas?
- ¿El asistente puede decir que no sabe?
- ¿Se escalan casos sensibles?
Método paso a paso
- 1
Definir tareas útiles
Recoger preguntas reales, sus variantes y el resultado empresarial esperado. Agregue ambigüedad, conflicto de fuentes, documentos vencidos y solicitudes fuera de alcance.
Entregable: taxonomía de casos y riesgos.
- 2
Limpiar el corpus
Asignar propietario, derechos, fecha de validez y estado a cada fuente. Elimina duplicados, fragmentos huérfanos y documentos de autoridad desconocida.
Entregable: registro de corpus.
- 3
Evaluar recuperación
Mida si se encuentran y clasifican los pasajes necesarios antes de evaluar la redacción final. Inspeccionar consultas para las que no existe evidencia.
Entregable: medidas de cobertura y relevancia.
- 4
Evaluar respuestas y citas
Verificar la fidelidad a los pasajes, la integridad, las limitaciones, la relación citación-reclamación y la capacidad de señalar contradicciones.
Entregable: rúbrica de fidelidad y utilidad.
- 5
Rechazo de pruebas y ataques
Añade inyección indirecta, solicitudes de datos prohibidos, fuentes maliciosas, documentos de prioridad falsos y acciones irreversibles. Definir escalada humana.
Entregable: resultados de seguridad y barandillas.
- 6
Cambio de monitor
Versión corpus, índice, configuraciones, modelo e instrucciones. Reproduzca el conjunto estable en cada cambio y analice comentarios reales sin retener datos innecesarios.
Entregable: tablero de deriva y procedimiento de revisión.
Ejemplo trabajado ficticio
Situación ilustrativa
Un asistente interno atiende trámites, algunos de los cuales están vencidos. El conjunto de pruebas contiene preguntas rutinarias, ambiguas y sin respuesta; cada cita se compara con la versión del documento.
Decisión y pruebas esperadas
La publicación espera hasta que se excluyen las fuentes caducadas, se rechazan las respuestas no admitidas y se identifica al propietario del corpus.
Indicadores de gestión
| Indicador | Qué mide | Primera acción |
|---|---|---|
| Cobertura de recuperación | Preguntas para las que se encuentran pasajes necesarios | Arreglar corpus, fragmentación o consulta antes del modelo |
| Fidelidad | Afirmaciones genuinamente respaldadas por fuentes citadas | Bloquear o reescribir respuestas no admitidas |
| Abstención útil | Casos sin pruebas correctamente rechazados o escalados | Umbrales de confianza de sintonización |
| Regresión | Diferencia de calidad entre versiones de un mismo set | Identificar el cambio responsable |
Errores comunes
- Medición únicamente de fluidez en escritura
- Mezclando fallo de recuperación y alucinación
- Usar un set de evaluación demasiado fácil
- Cambiando varios componentes sin comparar
Preguntas frecuentes
¿Cuántas preguntas se necesitan?
Comience con un conjunto versionado y representativo que cubra riesgos importantes. La diversidad y la calidad importan más que el volumen artificial.
¿Es suficiente una métrica automatizada?
No. Acelera el triaje, pero los casos sensibles, ambiguos y de dominio necesitan criterios explícitos y revisión humana.
¿Se deben conservar todas las conversaciones?
No. Conservar únicamente los rastros necesarios con una finalidad, acceso y duración definida. Prefiere casos anónimos para mejorar.
Referencias oficiales
Las referencias respaldan el método. Adapte los controles a su contexto; no constituyen certificación. Los títulos de referencia originales y los documentos fuente pueden estar en otro idioma.
