Recursos · 49
Evaluar regresiones de IA antes de cambiar de versión
Compara versiones sobre las mismas tareas, encuentra pérdidas locales y toma una decisión sustentada en casos en lugar de un promedio.
Actualizado · 5 min
Lo que esta guía ayuda a lograr
- Aislar el cambio probado
- Preservar un conjunto de referencia independiente
- Inspeccionar fallas por segmento
- Preparar apagado o reversión
Comprobación rápida
- ¿Qué componente cambió?
- ¿Se utilizó el conjunto de pruebas para optimizar el candidato?
- ¿Quién resuelve los desacuerdos de anotaciones?
- ¿Un promedio oculta un error sensible?
- ¿Se puede restaurar la configuración anterior?
Método paso a paso
- 1
Definir tarea y negativas
Describir resultados esperados, datos permitidos y errores costosos. Separar precisión, utilidad, rechazo apropiado y efectos de acción. El marco del NIST exige una medición apropiada al contexto; no proporciona una puntuación de confiabilidad universal.
Entregable: criterios y propietario de la decisión.
- 2
Referencia y descubrimiento separados
Mantener un conjunto estable fuera de optimización. Agregue nuevos casos de comentarios anónimos por separado: revelan puntos ciegos pero no deberían cambiar silenciosamente el denominador de comparación.
Entregable: conjuntos versionados con procedencia.
- 3
Anotación del documento
Explica qué hace que una respuesta sea aceptable, parcial o incorrecta. Haga que un revisor competente resuelva la ambigüedad y conserve los motivos de los desacuerdos. Una respuesta de referencia única puede resultar demasiado restrictiva para una tarea abierta.
Entregable: rúbrica y casos adjudicados.
- 4
Comparar en igualdad de condiciones
Reproduce entradas idénticas con versiones, parámetros, herramientas y fuentes grabadas. Repita las pruebas cuando los resultados varíen e informe la variación. Fallo del modelo separado, datos ausentes, herramientas no disponibles y una prueba defectuosa.
Entregable: resultados emparejados y rastros minimizados.
- 5
Decidir por familia de riesgo
Inspeccionar pérdidas por idioma, tipo de documento y situación sensible incluso cuando la media mejora. Defina criterios de parada, corrección y liberación limitada antes de leer los resultados. Un caso grave puede justificar la retención de una liberación.
Entregable: decisión, reservas y excepciones.
- 6
Repetición después del lanzamiento
Preparar una configuración restaurable y propietario accesible. Compare los comentarios iniciales con el conjunto de pruebas sin tratar el éxito local como evidencia para todos los usos. Reevaluar cuando los datos o las dependencias cambien.
Entregable: procedimiento de monitoreo y rollback.
Comprender, calcular y decidir
Comparar los mismos casos: ganancias netas y regresiones locales
Dos tasas globales no identifican qué casos cambiaron. En este ejemplo ficticio, cada tarea se juzga aceptable o no aceptable para A y B con el mismo criterio fijado antes del ensayo.
Una negativa adecuada puede ser aceptable según la tarea. Los casos sin juicio para una versión se mantienen aparte; no se consideran fallos.
| A / B | B aceptable | B no aceptable |
|---|---|---|
| A aceptable | 70Ambas aceptables | 10Pérdidas de A a B |
| A no aceptable | 15Ganancias de A a B | 5Ambas no aceptables |
Regla de cálculo
N = c + l + g + e ; A% = 100(c + l)/N ; B% = 100(c + g)/N ; Δpp = 100(g − l)/N
Interpretar transiciones
Lo que la tasa no decide
Estas variantes ficticias son independientes de los valores del calculador.
- Emparejar
Alinear identificadores, versiones y condiciones de ensayo.
- Juzgar
Aplicar un criterio común y resolver juicios ausentes o ambiguos.
- Examinar
Revisar pérdidas por familia de riesgo antes de decidir.
Ejercicios ficticios, sin evaluar un sistema real.
¿Misma tasa, mismas respuestas aceptables?
- Observación
- Otro lote tiene diez ganancias y diez pérdidas.
- Lectura esperada
- La diferencia neta es cero, pero veinte casos cambian de estado.
¿Falta el juicio de B?
- Observación
- A está evaluado y B todavía no.
- Lectura esperada
- Mantener el par fuera de la tabla completa, declarar la ausencia y obtener el juicio.
¿Cambió la regla de anotación?
- Observación
- A usa el criterio antiguo y B el nuevo.
- Lectura esperada
- Volver a juzgar ambas versiones con una regla común.
¿Una sola pérdida crítica?
- Observación
- Una pérdida viola una regla de aislamiento definida previamente como bloqueante.
- Lectura esperada
- Suspender la puesta en servicio en ese ámbito; quince ganancias no eliminan el bloqueo.
Hoja de cálculo reutilizable
Complete con sus observaciones autorizadas. Estos campos son una plantilla de trabajo, no resultados observados.
| Campo | Información a registrar |
|---|---|
| Caso y segmento | Identificador estable, idioma, tipo de tarea |
| Esperado | Criterio de aceptación y evidencia de referencia |
| Versiones A/B | Resultado, repetición, causa del fracaso |
| Decisión | Aceptar, corregir o detener; propietario y evidencia |
Ejemplo trabajado ficticio
Situación ilustrativa
Ejemplo ficticio: estos datos no describen clientes ni resultados observados. Un clasificador mejora su puntuación global, pero detecta peor las solicitudes que necesitan atención urgente.
Decisión y pruebas esperadas
Repetir los mismos casos, conservar resultados por tipo de solicitud y revisar los errores críticos con una definición común. Decidir según gravedad, volumen y capacidad de recuperación. La mejor media no implica la mejor opción para el servicio.
Distinguir los mecanismos
| Mecanismo | Propósito | Verificación o limitación |
|---|---|---|
| Conjunto estable | Comparar versiones | Mantener fuera de optimización |
| Nuevos casos | Encuentra puntos ciegos | Reportar por separado de los resultados históricos |
| Observación en servicio | Entender el uso real | Respetar permisos, minimización y contexto |
Indicadores de gestión
| Indicador | Qué mide | Primera acción |
|---|---|---|
| Pérdidas emparejadas | Casos previamente aceptados ahora fallan | Inspeccionar cada pérdida sensible |
| Discrepancia de anotación | Casos con sentencias divergentes | Aclarar la rúbrica antes de comparar |
| Cobertura de segmento | Situaciones realmente representadas | Nombre usos no probados |
Errores comunes
- Optimización en la prueba final
- Cambiando conjunto y versión juntos
- Tratar a un juez automatizado como verdad
- Aceptar pérdidas críticas porque mejora la media
Preguntas frecuentes
¿Se requiere un juez automatizado?
No. Puede agilizar el triaje si se valida su rúbrica; Los casos ambiguos o costosos todavía necesitan una resolución empresarial.
¿Es suficiente una mejora media?
No. Comparar casos y segmentos relevantes, luego aplicar los criterios establecidos antes de realizar la prueba.
¿Cuantos casos se necesitan?
El volumen depende de la diversidad y el riesgo. Recuento de informes, procedencia y limitaciones; ningún conjunto pequeño establece la seguridad general.
RAG: permisos, citas y cachés
Las notas detalladas de esta edición están disponibles en inglés.
Replay rights after every RAG-chain change
Changing a lexical engine, fusion, cache or citation resolver may reopen a secondary path. Freeze a fictional document set with expected outcomes before comparing versions.
- Version policy, index, connector, model and cases.
- Exercise initial, revoked-group and deleted-object states.
- Examine every difference without hiding a critical failure in an average.
Explore the RAG access matrix and replay cases →
References consulted on · OWASP · LLM08:2025 Vector and Embedding Weaknesses OWASP · API1:2023 Broken Object Level Authorization
IA: comprobar un resultado JSON
Las notas detalladas de esta edición están disponibles en inglés.
Test refused and undecidable outputs too
A model, prompt or validator update can change handling of duplicates, types and dates. Acceptance checks need to cover these decisions beyond the number of parseable JSON responses.
- Version the schema, validator settings and reference cases.
- Check that well-formed but false values remain blocked.
- Keep syntax, contract, date and evidence errors separate.
Compare the 14 outputs and their reasons →
Sources reviewed on · IETF · RFC 8259 · JSON Schema · Object reference · JSON Schema · Draft 2020-12 validation · Python 3.12 · json decoder · python-jsonschema · Schema validation · OWASP · LLM05:2025 Improper Output Handling
RAG: relevancia y clasificación
Las notas detalladas de esta edición están disponibles en inglés.
Compare retrieval before evaluating the answer
Keep the same needs, judgments and depth k when comparing configurations. Inspect regressing queries before drawing conclusions from an average.
- Separate window precision, relevant-record coverage and ordering quality.
- Document missing judgments and the no-relevant-record convention.
- Then evaluate the answer, citations and refusals using a separate protocol.
Explore ranking measures and relevance judgments →
Stanford CS276 · Retrieval evaluation · 2019 course archive · PDF pp. 3, 5–6 · consulted 2026-10-23
NIST TREC · Reciprocal rank definition · Repository snapshot 35cf096ba6d5ae08ca4803c056b31ed61a56a6d4 · consulted 2026-10-23
Referencias oficiales
Las referencias respaldan el método. Adapte los controles a su contexto; no constituyen certificación. Los títulos de referencia originales y los documentos fuente pueden estar en otro idioma.
Referencias consultadas el .
- NIST — AI Risk Management Framework 1.0, Measure
- NIST — AI RMF Core, Measure
- Dror et al. · ACL 2018 · §3.2.2, paired observations
- OWASP · LLM08:2025 Vector and Embedding Weaknesses
- OWASP · API1:2023 Broken Object Level Authorization
- IETF · RFC 8259
- JSON Schema · Object reference
- JSON Schema · Draft 2020-12 validation
- Python 3.12 · json decoder
- python-jsonschema · Schema validation
- OWASP · LLM05:2025 Improper Output Handling
- Stanford CS276 · Retrieval evaluation
- NIST TREC · Reciprocal rank definition
