Recursos · 49

Evaluar regresiones de IA antes de cambiar de versión

Compara versiones sobre las mismas tareas, encuentra pérdidas locales y toma una decisión sustentada en casos en lugar de un promedio.

Actualizado · 5 min

Sala nocturna de operaciones de inteligencia cibernética, sin personal Ilustración editorial generada con IA

Lo que esta guía ayuda a lograr

  • Aislar el cambio probado
  • Preservar un conjunto de referencia independiente
  • Inspeccionar fallas por segmento
  • Preparar apagado o reversión

Comprobación rápida

  • ¿Qué componente cambió?
  • ¿Se utilizó el conjunto de pruebas para optimizar el candidato?
  • ¿Quién resuelve los desacuerdos de anotaciones?
  • ¿Un promedio oculta un error sensible?
  • ¿Se puede restaurar la configuración anterior?

Método paso a paso

  1. 1

    Definir tarea y negativas

    Describir resultados esperados, datos permitidos y errores costosos. Separar precisión, utilidad, rechazo apropiado y efectos de acción. El marco del NIST exige una medición apropiada al contexto; no proporciona una puntuación de confiabilidad universal.

    Entregable: criterios y propietario de la decisión.

  2. 2

    Referencia y descubrimiento separados

    Mantener un conjunto estable fuera de optimización. Agregue nuevos casos de comentarios anónimos por separado: revelan puntos ciegos pero no deberían cambiar silenciosamente el denominador de comparación.

    Entregable: conjuntos versionados con procedencia.

  3. 3

    Anotación del documento

    Explica qué hace que una respuesta sea aceptable, parcial o incorrecta. Haga que un revisor competente resuelva la ambigüedad y conserve los motivos de los desacuerdos. Una respuesta de referencia única puede resultar demasiado restrictiva para una tarea abierta.

    Entregable: rúbrica y casos adjudicados.

  4. 4

    Comparar en igualdad de condiciones

    Reproduce entradas idénticas con versiones, parámetros, herramientas y fuentes grabadas. Repita las pruebas cuando los resultados varíen e informe la variación. Fallo del modelo separado, datos ausentes, herramientas no disponibles y una prueba defectuosa.

    Entregable: resultados emparejados y rastros minimizados.

  5. 5

    Decidir por familia de riesgo

    Inspeccionar pérdidas por idioma, tipo de documento y situación sensible incluso cuando la media mejora. Defina criterios de parada, corrección y liberación limitada antes de leer los resultados. Un caso grave puede justificar la retención de una liberación.

    Entregable: decisión, reservas y excepciones.

  6. 6

    Repetición después del lanzamiento

    Preparar una configuración restaurable y propietario accesible. Compare los comentarios iniciales con el conjunto de pruebas sin tratar el éxito local como evidencia para todos los usos. Reevaluar cuando los datos o las dependencias cambien.

    Entregable: procedimiento de monitoreo y rollback.

Comprender, calcular y decidir

Comparar los mismos casos: ganancias netas y regresiones locales

Dos tasas globales no identifican qué casos cambiaron. En este ejemplo ficticio, cada tarea se juzga aceptable o no aceptable para A y B con el mismo criterio fijado antes del ensayo.

Una negativa adecuada puede ser aceptable según la tarea. Los casos sin juicio para una versión se mantienen aparte; no se consideran fallos.

Caso ficticio de referencia: 100 tareas juzgadas en ambas versiones
A / BB aceptableB no aceptable
A aceptable 70Ambas aceptables 10Pérdidas de A a B
A no aceptable 15Ganancias de A a B 5Ambas no aceptables

Regla de cálculo

N = c + l + g + e ; A% = 100(c + l)/N ; B% = 100(c + g)/N ; Δpp = 100(g − l)/N

Interpretar transiciones

Lo que la tasa no decide

Estas variantes ficticias son independientes de los valores del calculador.

  1. Emparejar

    Alinear identificadores, versiones y condiciones de ensayo.

  2. Juzgar

    Aplicar un criterio común y resolver juicios ausentes o ambiguos.

  3. Examinar

    Revisar pérdidas por familia de riesgo antes de decidir.

Ejercicios ficticios, sin evaluar un sistema real.

¿Misma tasa, mismas respuestas aceptables?
Observación
Otro lote tiene diez ganancias y diez pérdidas.
Lectura esperada
La diferencia neta es cero, pero veinte casos cambian de estado.
¿Falta el juicio de B?
Observación
A está evaluado y B todavía no.
Lectura esperada
Mantener el par fuera de la tabla completa, declarar la ausencia y obtener el juicio.
¿Cambió la regla de anotación?
Observación
A usa el criterio antiguo y B el nuevo.
Lectura esperada
Volver a juzgar ambas versiones con una regla común.
¿Una sola pérdida crítica?
Observación
Una pérdida viola una regla de aislamiento definida previamente como bloqueante.
Lectura esperada
Suspender la puesta en servicio en ese ámbito; quince ganancias no eliminan el bloqueo.

Hoja de cálculo reutilizable

Complete con sus observaciones autorizadas. Estos campos son una plantilla de trabajo, no resultados observados.

CampoInformación a registrar
Caso y segmentoIdentificador estable, idioma, tipo de tarea
EsperadoCriterio de aceptación y evidencia de referencia
Versiones A/BResultado, repetición, causa del fracaso
DecisiónAceptar, corregir o detener; propietario y evidencia

Ejemplo trabajado ficticio

Situación ilustrativa

Ejemplo ficticio: estos datos no describen clientes ni resultados observados. Un clasificador mejora su puntuación global, pero detecta peor las solicitudes que necesitan atención urgente.

Decisión y pruebas esperadas

Repetir los mismos casos, conservar resultados por tipo de solicitud y revisar los errores críticos con una definición común. Decidir según gravedad, volumen y capacidad de recuperación. La mejor media no implica la mejor opción para el servicio.

Distinguir los mecanismos

MecanismoPropósitoVerificación o limitación
Conjunto estableComparar versionesMantener fuera de optimización
Nuevos casosEncuentra puntos ciegosReportar por separado de los resultados históricos
Observación en servicioEntender el uso realRespetar permisos, minimización y contexto

Indicadores de gestión

IndicadorQué midePrimera acción
Pérdidas emparejadasCasos previamente aceptados ahora fallanInspeccionar cada pérdida sensible
Discrepancia de anotaciónCasos con sentencias divergentesAclarar la rúbrica antes de comparar
Cobertura de segmentoSituaciones realmente representadasNombre usos no probados

Errores comunes

  • Optimización en la prueba final
  • Cambiando conjunto y versión juntos
  • Tratar a un juez automatizado como verdad
  • Aceptar pérdidas críticas porque mejora la media

Preguntas frecuentes

¿Se requiere un juez automatizado?

No. Puede agilizar el triaje si se valida su rúbrica; Los casos ambiguos o costosos todavía necesitan una resolución empresarial.

¿Es suficiente una mejora media?

No. Comparar casos y segmentos relevantes, luego aplicar los criterios establecidos antes de realizar la prueba.

¿Cuantos casos se necesitan?

El volumen depende de la diversidad y el riesgo. Recuento de informes, procedencia y limitaciones; ningún conjunto pequeño establece la seguridad general.

RAG: permisos, citas y cachés

Las notas detalladas de esta edición están disponibles en inglés.

Replay rights after every RAG-chain change

Changing a lexical engine, fusion, cache or citation resolver may reopen a secondary path. Freeze a fictional document set with expected outcomes before comparing versions.

  • Version policy, index, connector, model and cases.
  • Exercise initial, revoked-group and deleted-object states.
  • Examine every difference without hiding a critical failure in an average.

Explore the RAG access matrix and replay cases →

References consulted on · OWASP · LLM08:2025 Vector and Embedding Weaknesses OWASP · API1:2023 Broken Object Level Authorization

IA: comprobar un resultado JSON

Las notas detalladas de esta edición están disponibles en inglés.

Test refused and undecidable outputs too

A model, prompt or validator update can change handling of duplicates, types and dates. Acceptance checks need to cover these decisions beyond the number of parseable JSON responses.

  • Version the schema, validator settings and reference cases.
  • Check that well-formed but false values remain blocked.
  • Keep syntax, contract, date and evidence errors separate.

Compare the 14 outputs and their reasons →

Sources reviewed on · IETF · RFC 8259 · JSON Schema · Object reference · JSON Schema · Draft 2020-12 validation · Python 3.12 · json decoder · python-jsonschema · Schema validation · OWASP · LLM05:2025 Improper Output Handling

RAG: relevancia y clasificación

Las notas detalladas de esta edición están disponibles en inglés.

Compare retrieval before evaluating the answer

Keep the same needs, judgments and depth k when comparing configurations. Inspect regressing queries before drawing conclusions from an average.

  • Separate window precision, relevant-record coverage and ordering quality.
  • Document missing judgments and the no-relevant-record convention.
  • Then evaluate the answer, citations and refusals using a separate protocol.

Explore ranking measures and relevance judgments →

Stanford CS276 · Retrieval evaluation · 2019 course archive · PDF pp. 3, 5–6 · consulted 2026-10-23

NIST TREC · Reciprocal rank definition · Repository snapshot 35cf096ba6d5ae08ca4803c056b31ed61a56a6d4 · consulted 2026-10-23

Referencias oficiales

Las referencias respaldan el método. Adapte los controles a su contexto; no constituyen certificación. Los títulos de referencia originales y los documentos fuente pueden estar en otro idioma.

Referencias consultadas el .