Ресурсы · 49
Оценка регрессий ИИ перед изменением версий
Сравнивайте версии для одних и тех же задач, выявляйте локальные потери и принимайте решения, основанные на конкретных случаях, а не на среднем значении.
Обновлено · 5 min
Чего помогает достичь это руководство
- Изолировать тестируемое изменение
- Сохранить независимый эталонный набор
- Проверка сбоев по сегментам
- Подготовка к завершению работы или откату
Быстрая проверка
- Какой компонент изменился?
- Использовался ли тестовый набор для оптимизации кандидата?
- Кто разрешает разногласия по аннотациям?
- Скрывает ли среднее значение конфиденциальную ошибку?
- Можно ли восстановить предыдущую конфигурацию?
Пошаговый метод
- 1
Определение задач и отказов
Опишите ожидаемый результат, допустимые данные и дорогостоящие ошибки. Разделите точность, полезность, соответствующий отказ и последствия действий. Структура NIST требует измерения, соответствующего контексту; она не предоставляет универсального показателя надежности.
Результат: критерии и ответственный за принятие решения.
- 2
Разделение ссылок и поиска
Сохраняйте стабильный набор вне оптимизации. Добавляйте новые анонимизированные случаи обратной связи отдельно: они выявляют «слепые зоны», но не должны молча изменять знаменатель сравнения.
Результат: версионированные наборы с указанием происхождения.
- 3
Аннотация документа
Объясните, что делает ответ приемлемым, частичным или неверным. Пусть компетентный рецензент разрешит неоднозначность и сохранит причины разногласий. Единый справочный ответ может быть слишком ограничительным для задачи с открытым концом.
Результат: рубрика и рассмотренные случаи.
- 4
Сравнение в равных условиях
Воспроизведение идентичных входных данных с записанными версиями, параметрами, инструментами и источниками. Повторение испытаний при изменении выходных данных и сообщение об изменении. Разделение сбоев модели, отсутствия данных, недоступных инструментов и дефектного теста.
Результат: парные результаты и минимизированные трассировки.
- 5
Принятие решения по семействам рисков
Анализ потерь по языку, типу документа и конфиденциальной ситуации, даже если среднее значение улучшается. Определение критериев остановки, исправления и ограниченного выпуска перед чтением результатов. Один серьезный случай может оправдать задержку выпуска.
Результат: принятие решений, оговорки и исключения.
- 6
Воспроизведение после выпуска
Подготовка восстанавливаемой конфигурации и доступного владельца. Сравнение ранней обратной связи с набором тестов, не рассматривая локальный успех как доказательство для всех вариантов использования. Переоценка при изменении данных или зависимостей.
Результат: процедура мониторинга и отката.
Понять, рассчитать и принять решение
Сравнивайте те же случаи: чистый выигрыш и локальные регрессии
Две общие доли не показывают, какие случаи изменились. В вымышленном примере каждая задача оценивается для A и B как приемлемая или неприемлемая по одному заранее заданному критерию.
Уместный отказ может быть приемлемым для задачи. Случаи без оценки одной из версий учитываются отдельно, а не как ошибки.
| A / B | B приемлема | B неприемлема |
|---|---|---|
| A приемлема | 70Обе приемлемы | 10Потери от A к B |
| A неприемлема | 15Выигрыши от A к B | 5Обе неприемлемы |
Правило расчёта
N = c + l + g + e ; A% = 100(c + l)/N ; B% = 100(c + g)/N ; Δpp = 100(g − l)/N
Интерпретировать переходы
Чего не решает общая доля
Вымышленные варианты не зависят от введённых в калькулятор значений.
- Сопоставить
Согласовать идентификаторы, версии и условия теста.
- Оценить
Применить один критерий и разрешить пропуски или неоднозначности.
- Проверить
Изучить потери по группам риска перед решением.
Вымышленные упражнения без оценки реальной системы.
Одинаковая доля — те же приемлемые ответы?
- Наблюдение
- Другой набор содержит десять выигрышей и десять потерь.
- Ожидаемое толкование
- Чистая разница нулевая, но двадцать случаев меняют статус.
Нет оценки B?
- Наблюдение
- A оценена, B пока нет.
- Ожидаемое толкование
- Держать пару вне полной таблицы, указать пропуск и получить оценку.
Правило разметки изменилось?
- Наблюдение
- A использует старый критерий, B — новый.
- Ожидаемое толкование
- Переоценить обе версии по общей процедуре.
Лишь одна критическая потеря?
- Наблюдение
- Одна потеря нарушает правило изоляции, заранее определённое как блокирующее.
- Ожидаемое толкование
- Приостановить выпуск в этом объёме; пятнадцать выигрышей не снимают блокировку.
Многоразовый рабочий лист
Заполните ваши авторизованные наблюдения. Эти поля являются рабочим шаблоном, а не наблюдаемыми результатами.
| Поле | Информация для записи |
|---|---|
| Случай и сегмент | Стабильный идентификатор, язык, тип задачи |
| Ожидаемый результат | Критерий приемлемости и справочные данные |
| Версии A/B | Результат, повторение, причина сбоя |
| Решение | Принять, исправить или остановить; владелец и доказательства |
Вымышленный пример
Иллюстративная ситуация
Вымышленный пример: данные не описывают клиента или наблюдаемый результат. Классификатор улучшает общий показатель, но хуже распознаёт обращения, требующие срочной обработки.
Решение и ожидаемые доказательства
Повторить одинаковые случаи, сохранить результаты по типам обращений и проверить критические ошибки по общей методике. Решать с учётом тяжести, объёма и возможности исправления. Лучшая средняя оценка не означает лучший выбор для сервиса.
Различение механизмов
| Механизм | Назначение | Проверка или ограничение |
|---|---|---|
| Стабильный набор | Сравнение версий | Избегайте оптимизации |
| Новые случаи | Выявление слепых зон | Отчетность отдельно от исторических результатов |
| Наблюдение в процессе эксплуатации | Понимание фактического использования | Соблюдение разрешений, минимизация и контекст |
Показатели управления
| Показатель | Что он измеряет | Первое действие |
|---|---|---|
| Парные потери | Ранее принятые случаи теперь не работают | Проверка каждой чувствительной потери |
| Несоответствие аннотаций | Случаи с разными оценками | Уточнение рубрики перед сравнением |
| Покрытие сегментов | Фактически представленные ситуации | Называйте непроверенные варианты использования |
Распространенные ошибки
- Оптимизация на заключительном тесте
- Одновременное изменение набора и версии
- Восприятие автоматизированного судьи как истины
- Принятие критических потерь, потому что среднее значение улучшает
Часто задаваемые вопросы
Требуется ли автоматизированный судья?
Нет. Он может ускорить сортировку, если его критерии проверены; неоднозначные или дорогостоящие случаи по-прежнему требуют рассмотрения в рамках бизнес-процессов.
Достаточно ли среднего улучшения?
Нет. Сравните соответствующие случаи и сегменты, затем примените критерии, установленные до тестирования.
Сколько случаев необходимо?
Объем зависит от разнообразия и риска. Количество отчетов, происхождение и ограничения; небольшой набор не гарантирует общей безопасности.
RAG: права доступа, ссылки и кеши
Подробные справочные заметки в этой версии доступны на английском.
Replay rights after every RAG-chain change
Changing a lexical engine, fusion, cache or citation resolver may reopen a secondary path. Freeze a fictional document set with expected outcomes before comparing versions.
- Version policy, index, connector, model and cases.
- Exercise initial, revoked-group and deleted-object states.
- Examine every difference without hiding a critical failure in an average.
Explore the RAG access matrix and replay cases →
References consulted on · OWASP · LLM08:2025 Vector and Embedding Weaknesses OWASP · API1:2023 Broken Object Level Authorization
ИИ: проверка результата JSON
Подробные справочные заметки в этой версии доступны на английском.
Test refused and undecidable outputs too
A model, prompt or validator update can change handling of duplicates, types and dates. Acceptance checks need to cover these decisions beyond the number of parseable JSON responses.
- Version the schema, validator settings and reference cases.
- Check that well-formed but false values remain blocked.
- Keep syntax, contract, date and evidence errors separate.
Compare the 14 outputs and their reasons →
Sources reviewed on · IETF · RFC 8259 · JSON Schema · Object reference · JSON Schema · Draft 2020-12 validation · Python 3.12 · json decoder · python-jsonschema · Schema validation · OWASP · LLM05:2025 Improper Output Handling
RAG: релевантность и ранжирование
Подробные справочные заметки в этой версии доступны на английском.
Compare retrieval before evaluating the answer
Keep the same needs, judgments and depth k when comparing configurations. Inspect regressing queries before drawing conclusions from an average.
- Separate window precision, relevant-record coverage and ordering quality.
- Document missing judgments and the no-relevant-record convention.
- Then evaluate the answer, citations and refusals using a separate protocol.
Explore ranking measures and relevance judgments →
Stanford CS276 · Retrieval evaluation · 2019 course archive · PDF pp. 3, 5–6 · consulted 2026-10-23
NIST TREC · Reciprocal rank definition · Repository snapshot 35cf096ba6d5ae08ca4803c056b31ed61a56a6d4 · consulted 2026-10-23
Официальные ссылки
Ссылки подтверждают метод. Адаптируйте проверки к вашему контексту; они не являются сертификацией. Оригинальные названия ссылок и исходные документы могут быть на другом языке.
Источники проверены .
- NIST — AI Risk Management Framework 1.0, Measure
- NIST — AI RMF Core, Measure
- Dror et al. · ACL 2018 · §3.2.2, paired observations
- OWASP · LLM08:2025 Vector and Embedding Weaknesses
- OWASP · API1:2023 Broken Object Level Authorization
- IETF · RFC 8259
- JSON Schema · Object reference
- JSON Schema · Draft 2020-12 validation
- Python 3.12 · json decoder
- python-jsonschema · Schema validation
- OWASP · LLM05:2025 Improper Output Handling
- Stanford CS276 · Retrieval evaluation
- NIST TREC · Reciprocal rank definition
