Рассказ должен делать рассуждение проверяемым. Убедительность не превращает корреляцию в причину и не оправдывает вымышленные результаты клиентов.
Указать условия наблюдения
Назовите источник, период, единицу, аудиторию, исключения и доступность. Покажите важные пропуски и пересмотры. Различайте наблюдение, оценку и вымышленный сценарий: рост сообщений не измеряет прямо рост атак.
Представить пересматриваемое решение
Раскройте альтернативные объяснения и неопределённость, отделяя предлагаемое действие от доказанного эффекта. Укажите сведения, которые изменили бы решение. Неблагоприятные и неопределённые результаты тоже входят в отчёт; выбор только выгодных цифр ослабляет вывод.
| Пункт | Что документировать |
|---|---|
| Наблюдение | Что действительно показывают данные |
| Гипотеза | Ещё не проверенное объяснение |
| Решение | Действие, защита и критерии пересмотра |
Источники и проверка
Показывать исходную базу процентного изменения
Вымышленный пример: данные не описывают клиента или наблюдаемый результат.
В сообщении объявляют рост на 100 %, когда один успех из двадцати превращается в два из двадцати.
- Показать оба количества, доли 5 % и 10 % и разницу в пять процентных пунктов. Объяснить сопоставимость периодов.
- Разделять наблюдаемое изменение, неопределённость и интерпретацию. Удвоение не доказывает, что разницу вызвало исследуемое воздействие.
Первичный источник: NIST/SEMATECH — Confidence intervals for proportions. Связанный метод: прочитать практическое руководство.