Ресурсы · 50

Малые выборки: сообщить о неопределенности измерения

Отображайте количество, период и ограничения перед интерпретацией показателя или рекомендацией действий.

Обновлено · 4 min

Пустой зал операций киберразведки ночью Редакционная иллюстрация, созданная с помощью ИИ

Чего помогает достичь это руководство

  • Публикация данных о количестве участников.
  • Отделение вариаций от ошибок сбора данных.
  • Назовите статистические предположения.
  • Избегайте вводящей в заблуждение точности.

Быстрая проверка

  • Что такое знаменатель?
  • Учитывается ли один и тот же человек неоднократно?
  • Сопоставимы ли периоды?
  • Кто отсутствует в выборке?
  • Какое различие повлияет на решение?

Пошаговый метод

  1. 1

    Определите единицу измерения.

    Укажите, относится ли показатель к посещениям, людям, заказам или ответам. Покажите успешные случаи и подходящие единицы измерения. Изменение объема выборки может изменить показатель без изменения поведения.

    Результат: определение и подсчеты.

  2. 2

    Проверка сбора и отбора данных.

    Согласуйте результаты с исходными событиями. Выявите эффекты согласия, отсутствие устройств, добровольные ответы, дедупликацию и неполные периоды. Статистический интервал не может исправить неисправный счетчик или исключенных участников.

    Результат: ограничения охвата.

  3. 3

    Выберите подходящий метод.

    Для биномиальной пропорции NIST описывает интервалы Вильсона и точные интервалы среди других методов. Сначала проверьте предположения о независимости и выборке. Интервал, рассчитанный на основе повторных посещений, может подразумевать неоправданную точность.

    Результат: метод, уровень и предположения.

  4. 4

    Представьте оценку и диапазон вместе.

    Покажите количество, период и метод рядом с оценкой. В частотной интерпретации доверительный интервал описывает повторную процедуру, а не вероятность того, что фиксированный параметр находится в этом конкретном интервале.

    Результат: контекстуализированный результат.

  5. 5

    Избегайте упрощенных сравнений.

    Не делайте вывод о различии только на основании перекрытия интервалов. Для сравнения необходим соответствующий метод, план и заранее определенная полезная разница; необходимо учитывать необходимость повторного мониторинга результатов.

    Результат: протокол сравнения.

  6. 6

    Принятие решения с учетом ограничений.

    Различение дешевого обратимого действия от долгосрочного обязательства. Сообщение о неубедительных результатах и ​​указание полезных дополнительных доказательств. Не следует делать благоприятный вывод только потому, что тест должен быть завершен.

    Результат: решение и недостающая информация.

Показывать исходную базу процентного изменения

Вымышленный пример: данные не описывают клиента или наблюдаемый результат.

Ситуация

В сообщении объявляют рост на 100 %, когда один успех из двадцати превращается в два из двадцати.

Проверка

Показать оба количества, доли 5 % и 10 % и разницу в пять процентных пунктов. Объяснить сопоставимость периодов.

Действие

Разделять наблюдаемое изменение, неопределённость и интерпретацию. Удвоение не доказывает, что разницу вызвало исследуемое воздействие.

Вымышленный пример

Ноль событий не доказывает нулевой риск

Сравните 0 событий на 20 наблюдений и 0 на 200: наблюдаемая доля одинакова, неопределённость различается.

Одинаковая доля, разная неопределённость

Условная выборка95%-й интервал УилсонаИнтерпретация
0 / 20 0 % – 16,1 % Отсутствие наблюдаемых событий не означает их невозможности.
0 / 200 0 % – 1,9 % Больше наблюдений уменьшает неопределённость при тех же предпосылках.
10 / 100 5,5 % – 17,4 % Наблюдаемые 10% следует читать вместе со знаменателем.

Правило расчёта

p = x/n ; d = 1 + z²/n ; c = (p + z²/(2n))/d ; m = z × √(p(1 − p)/n + z²/(4n²))/d ; [c − m ; c + m] ; z = 1.959963984540054

Многоразовый рабочий лист

Заполните ваши авторизованные наблюдения. Эти поля являются рабочим шаблоном, а не наблюдаемыми результатами.

ПолеИнформация для записи
ИзмерениеУспехи / допустимые единицы; определение
КонтекстПериод, популяция, исключения и повторения
МетодОценка, интервал, уровень и предположения
ЗаключениеНаблюдаемые данные, неубедительные результаты, действия и необходимые доказательства

Вымышленный пример

Иллюстративная ситуация

Вычисленный вымышленный пример: 10 успехов из 100 единиц дают 10 %. 95 % интервал Вильсона с z = 1,96 составляет примерно от 5,5 % до 17,4 % при биномиальных предположениях.

Решение и ожидаемые доказательства

В комментарии сообщается о 10/100, периоде и предположениях. Он не обещает ни той же будущей частоты, ни улучшения, вызванного кампанией.

Различение механизмов

МеханизмНазначениеПроверка или ограничение
Наблюдаемая частотаОписывает выборкуНе устанавливает точность сама по себе
ИнтервалКоличественно оценивает неопределенность при допущенияхНе устраняет систематическую ошибку отбора
Сравнительный тестИзучает разницу в рамках планаНе устанавливает коммерческую ценность сам по себе

Показатели управления

ПоказательЧто он измеряетПервое действие
Допустимое количествоФактически наблюдаемые единицыОтображается вместе с частотой
Ширина интервалаНеопределенность, зависящая от методаИзбегать чрезмерно точных выводов
ОхватВключенные и отсутствующие популяцииПроверка слепых зон

Распространенные ошибки

  • Отображение множества десятичных знаков для нескольких ответов
  • Рассмотрение повторных посещений как независимых людей
  • Приравнивание незначимости к отсутствию эффекта
  • Скрытие неубедительных результатов Результаты

Часто задаваемые вопросы

Доказывает ли нулевая частота нулевой риск?

Нет. Отсутствие событий в ограниченной выборке не устанавливает невозможность в популяции.

Корректирует ли интервал смещение?

Нет. Он описывает неопределенность при определенных предположениях; охват и качество сбора данных все еще нуждаются в пересмотре.

Можно ли сравнивать показатели визуально?

Используйте подсчеты и соответствующий метод сравнения. Перекрытие интервалов само по себе не является тестом.

Официальные ссылки

Ссылки подтверждают метод. Адаптируйте проверки к вашему контексту; они не являются сертификацией. Оригинальные названия ссылок и исходные документы могут быть на другом языке.

Источники проверены .