Ресурсы · 50
Малые выборки: сообщить о неопределенности измерения
Отображайте количество, период и ограничения перед интерпретацией показателя или рекомендацией действий.
Обновлено · 4 min
Чего помогает достичь это руководство
- Публикация данных о количестве участников.
- Отделение вариаций от ошибок сбора данных.
- Назовите статистические предположения.
- Избегайте вводящей в заблуждение точности.
Быстрая проверка
- Что такое знаменатель?
- Учитывается ли один и тот же человек неоднократно?
- Сопоставимы ли периоды?
- Кто отсутствует в выборке?
- Какое различие повлияет на решение?
Пошаговый метод
- 1
Определите единицу измерения.
Укажите, относится ли показатель к посещениям, людям, заказам или ответам. Покажите успешные случаи и подходящие единицы измерения. Изменение объема выборки может изменить показатель без изменения поведения.
Результат: определение и подсчеты.
- 2
Проверка сбора и отбора данных.
Согласуйте результаты с исходными событиями. Выявите эффекты согласия, отсутствие устройств, добровольные ответы, дедупликацию и неполные периоды. Статистический интервал не может исправить неисправный счетчик или исключенных участников.
Результат: ограничения охвата.
- 3
Выберите подходящий метод.
Для биномиальной пропорции NIST описывает интервалы Вильсона и точные интервалы среди других методов. Сначала проверьте предположения о независимости и выборке. Интервал, рассчитанный на основе повторных посещений, может подразумевать неоправданную точность.
Результат: метод, уровень и предположения.
- 4
Представьте оценку и диапазон вместе.
Покажите количество, период и метод рядом с оценкой. В частотной интерпретации доверительный интервал описывает повторную процедуру, а не вероятность того, что фиксированный параметр находится в этом конкретном интервале.
Результат: контекстуализированный результат.
- 5
Избегайте упрощенных сравнений.
Не делайте вывод о различии только на основании перекрытия интервалов. Для сравнения необходим соответствующий метод, план и заранее определенная полезная разница; необходимо учитывать необходимость повторного мониторинга результатов.
Результат: протокол сравнения.
- 6
Принятие решения с учетом ограничений.
Различение дешевого обратимого действия от долгосрочного обязательства. Сообщение о неубедительных результатах и указание полезных дополнительных доказательств. Не следует делать благоприятный вывод только потому, что тест должен быть завершен.
Результат: решение и недостающая информация.
Показывать исходную базу процентного изменения
Вымышленный пример: данные не описывают клиента или наблюдаемый результат.
Ситуация
В сообщении объявляют рост на 100 %, когда один успех из двадцати превращается в два из двадцати.
Проверка
Показать оба количества, доли 5 % и 10 % и разницу в пять процентных пунктов. Объяснить сопоставимость периодов.
Действие
Разделять наблюдаемое изменение, неопределённость и интерпретацию. Удвоение не доказывает, что разницу вызвало исследуемое воздействие.
Вымышленный пример
Ноль событий не доказывает нулевой риск
Сравните 0 событий на 20 наблюдений и 0 на 200: наблюдаемая доля одинакова, неопределённость различается.
Одинаковая доля, разная неопределённость
| Условная выборка | 95%-й интервал Уилсона | Интерпретация |
|---|---|---|
| 0 / 20 | 0 % – 16,1 % | Отсутствие наблюдаемых событий не означает их невозможности. |
| 0 / 200 | 0 % – 1,9 % | Больше наблюдений уменьшает неопределённость при тех же предпосылках. |
| 10 / 100 | 5,5 % – 17,4 % | Наблюдаемые 10% следует читать вместе со знаменателем. |
Правило расчёта
p = x/n ; d = 1 + z²/n ; c = (p + z²/(2n))/d ; m = z × √(p(1 − p)/n + z²/(4n²))/d ; [c − m ; c + m] ; z = 1.959963984540054
Многоразовый рабочий лист
Заполните ваши авторизованные наблюдения. Эти поля являются рабочим шаблоном, а не наблюдаемыми результатами.
| Поле | Информация для записи |
|---|---|
| Измерение | Успехи / допустимые единицы; определение |
| Контекст | Период, популяция, исключения и повторения |
| Метод | Оценка, интервал, уровень и предположения |
| Заключение | Наблюдаемые данные, неубедительные результаты, действия и необходимые доказательства |
Вымышленный пример
Иллюстративная ситуация
Вычисленный вымышленный пример: 10 успехов из 100 единиц дают 10 %. 95 % интервал Вильсона с z = 1,96 составляет примерно от 5,5 % до 17,4 % при биномиальных предположениях.
Решение и ожидаемые доказательства
В комментарии сообщается о 10/100, периоде и предположениях. Он не обещает ни той же будущей частоты, ни улучшения, вызванного кампанией.
Различение механизмов
| Механизм | Назначение | Проверка или ограничение |
|---|---|---|
| Наблюдаемая частота | Описывает выборку | Не устанавливает точность сама по себе |
| Интервал | Количественно оценивает неопределенность при допущениях | Не устраняет систематическую ошибку отбора |
| Сравнительный тест | Изучает разницу в рамках плана | Не устанавливает коммерческую ценность сам по себе |
Показатели управления
| Показатель | Что он измеряет | Первое действие |
|---|---|---|
| Допустимое количество | Фактически наблюдаемые единицы | Отображается вместе с частотой |
| Ширина интервала | Неопределенность, зависящая от метода | Избегать чрезмерно точных выводов |
| Охват | Включенные и отсутствующие популяции | Проверка слепых зон |
Распространенные ошибки
- Отображение множества десятичных знаков для нескольких ответов
- Рассмотрение повторных посещений как независимых людей
- Приравнивание незначимости к отсутствию эффекта
- Скрытие неубедительных результатов Результаты
Часто задаваемые вопросы
Доказывает ли нулевая частота нулевой риск?
Нет. Отсутствие событий в ограниченной выборке не устанавливает невозможность в популяции.
Корректирует ли интервал смещение?
Нет. Он описывает неопределенность при определенных предположениях; охват и качество сбора данных все еще нуждаются в пересмотре.
Можно ли сравнивать показатели визуально?
Используйте подсчеты и соответствующий метод сравнения. Перекрытие интервалов само по себе не является тестом.
Официальные ссылки
Ссылки подтверждают метод. Адаптируйте проверки к вашему контексту; они не являются сертификацией. Оригинальные названия ссылок и исходные документы могут быть на другом языке.
Источники проверены .
