Ресурсы · 50
Малые выборки: сообщить о неопределенности измерения
Отображайте количество, период и ограничения перед интерпретацией показателя или рекомендацией действий.
Обновлено · 3 min
Чего помогает достичь это руководство
- Публикация данных о количестве участников.
- Отделение вариаций от ошибок сбора данных.
- Назовите статистические предположения.
- Избегайте вводящей в заблуждение точности.
Быстрая проверка
- Что такое знаменатель?
- Учитывается ли один и тот же человек неоднократно?
- Сопоставимы ли периоды?
- Кто отсутствует в выборке?
- Какое различие повлияет на решение?
Пошаговый метод
- 1
Определите единицу измерения.
Укажите, относится ли показатель к посещениям, людям, заказам или ответам. Покажите успешные случаи и подходящие единицы измерения. Изменение объема выборки может изменить показатель без изменения поведения.
Результат: определение и подсчеты.
- 2
Проверка сбора и отбора данных.
Согласуйте результаты с исходными событиями. Выявите эффекты согласия, отсутствие устройств, добровольные ответы, дедупликацию и неполные периоды. Статистический интервал не может исправить неисправный счетчик или исключенных участников.
Результат: ограничения охвата.
- 3
Выберите подходящий метод.
Для биномиальной пропорции NIST описывает интервалы Вильсона и точные интервалы среди других методов. Сначала проверьте предположения о независимости и выборке. Интервал, рассчитанный на основе повторных посещений, может подразумевать неоправданную точность.
Результат: метод, уровень и предположения.
- 4
Представьте оценку и диапазон вместе.
Покажите количество, период и метод рядом с оценкой. В частотной интерпретации доверительный интервал описывает повторную процедуру, а не вероятность того, что фиксированный параметр находится в этом конкретном интервале.
Результат: контекстуализированный результат.
- 5
Избегайте упрощенных сравнений.
Не делайте вывод о различии только на основании перекрытия интервалов. Для сравнения необходим соответствующий метод, план и заранее определенная полезная разница; необходимо учитывать необходимость повторного мониторинга результатов.
Результат: протокол сравнения.
- 6
Принятие решения с учетом ограничений.
Различение дешевого обратимого действия от долгосрочного обязательства. Сообщение о неубедительных результатах и указание полезных дополнительных доказательств. Не следует делать благоприятный вывод только потому, что тест должен быть завершен.
Результат: решение и недостающая информация.
Многоразовый рабочий лист
Заполните ваши авторизованные наблюдения. Эти поля являются рабочим шаблоном, а не наблюдаемыми результатами.
| Поле | Информация для записи |
|---|---|
| Измерение | Успехи / допустимые единицы; определение |
| Контекст | Период, популяция, исключения и повторения |
| Метод | Оценка, интервал, уровень и предположения |
| Заключение | Наблюдаемые данные, неубедительные результаты, действия и необходимые доказательства |
Вымышленный пример
Иллюстративная ситуация
Вычисленный вымышленный пример: 10 успехов из 100 единиц дают 10 %. 95 % интервал Вильсона с z = 1,96 составляет примерно от 5,5 % до 17,4 % при биномиальных предположениях.
Решение и ожидаемые доказательства
В комментарии сообщается о 10/100, периоде и предположениях. Он не обещает ни той же будущей частоты, ни улучшения, вызванного кампанией.
Различение механизмов
| Механизм | Назначение | Проверка или ограничение |
|---|---|---|
| Наблюдаемая частота | Описывает выборку | Не устанавливает точность сама по себе |
| Интервал | Количественно оценивает неопределенность при допущениях | Не устраняет систематическую ошибку отбора |
| Сравнительный тест | Изучает разницу в рамках плана | Не устанавливает коммерческую ценность сам по себе |
Показатели управления
| Показатель | Что он измеряет | Первое действие |
|---|---|---|
| Допустимое количество | Фактически наблюдаемые единицы | Отображается вместе с частотой |
| Ширина интервала | Неопределенность, зависящая от метода | Избегать чрезмерно точных выводов |
| Охват | Включенные и отсутствующие популяции | Проверка слепых зон |
Распространенные ошибки
- Отображение множества десятичных знаков для нескольких ответов
- Рассмотрение повторных посещений как независимых людей
- Приравнивание незначимости к отсутствию эффекта
- Скрытие неубедительных результатов Результаты
Часто задаваемые вопросы
Доказывает ли нулевая частота нулевой риск?
Нет. Отсутствие событий в ограниченной выборке не устанавливает невозможность в популяции.
Корректирует ли интервал смещение?
Нет. Он описывает неопределенность при определенных предположениях; охват и качество сбора данных все еще нуждаются в пересмотре.
Можно ли сравнивать показатели визуально?
Используйте подсчеты и соответствующий метод сравнения. Перекрытие интервалов само по себе не является тестом.
Официальные ссылки
Ссылки подтверждают метод. Адаптируйте проверки к вашему контексту; они не являются сертификацией. Оригинальные названия ссылок и исходные документы могут быть на другом языке.
Источники проверены .
