בדיקת A/B: גודל השפעה, רווח ומובהקות

מובהקות סטטיסטית אינה מבטיחה שתוצאה נכונה, חשובה או ניתנת לשחזור. ההחלטה צריכה להתחשב גם בתכנון, בגודל ההשפעה ובאי־ודאות.

לפרש נכון ערך p

תחת השערת האפס והנחות המבחן, ערך p מתאר הסתברות לתוצאה קיצונית לפחות כמו הנצפית. אין זו ההסתברות שההשערה נכונה או שאקראיות לבדה יצרה את התוצאה. מתכננים השוואות לפני הניתוח.

דוגמה בדיונית עם רווח רחב

עם 100 קונים מתוך 2000 ב־A ו־120 מתוך 2000 ב־B, קירוב נורמלי לא מתוקן לשתי קבוצות עצמאיות נותן רווח של 95 אחוזים להפרש B פחות A, בערך מ־−0.41 עד +2.41 נקודות אחוז. הוא כולל אפס ואינו מוכיח עליונות חותכת או שקילות.

100 * (0.01 +/- 1.96 * sqrt(0.05 * 0.95 / 2000 + 0.06 * 0.94 / 2000))

לכבד את שיטת העצירה שנבחרה

בניתוח בעל אופק קבוע אין לעצור בסף החיובי הראשון לאחר בדיקות חוזרות. שיטה סדרתית צריכה להביא בחשבון ניתוחים אלה. מדווחים גם מדדי הגנה ומגבלות; השפעה יחסית גדולה עשויה להישאר לא ודאית או לא חשובה מעשית.

מקורות ואימות

אומת ב־1 בנובמבר 2026

• ASA — Statement on statistical significance and p-values
• NIST — Difference of Proportions Confidence Interval
• Kharitonov et al. — Sequential Testing for Early Stopping of Online Experiments

{
    "population": 200,
    "eligible": 80,
    "positive": 20,
    "rate_all": 0.1,
    "rate_eligible": 0.25
}