דוגמה בדיונית: מ־5 % ל־6 %
בכל קבוצה 1000 אנשים מתאימים שהוקצו באקראי. באותו חלון מעקב, ב־A יש 50 אנשים עם המרה העומדת בהגדרה וב־B יש 60. השיעורים הם 5 % ו־6 %: הפרש של נקודת אחוז אחת, או עלייה יחסית של 20 %.
| מדד בדוגמה בדיונית | A | B |
|---|---|---|
| אנשים שהוקצו | 1000 | 1000 |
| אנשים עם המרה מוגדרת | 50 | 60 |
| שיעור המרה | 5 % | 6 % |
| הפרש מוחלט לעומת A (נקודות אחוז) | 0 | +1 |
| הפרש יחסי לעומת A | 0 % | +20 % |
הכינו תוצאה שניתנת לפירוש
- קבעו השערה, יחידת הקצאה, מדד ראשי, מדגם נדרש, אופק וכלל עצירה. תכננו שיטת אי־ודאות המתאימה לניתוחי ביניים ולהשוואות מרובות.
- שמרו על מכנה התואם להקצאה. בחירת מי שהקליקו לאחר חשיפה בלבד עלולה להטות. בדקו כפילויות, אובדן מדידה וחלוקת קבוצות.
- המתינו להבשלת ההמרות המתוכננת. חלוקת קבוצות חריגה מחייבת אבחון לפני פירוש ההשפעה.
החליטו בלי להבטיח תשואה
הספירות לבדן אינן מוכיחות השפעה ודאית או שיפור ברווחיות. בדקו טווחי אי־ודאות, עלות, איכות המרות והשפעות שליליות. השוואת לפני/אחרי עשויה לשקף עונתיות או שינוי קהל ואינה מחליפה אוטומטית קבוצת ביקורת בת השוואה.