בדיקת A/B משווה גרסאות בהקצאה אקראית של יחידות זכאיות. היא יכולה למדוד הבדל בהקשר שנבדק, אך אינה מבטיחה עלייה במכירות או תוצאות לכל האתר.
להגדיר פרוטוקול לפני ההתחלה
יש לבחור יחידת הקצאה, מדד ראשי, השפעה מינימלית מעניינת וכלל עצירה. שומרים על הקצאת המשתמש ובודקים פערים בין החלוקה המתוכננת לנצפית. אפשר להשוות עיצוב מחדש כחבילה, אך כך לא מבודדים כל רכיב.
לקרוא דוגמה בלי להכריז על מנצח
בדוגמה הבדיונית בכל קבוצה 2000 משתמשים: 100 קונים ב־A ו־120 ב־B. השיעורים הנצפים הם 5 ו־6 אחוזים. ההפרש הנאמד הוא נקודת אחוז אחת, או 20 אחוזים יחסית; עדיין צריך לבדוק אי־ודאות ומדדי הגנה.
| גרסה | משתמשים | קונים / שיעור |
|---|---|---|
| A | 2000 | 100 (5 %) |
| B | 2000 | 120 (6 %) |
להשתמש בכלים ובקריטריונים עדכניים
Google Optimize ו־Optimize 360 נסגרו ב־30 בספטמבר 2023. יש לבחור פתרון המתאים לתכנון, להרשאות ולחובות איסוף. שבוע או שבועיים אינם מבטיחים עוצמה מספקת; בודקים גם שגיאות, החזרות והשפעה על המסלול.
מקורות ואימות
- Google Analytics — Google Optimize sunset, 30 September 2023
- Microsoft Research — Diagnosing Sample Ratio Mismatch in A/B Testing
- NIST — Difference of Proportions Confidence Interval
ניסוי בדפי מוצר מבלי להסתיר נזק.
שינוי המרה בדף מוצר צריך להיקרא לצד שגיאות בחירה, החזרות ודיוק ההצעה המוצגת. גרסה שמובילה ליותר קליקים אך ליותר רכישות שגויות אינה בהכרח טובה יותר.
- שמירה על יציבות הקצאה כך שלקוח אחד לא יראה הצעות סותרות.
- מעקב אחר שגיאות הוספה לעגלה, רכישה, נטישה וריאנט בנפרד.
- בדיקת תמונות, מחירים וזמינות בנייד עבור שני הווריאציות.
מקור ראשוני: Microsoft Research — Online experimentation. שיטה קשורה: קריאת המדריך המעשי.