שתי גרסאות יכולות להיבדל ברכיב אחד או בחבילת שינויים. השוואת חבילות אינה מגלה אוטומטית תרומת כל שינוי.
לבחור שאלה ניסויית
בדיקת A/B יכולה להשוות גרסה קיימת לעיצוב מחדש. לבדיקת כותרת, תמונה והאינטראקציה ביניהן בנפרד, תכנון פקטוריאלי מפורש יותר. הבחירה תלויה בשאלה ובמשאבים לדיוק שימושי.
לבנות תכנון פקטוריאלי מלא
הדוגמה הבדיונית מצליבה שתי כותרות ושתי תמונות ויוצרת ארבעה תאים. תכנון מלא כולל כל צירוף של הרמות שנבחרו. אפשר לבדוק השפעות ראשיות ואינטראקציה אם התכנון וגודל המדגם מאפשרים; הצלבה לבדה אינה מבטיחה זאת.
| תא | כותרת | תמונה |
|---|---|---|
| V1 | T1 | I1 |
| V2 | T1 | I2 |
| V3 | T2 | I1 |
| V4 | T2 | I2 |
לתכנן ניתוח ויכולת מדידה
מגדירים מראש הקצאה, השוואות, גודל השפעה וטיפול בבדיקות מרובות. יותר תאים אינם מבטיחים החלטה טובה יותר. אם הנתונים מעטים, מצמצמים את השאלה או מקבלים אי־ודאות רחבה במקום להכריז על צירוף מנצח.
מקורות ואימות
- NIST — Full factorial designs
- NIST — Two-level full factorial designs
- ASA — Statement on statistical significance and p-values
הגדירו את ההחלטה לפני קריאת מבחן.
ציינו השערה, אוכלוסייה, יחידת הקצאה ומדד ראשי לפני ההשקה. שינויים באמצע המבחן או הצצות חוזרות ונשנות יכולים לשנות את הפרשנות. בדקו גם מעקות בטיחות כגון שגיאות, איכות לידים ונגישות גם כאשר שיעור ההמרה נראה טוב יותר.
- הגדירו כללי עצירה ואת השינוי המשמעותי הקטן ביותר.
- בדקו הקצאה יציבה והיעדר זיהום.
- שמרו תוצאות שליליות ומגבלות המבחן.
האם ניתן לשמור רק את הקטע המנצח?
חקירת קטעים יכולה להציע השערה חדשה. אין להציג אותה כאישור מתוכנן אם נבחר לאחר צפייה בתוצאות; ארגן אימות ייעודי.
מקור ראשוני: Microsoft Research — Online experimentation. שיטה קשורה: קריאת המדריך המעשי.