משאבים · 26
הרצת ניסוי A/B התומך בהחלטה מבוססת.
ציון השערה, הקצאה, מדד ראשי ומעקות בטיחות לפני השוואת וריאנטים.
מעודכן · 2 min
מה מדריך זה עוזר להשיג
- רישום מראש של הפרוטוקול
- בדיקת הקצאה
- מעקב אחר מעקות בטיחות
- החלטה באי ודאות
בדיקה מהירה
- איזו השערה מדויקת ניתן להפריך?
- איזו יחידה מקבלת את הגרסה?
- האם ההקצאה שנצפתה תואמת את התוכנית?
- איזה נזק מצדיק השהייה?
- האם משך הזמן והמקטעים נקבעו לפני שנצפו התוצאות?
שיטה שלב אחר שלב
- 1
ציין את השינוי המוצע
כתוב את המנגנון הצפוי, אוכלוסיית היעד וההשפעה על מדד עיקרי אחד. תאר סיכוני נגישות ושירות אפשריים.
תוצר: השערה מתוארכת וקריטריונים להצלחה.
- 2
הגדרת הקצאה
בחר את יחידת האקראיות ושמור על הקצאה יציבה לאורך ביקורים. אי הכללת בוטים וציין מקטעים מחוץ לתחום לפני ההשקה.
תוצר: פרוטוקול הקצאה והחרגות.
- 3
מכשיר ובדיקה
אימות אירועי חשיפה, המרה ומערכת בטיחות עבור שני הווריאנטים. בדיקת מצבי ניידות, סירוב הסכמה ושגיאה.
תוצר: רישום אבטחת איכות של שני המסעות.
- 4
בדיקת יחס דגימה
השווה הקצאות שנצפו וצפויות לפני קריאת אפקט הטיפול. אי התאמה עשויה לחשוף פגמים בהקצאה, במדידה או במיקוד.
תוצר: בדיקת יחס ואבחון פערים.
- 5
ניתוח בזמן המתוכנן
כבד את החלון שנבחר ודיווח על אי ודאות, מדד ראשוני, נזקים וניתוח מקטעים מתוכנן. בדיקת הפתעות מבלי לבחור רק את המספר החיובי לאחר מעשה.
תוצר: ניתוח עם מגבלות ואי ודאות.
- 6
החלטה ומעקב
הקצאת בעלים לפריסה, נטישה או בדיקה אחרת. לאחר הפריסה, בדוק שהאפקט ומעקות הבטיחות נשארים עקביים.
תוצר: החלטה מאוחסנת ובדיקה לאחר הפריסה.
מדדי ניהול
| מדד | מה הוא מודד | פעולה ראשונה |
|---|---|---|
| הקצאה | יחס דגימה צפוי לעומת יחס דגימה נצפה | אבחון לפני ניתוח |
| חשיפה | משתמשים זכאים שנחשפו בפועל | תיקון מיקוד |
| השפעה | שינוי וחוסר ודאות במדד ראשוני | החלת כלל החלטה מתוכנן |
| מעקות בטיחות | שגיאות, השהייה ונטישה לפי גרסה | השהיית טיפול מזיק |
טעויות נפוצות
- עצירה כאשר מספר נראה חיובי לראשונה
- איסוף מדדים רבים ללא מדד ראשוני
- התעלמות מאי-התאמה ביחס דגימה
- התייחסות לקטע זעיר כהוכחה כללית
שאלות נפוצות
האם יחס דגימה הוא פורמליות מינורית?
לא. אי-התאמה לא מוסברת יכולה להפוך את ההשוואה ללא אמינה.
האם יש לבדוק את ההמרה מדי יום?
ניטור תפעולי עוזר, אך שינוי משך הזמן או כלל ההחלטה בתגובה לתוצאות פוגע בפרשנות המתוכננת.
מה אם התוצאה אינה ודאית?
דווח על אי-ודאות וגודל אפקט סביר, ולאחר מכן החליט האם לניסוי אחר יש ערך ממשי.
הפניות רשמיות
הפניות תומכות בשיטה. התאימו את הבדיקות להקשר שלכם; הן אינן הסמכה. כותרות הפניות ומסמכי המקור המקוריים עשויים להיות בשפה אחרת.
