قد تختلف نسختان في عنصر واحد أو حزمة تغييرات. مقارنة حزمتين لا تكشف تلقائيًا مساهمة كل تغيير.
اختيار السؤال التجريبي
قد يقارن اختبار A/B النسخة الحالية بإعادة تصميم. لدراسة عنوان وصورة وتفاعلهما منفصلًا، يكون التصميم العاملي أوضح. يعتمد الاختيار على السؤال وموارد الوصول إلى دقة مفيدة.
بناء تصميم عاملي كامل
يجمع المثال الافتراضي عنوانين وصورتين في أربع خلايا. يشمل التصميم الكامل كل تركيبات المستويات المختارة. يمكن تحليل الآثار الرئيسية والتفاعل إذا سمح البروتوكول وحجم العينة؛ والجمع وحده لا يضمن ذلك.
| الخلية | العنوان | الصورة |
|---|---|---|
| V1 | T1 | I1 |
| V2 | T1 | I2 |
| V3 | T2 | I1 |
| V4 | T2 | I2 |
تخطيط التحليل والقدرة على القياس
حدّد مسبقًا التوزيع والمقارنات وحجم الأثر ومعالجة الاختبارات المتعددة. زيادة الخلايا لا تعني قرارًا أفضل تلقائيًا. مع بيانات غير كافية، ضيّق السؤال أو تقبّل عدم يقين أوسع بدل إعلان تركيبة فائزة.
المصادر والتحقق
- NIST — Full factorial designs
- NIST — Two-level full factorial designs
- ASA — Statement on statistical significance and p-values
حدد القرار قبل قراءة الاختبار
حدد الفرضية، والجمهور المستهدف، ووحدة التخصيص، والمقياس الأساسي قبل الإطلاق. قد تؤدي التغييرات أثناء الاختبار أو المراجعة المتكررة إلى تغيير التفسير. تحقق أيضًا من الضوابط مثل الأخطاء، وجودة العملاء المحتملين، وسهولة الوصول حتى عندما يبدو معدل التحويل أفضل.
- حدد قواعد التوقف وأصغر تغيير ذي دلالة.
- تحقق من استقرار التخصيص وعدم وجود تداخل.
- احتفظ بالنتائج السلبية وقيود الاختبار.
هل يمكن الاحتفاظ بالشريحة الفائزة فقط؟
قد يُشير استكشاف الشرائح إلى فرضية جديدة. لا تُقدمها كتأكيد مُخطط له إذا تم اختيارها بعد رؤية النتائج؛ رتب عملية تحقق مُخصصة.
المصدر الأساسي: Microsoft Research — Online experimentation. المنهج المرتبط: اقرأ الدليل العملي.