يقارن اختبار A/B نسختين بتوزيع الوحدات المؤهلة عشوائيًا. قد يقيس فرقًا في السياق المختبَر، لكنه لا يضمن زيادة المبيعات أو تعميم النتيجة على الموقع كله.
تحديد البروتوكول قبل البدء
اختر وحدة التوزيع والمقياس الرئيسي وأصغر أثر يهمك وقاعدة الإيقاف. حافظ على تعيين المستخدم نفسه وافحص اختلاف التوزيع الفعلي عن المخطط. يمكن مقارنة إعادة تصميم كحزمة، لكن ذلك لا يعزل أثر كل عنصر.
قراءة مثال دون إعلان فائز
في المثال الافتراضي تضم كل مجموعة 2000 مستخدم: 100 مشترٍ في A و120 في B. النسب المرصودة 5 و6 بالمئة. الفرق المقدر نقطة مئوية واحدة، أو 20 بالمئة نسبيًا؛ ويبقى فحص عدم اليقين ومقاييس الحماية ضروريًا.
| النسخة | المستخدمون | المشترون / النسبة |
|---|---|---|
| A | 2000 | 100 (5 %) |
| B | 2000 | 120 (6 %) |
استخدام أدوات ومعايير حالية
أُغلق Google Optimize وOptimize 360 في 30 سبتمبر 2023. اختر حلًا يناسب البروتوكول والوصول والتزامات جمع البيانات. أسبوع أو أسبوعان لا يضمنان قوة إحصائية كافية؛ وافحص الأخطاء والمرتجعات وآثار الرحلة.
المصادر والتحقق
- Google Analytics — Google Optimize sunset, 30 September 2023
- Microsoft Research — Diagnosing Sample Ratio Mismatch in A/B Testing
- NIST — Difference of Proportions Confidence Interval
إجراء تجارب على صفحات المنتجات دون إخفاء أي ضرر.
يجب قراءة أي تغيير في معدل التحويل على صفحة المنتج جنبًا إلى جنب مع أخطاء الاختيار، وعمليات الإرجاع، ودقة العرض المعروض. لا يُعدّ الخيار الذي يحقق نقرات أكثر ولكنه يُؤدي إلى المزيد من عمليات الشراء الخاطئة أفضل بالضرورة.
- الحفاظ على ثبات التخصيص حتى لا يرى العميل عروضًا متناقضة.
- تتبع عمليات الإضافة إلى السلة، والشراء، والتخلي عن الشراء، وأخطاء الخيارات بشكل منفصل.
- التحقق من الصور والأسعار والتوافر على الأجهزة المحمولة لكلا الخيارين.
المصدر الأساسي: Microsoft Research — Online experimentation. المنهج المرتبط: اقرأ الدليل العملي.