A/B परीक्षण पात्र इकाइयों को यादृच्छिक रूप से दो संस्करणों में बाँटता है। वह जाँचे गए संदर्भ में अंतर माप सकता है; बिक्री बढ़ने या पूरे साइट पर वही परिणाम मिलने की गारंटी नहीं देता।
शुरू करने से पहले योजना तय करें
आवंटन इकाई, मुख्य माप, न्यूनतम रुचिकर प्रभाव और रोकने का नियम चुनें। एक उपयोगकर्ता का आवंटन स्थिर रखें और अपेक्षित व वास्तविक वितरण में अंतर जाँचें। पूरे रीडिज़ाइन की तुलना संभव है, पर उससे हर हिस्से का प्रभाव अलग नहीं होता।
विजेता घोषित किए बिना उदाहरण पढ़ें
काल्पनिक उदाहरण में हर समूह में 2000 उपयोगकर्ता हैं: A में 100 खरीदार और B में 120। देखी गई दरें 5 और 6 प्रतिशत हैं। अनुमानित अंतर 1 प्रतिशत अंक, यानी सापेक्ष 20 प्रतिशत है; अनिश्चितता और सुरक्षा मापों की जाँच बाकी है।
| संस्करण | उपयोगकर्ता | खरीदार / दर |
|---|---|---|
| A | 2000 | 100 (5 %) |
| B | 2000 | 120 (6 %) |
वर्तमान साधन और मानदंड उपयोग करें
Google Optimize और Optimize 360, 30 सितंबर 2023 को बंद हुए। योजना, पहुँच और संग्रह दायित्वों के अनुकूल साधन चुनें। एक-दो सप्ताह पर्याप्त सांख्यिकीय शक्ति की गारंटी नहीं; त्रुटियाँ, वापसी और यात्रा पर प्रभाव भी जाँचें।
स्रोत और सत्यापन
- Google Analytics — Google Optimize sunset, 30 September 2023
- Microsoft Research — Diagnosing Sample Ratio Mismatch in A/B Testing
- NIST — Difference of Proportions Confidence Interval
नुकसान छिपाए बिना प्रोडक्ट पेज पर एक्सपेरिमेंट करें।
प्रोडक्ट पेज पर कन्वर्ज़न में बदलाव को सिलेक्शन की गलतियों, रिटर्न और दिखाए गए ऑफर की सटीकता के साथ पढ़ा जाना चाहिए। ऐसा वेरिएंट जो ज़्यादा क्लिक तो दिलाता है लेकिन ज़्यादा गलत खरीदारी करता है, वह अपने आप बेहतर नहीं होता।
- असाइनमेंट को स्टेबल रखें ताकि एक कस्टमर को अलग-अलग ऑफर न दिखें।
- ऐड-टू-कार्ट, खरीदारी, एबंडनमेंट और वेरिएंट की गलतियों को अलग-अलग ट्रैक करें।
- दोनों वेरिएंट के लिए मोबाइल पर इमेज, कीमतें और उपलब्धता चेक करें।
प्राथमिक स्रोत: Microsoft Research — Online experimentation. संबंधित विधि: व्यावहारिक मार्गदर्शिका पढ़ें.