दो संस्करण एक तत्व या बदलावों के पूरे समूह में अलग हो सकते हैं। समूहों की तुलना अपने आप हर बदलाव का योगदान नहीं बताती।
प्रयोग का प्रश्न चुनें
A/B परीक्षण वर्तमान संस्करण और रीडिज़ाइन की तुलना कर सकता है। शीर्षक, छवि और उनकी अंतःक्रिया अलग जाँचने के लिए फैक्टोरियल योजना अधिक स्पष्ट है। चुनाव प्रश्न और उपयोगी परिशुद्धता के संसाधनों पर निर्भर है।
पूर्ण फैक्टोरियल योजना बनाएँ
काल्पनिक उदाहरण दो शीर्षकों और दो छवियों से चार सेल बनाता है। पूर्ण योजना में चुने गए स्तरों के सभी संयोजन होते हैं। मुख्य प्रभाव और अंतःक्रिया तभी जाँचे जा सकते हैं जब योजना और नमूना पर्याप्त हों; संयोजन अकेले इसकी गारंटी नहीं।
| सेल | शीर्षक | छवि |
|---|---|---|
| V1 | T1 | I1 |
| V2 | T1 | I2 |
| V3 | T2 | I1 |
| V4 | T2 | I2 |
विश्लेषण और मापन क्षमता तय करें
आवंटन, तुलना, प्रभाव आकार और बहु-परीक्षण का व्यवहार पहले तय करें। अधिक सेल अपने आप बेहतर निर्णय नहीं देते। डेटा कम हो तो प्रश्न छोटा करें या अधिक अनिश्चितता स्वीकारें, किसी संयोजन को विजेता न घोषित करें।
स्रोत और सत्यापन
- NIST — Full factorial designs
- NIST — Two-level full factorial designs
- ASA — Statement on statistical significance and p-values
टेस्ट पढ़ने से पहले फ़ैसला तय करें
लॉन्च से पहले हाइपोथीसिस, पॉपुलेशन, असाइनमेंट यूनिट और प्राइमरी मेट्रिक बताएं। टेस्ट के बीच में बदलाव या बार-बार देखने से मतलब बदल सकता है। कन्वर्ज़न रेट बेहतर दिखने पर भी गलतियाँ, लीड क्वालिटी और एक्सेसिबिलिटी जैसी सुरक्षा सावधानियों को चेक करें।
- रोकने के नियम और सबसे छोटे ज़रूरी बदलाव को तय करें।
- स्टेबल असाइनमेंट और मिलावट की कमी चेक करें।
- खराब नतीजे और टेस्ट की सीमाएं बनाए रखें।
क्या सिर्फ़ जीतने वाला सेगमेंट ही रखा जा सकता है?
सेगमेंट को एक्सप्लोर करने से नई हाइपोथीसिस का सुझाव मिल सकता है। अगर नतीजे देखने के बाद चुना जाता है, तो इसे प्लान किए गए कन्फर्मेशन के तौर पर न दिखाएं; एक खास वेरिफिकेशन का इंतज़ाम करें।
प्राथमिक स्रोत: Microsoft Research — Online experimentation. संबंधित विधि: व्यावहारिक मार्गदर्शिका पढ़ें.