रिसोर्स · 26
एक A/B एक्सपेरिमेंट चलाएं जो एक सही डिसीजन को सपोर्ट करता हो।
वेरिएंट की तुलना करने से पहले हाइपोथीसिस, असाइनमेंट, प्राइमरी मेट्रिक और गार्डरेल बताएं।
अपडेटेड · 5 min
यह गाइड क्या पाने में मदद करती है
- प्रोटोकॉल को पहले से रजिस्टर करें
- असाइनमेंट चेक करें
- गार्डरेल देखें
- अनिश्चितता के साथ फैसला करें
जल्दी से चेक करें
- कौन सी सटीक हाइपोथिसिस को गलत साबित किया जा सकता है?
- कौन सी यूनिट को वैरिएंट मिलता है?
- क्या देखा गया एलोकेशन प्लान से मेल खाता है?
- किस नुकसान के लिए रुकना ज़रूरी है?
- क्या नतीजे देखने से पहले ड्यूरेशन और सेगमेंट सेट किए गए थे?
स्टेप-बाय-स्टेप तरीका
- 1
प्रस्तावित बदलाव बताएं
एक प्राइमरी मेट्रिक पर उम्मीद के मुताबिक मैकेनिज्म, टारगेट पॉपुलेशन और असर लिखें। संभावित एक्सेसिबिलिटी और सर्विस रिस्क बताएं।
डिलीवरेबल: डेटेड हाइपोथिसिस और सक्सेस क्राइटेरिया।
- 2
असाइनमेंट को डिफाइन करें
रैंडमाइजेशन यूनिट चुनें और विज़िट के दौरान असाइनमेंट को स्टेबल रखें। लॉन्च से पहले बॉट्स को बाहर करें और आउट-ऑफ-स्कोप सेगमेंट बताएं।
डिलीवरेबल: असाइनमेंट प्रोटोकॉल और एक्सक्लूजन।
- 3
इंस्ट्रूमेंट और टेस्ट
दोनों वेरिएंट के लिए एक्सपोज़र, कन्वर्ज़न और गार्डरेल इवेंट वेरिफ़ाई करें। मोबाइल, सहमति से मना करने और एरर स्टेट्स को टेस्ट करें।
डिलीवरेबल: दोनों जर्नी का QA रिकॉर्ड।
- 4
सैंपल रेश्यो चेक करें
ट्रीटमेंट इफ़ेक्ट पढ़ने से पहले ऑब्ज़र्व्ड और एक्सपेक्टेड एलोकेशन की तुलना करें। मिसमैच असाइनमेंट, मेज़रमेंट या टारगेटिंग डिफेक्ट्स को सामने ला सकता है।
डिलीवरेबल: रेश्यो चेक और डिस्क्रिपेंसी डायग्नोसिस।
- 5
प्लान किए गए समय पर एनालाइज़ करें
चुनी गई विंडो का सम्मान करें और अनसर्टेनिटी, प्राइमरी मेट्रिक, नुकसान और प्लान किए गए सेगमेंट एनालिसिस की रिपोर्ट करें। फैक्ट के बाद सिर्फ़ फेवरेबल नंबर को सिलेक्ट किए बिना सरप्राइज़ को इंस्पेक्ट करें।
डिलीवरेबल: लिमिटेशन और अनसर्टेनिटी के साथ एनालिसिस।
- 6
डिसाइड करें और फ़ॉलो अप करें
रोलआउट, एबंडनमेंट या किसी दूसरे टेस्ट के लिए एक ओनर असाइन करें। रोलआउट के बाद, चेक करें कि इफ़ेक्ट और गार्डरेल कंसिस्टेंट हैं।
डिलीवरेबल: आर्काइव्ड डिसीजन और रोलआउट के बाद चेक।
मैनेजमेंट इंडिकेटर
| इंडिकेटर | यह क्या मापता है | पहला एक्शन |
|---|---|---|
| असाइनमेंट | एक्सपेक्टेड बनाम ऑब्जर्व्ड सैंपल रेश्यो | एनालिसिस से पहले डायग्नोस करें |
| एक्सपोज़र | एलिजिबल यूज़र्स असल में एक्सपोज़ हुए | रिपेयर टारगेटिंग |
| इफ़ेक्ट | प्राइमरी-मेट्रिक चेंज और अनसर्टेनिटी | प्लान्ड डिसीजन रूल अप्लाई करें |
| गार्डरेल्स | एरर्स, लेटेंसी और हर वैरिएंट में एबंडनमेंट | हार्मफुल ट्रीटमेंट पॉज़ करें |
आम गलतियाँ
- जब कोई नंबर पहली बार फेवरेबल लगे तो उसे रोकना
- प्राइमरी वाले के बिना कई मेट्रिक्स कलेक्ट करना
- सैंपल रेश्यो मिसमैच को इग्नोर करना
- एक छोटे सेगमेंट को जनरल प्रूफ के तौर पर ट्रीट करना
अक्सर पूछे जाने वाले सवाल
क्या सैंपल रेश्यो एक छोटी फॉर्मैलिटी है?
नहीं। एक अनएक्सप्लेंड मिसमैच कम्पेरिजन को अनरिलायबल बना सकता है।
क्या कन्वर्ज़न रोज़ चेक किया जाना चाहिए?
ऑपरेशनल मॉनिटरिंग मदद करती है, लेकिन नतीजों के जवाब में ड्यूरेशन या डिसीजन रूल बदलने से प्लान किए गए मतलब को नुकसान पहुँचता है।
अगर नतीजा पक्का न हो तो क्या होगा?
पक्का न होने और संभावित इफ़ेक्ट साइज़ की रिपोर्ट करें, फिर तय करें कि दूसरे एक्सपेरिमेंट की असली वैल्यू है या नहीं।
ऑफ़िशियल रेफ़रेंस
रेफ़रेंस इस तरीके को सपोर्ट करते हैं। अपने कॉन्टेक्स्ट के हिसाब से चेक को एडजस्ट करें; वे सर्टिफ़िकेशन नहीं हैं। ओरिजिनल रेफ़रेंस टाइटल और सोर्स डॉक्यूमेंट दूसरी भाषा में हो सकते हैं।
