सांख्यिकीय सार्थकता परिणाम के सत्य, महत्वपूर्ण या पुनरुत्पाद्य होने की गारंटी नहीं। निर्णय में योजना, प्रभाव आकार और अनिश्चितता भी चाहिए।
p-मान सही समझें
शून्य परिकल्पना और परीक्षण धारणाओं के अंतर्गत p-मान देखे गए जितने या उससे अधिक चरम परिणाम की प्रायिकता बताता है। यह परिकल्पना के सत्य होने या केवल संयोग से परिणाम बनने की प्रायिकता नहीं है। विश्लेषण से पहले तुलना तय करें।
चौड़े अंतराल वाला काल्पनिक उदाहरण
A में 2000 में से 100 और B में 2000 में से 120 खरीदार होने पर, स्वतंत्र समूहों के लिए असंशोधित सामान्य सन्निकटन B घटा A का 95 प्रतिशत अंतराल लगभग −0.41 से +2.41 प्रतिशत अंक देता है। इसमें शून्य है; न निर्णायक श्रेष्ठता सिद्ध होती है, न समतुल्यता।
| माप | गणना | मान |
|---|---|---|
| निरपेक्ष अंतर (प्रतिशत अंक) | (0.06 - 0.05) * 100 | +1 |
| सापेक्ष बदलाव (%) | (0.06 - 0.05) / 0.05 * 100 | +20 |
| अंतर का 95 प्रतिशत अंतराल (प्रतिशत अंक, सामान्य सन्निकटन) | z = 1.96 | [-0.41; +2.41] |
100 * (0.01 +/- 1.96 * sqrt(0.05 * 0.95 / 2000 + 0.06 * 0.94 / 2000))चुनी गई रोक पद्धति मानें
निश्चित अवधि वाले विश्लेषण में बार-बार जाँच कर पहली अनुकूल सीमा पर न रुकें। क्रमिक विधि को ऐसी जाँचों का ध्यान रखना चाहिए। सुरक्षा माप और सीमाएँ भी बताएँ; बड़ा सापेक्ष प्रभाव अनिश्चित या व्यावहारिक रूप से छोटा हो सकता है।
स्रोत और सत्यापन
- ASA — Statement on statistical significance and p-values
- NIST — Difference of Proportions Confidence Interval
- Kharitonov et al. — Sequential Testing for Early Stopping of Online Experiments
एक टेस्ट करने लायक A/B या मल्टीवेरिएट सवाल चुनें।
ज़्यादा वेरिएंट ज़्यादा तुलना करते हैं और एक साफ़ एनालिसिस प्लान की मांग करते हैं। लॉन्च से पहले, रैंडमाइज़ेशन यूनिट, प्राइमरी मेट्रिक और इंटरैक्शन तय करें जिन्हें एक्सपेरिमेंट असल में जांच सकता है।
- रिज़ल्ट देखने से पहले हाइपोथीसिस और डिसीज़न रूल लिखें।
- वेरिएंट में बराबर एक्सपोज़र और कन्वर्ज़न कलेक्शन चेक करें।
- असर समझने से पहले सैंपल रेश्यो और गार्डरेल की जांच करें।
प्राथमिक स्रोत: Microsoft Research — Online experimentation. संबंधित विधि: व्यावहारिक मार्गदर्शिका पढ़ें.
प्रकाशित संख्याओं की जाँच
संख्या के साथ स्रोत, तारीख, इकाई और स्पष्ट हर चाहिए।
- अंक उद्धृत करने से पहले स्रोत, तारीख, आबादी, इकाई और अपवाद लिखें। दोबारा गणना के डेटा और सूत्र रखें।
- काल्पनिक उदाहरण: 2 % से 3 % होना 1 प्रतिशत अंक जोड़ता है और शुरुआती मान से 50 % वृद्धि है।
- p मान परिकल्पना के सही होने की संभावना नहीं है। अनुमान की अनिश्चितता और नमूने की सीमाएँ लिखें।
दोहराने योग्य स्वीकृति मामला
काल्पनिक उदाहरण: डेटा किसी ग्राहक या देखे गए परिणाम का नहीं है।
मामले के इनपुट देखें
{
"population": 200,
"eligible": 80,
"positive": 20,
"rate_all": 0.1,
"rate_eligible": 0.25
}अपेक्षित निर्णय
20/200 = 10%, जबकि 20/80 = 25% है। चुना गया हर प्रकाशित करें। यहाँ 80 पात्र लोग 200 का उपसमूह हैं। बाकी 120 को बाहर रखने के कारण सुरक्षित रखें। 10% और 25% का 15 प्रतिशत अंकों का अंतर चुने गए दायरे से आता है, घटना में बदलाव का प्रमाण नहीं है।
सत्यापन प्रक्रिया
- स्रोत, अवधि, इकाई और योग्य जनसंख्या दर्ज करें।
- हर प्रस्तावित हर से फिर गणना करें।
- संख्या के पास सूत्र और बहिष्करण रखें।
क्या सांख्यिकीय सार्थकता व्यावहारिक उपयोग सिद्ध करती है?
नहीं। प्रभाव का आकार, अनिश्चितता और निर्णय की लागत देखें।
प्राथमिक स्रोत: NIST — Critical values and p values. संबंधित विधि: व्यावहारिक मार्गदर्शिका पढ़ें.
A/B आवंटन: डेटा और SRM
इस संस्करण में विस्तृत संदर्भ टिप्पणियाँ अंग्रेज़ी में उपलब्ध हैं।
A/B tests: check allocation before deciding
An unexplained discrepancy may arise from assignment, the executed journey, logs or analysis filters. SRM supports investigation; it does not measure product improvement.
- Check intended allocation and unit stability before comparing conversions.
- Do not interpret absence of a signal as proof of overall validity.
- Document the quality check, measured effect and deployment decision separately.
Explore the allocation check and its limitations →
Microsoft Research · Diagnosing Sample Ratio Mismatch · Published 2020-09-14 · consulted 2026-10-23
NIST/SEMATECH · Binomial distribution · e-Handbook §1.3.6.6.18 · consulted 2026-10-23