حاسبة الدلالة الإحصائية لاختبار A/B

تُجري الحاسبة اختبار z لنسبتين، وهو الاختبار القياسي للمقارنة بين معدلي تحويل:

• معدلا التحويل: p₁ = تحويلات A ÷ زوار A وp₂ = تحويلات B ÷ زوار B.
• المعدل المجمَّع، بافتراض مؤقت أن A وB متماثلان: p = (تحويلات A + تحويلات B) ÷ (زوار A + زوار B).
• الخطأ المعياري للفرق: SE = √[p(1 − p) × (1/n₁ + 1/n₂)].
• إحصاءة الاختبار: z = (p₂ − p₁) ÷ SE. قيمة p هي احتمال الحصول على z يبعد عن الصفر بهذا القدر على الأقل لو لم يكن هناك فرق حقيقي.

مثال محلول: القيم الافتراضية

• A: ‏250 تحويلاً من 5,000 زائر = 5.00%. B: ‏300 من 5,000 = 6.00%. أي زيادة نسبية قدرها 20%.
• المعدل المجمَّع: 550 ÷ 10,000 = 0.055.
• SE = √(0.055 × 0.945 × (1/5,000 + 1/5,000)) ≈ 0.00456.
• z = 0.01 ÷ 0.00456 ≈ 2.19، ما يعطي قيمة p ثنائية الطرف قدرها 0.0283.

القيمة 0.0283 أقل من 0.05، فعند ثقة 95% يكون B فائزاً ذا دلالة. أما عند ثقة 99% فلا: ذلك يتطلب أن تكون p أقل من 0.01.

• قيمة p. مدى إثارة الفرق للدهشة لو كان A وB متطابقين فعلاً. لا تقول شيئاً عن حجم التأثير. فزيادة ضئيلة عديمة الفائدة قد تحصل على قيمة p ضئيلة مع حركة مرور كافية.
• الزيادة. التغيّر النسبي من A إلى B: ‏(6.00% − 5.00%) ÷ 5.00% = +20% في المثال. إنها أفضل تقدير منفرد لديك، لكنها مشوبة بالضجيج.
• فترة الثقة. نطاق الفروق الحقيقية التي تتسق مع البيانات، بالنقاط المئوية. في المثال عند 95% تمتد من نحو +0.1 إلى +1.9 نقطة: B أفضل، لكن المكسب الحقيقي قد يكون في أي مكان بين لا شيء تقريباً وضعف ما قسته تقريباً. استخدمها لتقرر ما إذا كان التغيير يستحق الإطلاق، لا فقط ما إذا كان حقيقياً.

إذا عبرت الفترة الصفر، فالنتيجة ليست ذات دلالة عند مستوى الثقة ذاك. عند 99% تمتد فترة المثال من −0.2 إلى +2.2 نقطة، وهذا بالضبط سبب إخفاقها هناك.

النتيجة نفسها 5% ← 6% (زيادة 20%)، مع أعداد مختلفة من الزوار في كل متغيّر:

النتيجة «غير ذات الدلالة» عند 1,000 زائر لا تعني أن B لم يُحدث فرقاً. بل تعني أن الاختبار كان أصغر من أن يحسم. احسب حركة المرور التي تحتاجها قبل الإطلاق باستخدام حاسبة حجم العينة: زيادة 20% على معدل أساسي 5% تحتاج إلى 8,156 زائراً لكل متغيّر عند ثقة 95% وقدرة 80%.

• بلغتَ العينة المخطط لها. التوقف في أول مرة تنخفض فيها p تحت 0.05 يرفع الإيجابيات الكاذبة إلى ما يتجاوز 5% بكثير. اقرأ النتيجة مرة واحدة، عند حجم العينة الذي حددته مسبقاً.
• التوزيع هو ما ضبطته. في اختبار 50/50، يكون 5,000 مقابل 4,700 زائر غير متوازن أكثر من أن يكون صدفة (مربع كاي p ≈ 0.002). عدم تطابق نسبة العينة يعني عادةً أن إعادة توجيه أو مرشّح روبوتات أو خللاً في التتبّع يُسقط زوار أحد المتغيّرات، ولا يمكن حينها الوثوق بمعدلات التحويل.
• استمر لأسابيع كاملة. يتحوّل زوار أيام الأسبوع وزوار عطلة نهاية الأسبوع بشكل مختلف؛ والاختبار الذي ينتهي منتصف الأسبوع يمنح بعض الأيام وزناً زائداً.
• الزيادة تستحق. انظر إلى الطرف الأدنى من الفترة. إذا كان أصغر مكسب معقول لا يغطي كلفة التغيير، فالنتيجة ذات الدلالة ليست سبباً لإطلاقه.
• لم تبحث عنها عمداً. تقطيع اختبار بلا فرق حسب الجهاز والبلد والمصدر إلى أن تصبح شريحة ما ذات دلالة طريقة مضمونة للعثور على إيجابية كاذبة. لا تختبر شريحة إلا إذا خططت لذلك مسبقاً.

• تحقّق مما إذا كان الاختبار قادراً على كشف التأثير. إذا كان لديك زوار أقل مما تطلبه حاسبة حجم العينة، فالاختبار كان ضعيف القدرة، والحكم النزيه هو «غير معروف» لا «لا فرق».
• اقرأ الفترة. فترة من −0.3 إلى +2.3 نقطة تستبعد خسارة كبيرة لكنها تُبقي مكسباً مجدياً ممكناً. قد يبرر ذلك مع هذا إطلاق تغيير منخفض المخاطر، بوصفه قراراً تقديرياً لا نتيجة اختبار.
• لا تواصل تمديد الاختبار. إضافة حركة مرور حتى تصبح النتيجة ذات دلالة هي تلصّص على النتائج بخطوات إضافية. خطّط بدلاً من ذلك لاختبار جديد بتغيير أكبر أو صفحة أكثر زيارة.
• اكتشف لماذا لم يتحرك شيء. شاهد تسجيلات إعادة تشغيل الجلسات لزوار كل متغيّر وتحقّق من المواضع التي يفقدهم فيها المسار. المتغيّر الذي لم يلاحظه أحد مشكلة مختلفة عن متغيّر لاحظه الناس وتجاهلوه.