حاسبة حجم العينة لاختبار A/B

تستخدم الحاسبة معادلة حجم العينة القياسية للمقارنة بين معدلي تحويل. لكل متغيّر:

n = (zα/2 + zβ)² × [p₁(1 − p₁) + p₂(1 − p₂)] ÷ (p₂ − p₁)²

• p₁ هو معدل التحويل الأساسي لديك، ككسر عشري.
• p₂ هو المعدل الذي تريد أن تتمكن من كشفه: المعدل الأساسي مرفوعاً بالحد الأدنى للتأثير القابل للكشف، أي p₂ = p₁ × (1 + MDE).
• z_α/2 يأتي من مستوى الثقة، ثنائي الطرف: 1.645 عند 90%، و1.96 عند 95%، و2.576 عند 99%.
• z_β يأتي من القدرة الإحصائية: 0.842 عند 80%، و1.282 عند 90%، و1.645 عند 95%.

مثال محلول: القيم الافتراضية

معدل أساسي 5%، وزيادة نسبية 10%، وثقة 95%، وقدرة 80%:

• p₁ = 0.05 وp₂ = 0.05 × 1.10 = 0.055، فالفرق المطلوب كشفه هو 0.005.
• (1.96 + 0.8416)² = 2.8016² ≈ 7.849.
• p₁(1 − p₁) + p₂(1 − p₂) = 0.0475 + 0.051975 = 0.099475.
• n = 7.849 × 0.099475 ÷ 0.005² ≈ 31,231.0، وبالتقريب لأعلى: 31,232 زائراً لكل متغيّر.

يحتاج متغيّران إلى 62,464 زائراً إجمالاً. وهذا هو الرقم الذي تعرضه الحاسبة قبل أن تغيّر أي شيء.

عدد الزوار المطلوب لكل متغيّر عند ثقة 95% وقدرة 80%. اقرأ الصف حتى الزيادة النسبية التي تريد كشفها.

يبرز نمطان. خفض الزيادة التي تريد كشفها إلى النصف يضاعف العينة أربع مرات تقريباً. والخطوة منخفضة التحويل، مثل معدل شراء 1%، تحتاج إلى أضعاف حركة المرور التي تحتاجها خطوة بمعدل 10%، مثل النقر للانتقال إلى صفحة الأسعار.

حوّل حجم العينة إلى مدة قبل أن تطلق الاختبار:

الأيام = الزوار لكل متغيّر × عدد المتغيّرات ÷ الزوار اليوميون الذين يدخلون الاختبار

ثم قرّب لأعلى إلى أسابيع كاملة. يتصرف زوار أيام الأسبوع وزوار عطلة نهاية الأسبوع بشكل مختلف، فالاختبار الذي ينتهي في منتصف الأسبوع يمنح بعض الأيام وزناً زائداً.

• مع القيم الافتراضية (62,464 زائراً إجمالاً) و2,000 زائر مؤهل يومياً: 31.2 يوماً، فشغّله لمدة 5 أسابيع.
• مع 5,000 زائر مؤهل يومياً: 12.5 يوماً، أي أسبوعان.
• مع 800 زائر مؤهل يومياً: 78 يوماً. هذه إشارة إلى أن عليك اختبار تغيير أكبر أو صفحة أكثر زيارة (انظر أدناه).

احسب فقط الزوار الذين يصلون فعلاً إلى الصفحة أو الخطوة قيد الاختبار، لا إجمالي حركة الموقع. اختبار صفحة الدفع لا يشمل إلا من يصل إلى صفحة الدفع.

حتى مع حركة مرور كبيرة، شغّل الاختبار أسبوعاً كاملاً على الأقل. حدّد تاريخ الانتهاء مسبقاً ولا تتوقف مبكراً لأن النتيجة بدت ذات دلالة في اليوم الثالث. التحقق المتكرر والتوقف عند أول قراءة ذات دلالة يرفعان معدل الإيجابيات الكاذبة إلى ما يتجاوز بكثير مستوى الثقة الذي اخترته.

الثقة تحمي من الإيجابيات الكاذبة: إعلان فائز حين لا يوجد فرق حقيقي. عند 95%، يُظهر اختبار بين متغيّرين متطابقين نتيجة «ذات دلالة» في نحو 5% من الحالات.

القدرة تحمي من السلبيات الكاذبة: تفويت تأثير حقيقي. عند قدرة 80%، إذا كانت الزيادة الحقيقية تساوي تماماً الحد الأدنى للتأثير القابل للكشف، يكشفها الاختبار 8 مرات من كل 10.

رفع أيٍّ منهما يكلّف حركة مرور. مع معدل أساسي 5% وزيادة 10%:

الاختبار أحادي الطرف مقابل ثنائي الطرف

مستوى الثقة هنا ثنائي الطرف: يمكن للاختبار أن يجد المتغيّر أفضل من النسخة الأصلية أو أسوأ منها. يستخدم الاختبار أحادي الطرف عند 95% القيمة z = 1.645، وهي القيمة نفسها لثنائي الطرف عند 90%، فيحتاج إلى العدد نفسه: 24,601 زائراً لكل متغيّر. هذا التوفير لا يكون نزيهاً إلا إذا كنت ستتعامل مع «أسوأ» و«لا فرق» بالطريقة نفسها. وإذا كان متغيّر خاسر سيغيّر ما تفعله، فأبقِ الاختبار ثنائي الطرف.

• التأثير النسبي مقابل المطلق. الحد الأدنى للتأثير القابل للكشف هنا نسبي. نقل معدل من 5% إلى 6% زيادة نسبية قدرها 20% (8,156 لكل متغيّر). وإدخال 1 يعني الانتقال من 5% إلى 5.05%، وهو ما يحتاج إلى نحو 3 ملايين لكل متغيّر.
• عدّ الوحدة الخطأ. حجم العينة يعدّ الوحدة التي توزّعها عشوائياً والتي تتحوّل. إذا كنت توزّع المتغيّرات حسب الزائر، فعُدّ الزوار لا الجلسات ولا مشاهدات الصفحات. الجلسات المتكررة من الشخص نفسه ليست عينات مستقلة.
• أكثر من متغيّرين. الرقم لكل متغيّر، فاختبار A/B/C يحتاج إلى ثلاثة أضعافه. وكل مقارنة إضافية مع النسخة الأصلية ترفع احتمال فائز زائف؛ والحل الشائع هو توزيع معدل الخطأ على المقارنات، كأن تختبر كلاً من مقارنتين عند 97.5% بدلاً من 95%.
• حركة مرور مخفَّفة. إذا لم يرَ التغيير إلا جزء من الزوار المشمولين، يتخفف التأثير الحقيقي ويصبح الاختبار ضعيف القدرة. أدخِل الناس في الاختبار عند النقطة التي تختلف فيها المتغيّرات فعلاً.
• تغيير الاختبار في منتصفه. تعديل متغيّر أو تغيير توزيع الحركة أو إضافة متغيّر في منتصف الطريق يعيد العدّاد إلى الصفر.

• اختبر تغييراً أكبر. صفحة أسعار معاد تصميمها قد تحرّك التحويل بنسبة 20–30% على نحو معقول؛ أما لون زر فلا. التأثيرات الأكبر تحتاج إلى عينات أصغر بكثير.
• قِس خطوة أعلى تحويلاً. اختبر على النقر للانتقال إلى التسجيل بدلاً من التحويل المدفوع، ثم تحقق من الأثر اللاحق على مدى فترة أطول.
• اقبل ثقة 90% عن وعي. يوفّر ذلك نحو خُمس حركة المرور مقابل مزيد من الإيجابيات الكاذبة. دوّن هذه المفاضلة قبل بدء الاختبار.
• لا تُجرِ اختبار A/B أصلاً. في المواقع الصغيرة، مشاهدة تسجيلات إعادة تشغيل الجلسات لمن يغادرون، والتحقق من مواضع التسرّب في المسار، يكشفان المشكلة عادةً أسرع من اختبار لا يمكنه بلوغ الدلالة الإحصائية.

عندما يكتمل الاختبار بمدته كاملة، تحقّق من النتيجة باستخدام حاسبة الدلالة الإحصائية لاختبار A/B.