מחשבון מובהקות למבחן A/B

המחשבון מריץ מבחן z לשתי פרופורציות, המבחן הסטנדרטי להשוואה בין שני שיעורי המרה:

• שיעורי המרה: p₁ = המרות A ÷ מבקרי A ו-p₂ = המרות B ÷ מבקרי B.
• שיעור מאוחד, בהנחה זמנית ש-A ו-B זהים: p = (המרות A + המרות B) ÷ (מבקרי A + מבקרי B).
• טעות התקן של ההפרש: SE = √[p(1 − p) × (1/n₁ + 1/n₂)].
• סטטיסטי המבחן: z = (p₂ − p₁) ÷ SE. ערך p הוא הסיכוי לקבל z רחוק מאפס לפחות במידה הזו אילו לא היה הבדל אמיתי.

דוגמה מחושבת: ערכי ברירת המחדל

• A: ‏250 המרות מתוך 5,000 מבקרים = 5.00%. B: ‏300 מתוך 5,000 = 6.00%. זו עלייה יחסית של 20%.
• שיעור מאוחד: 550 ÷ 10,000 = 0.055.
• SE = √(0.055 × 0.945 × (1/5,000 + 1/5,000)) ≈ 0.00456.
• z = 0.01 ÷ 0.00456 ≈ 2.19, מה שנותן ערך p דו-צדדי של 0.0283.

0.0283 נמוך מ-0.05, ולכן ברמת ביטחון של 95%, B הוא מנצח מובהק. ברמת ביטחון של 99% הוא לא: לשם כך p צריך להיות נמוך מ-0.01.

• ערך p. עד כמה הפער היה מפתיע אילו A ו-B היו באמת זהים. הוא לא אומר דבר על גודל האפקט. עלייה זעירה וחסרת תועלת יכולה לקבל ערך p זעיר כשיש מספיק תנועה.
• עלייה. השינוי היחסי מ-A ל-B: ‏(6.00% − 5.00%) ÷ 5.00% = +20% בדוגמה. זו ההערכה הבודדת הטובה ביותר שלכם, אבל היא רועשת.
• רווח בר-סמך. טווח ההפרשים האמיתיים שמתיישבים עם הנתונים, בנקודות אחוז. בדוגמה ב-95% הוא נע בערך בין +0.1 ל-+1.9 נקודות: B טוב יותר, אבל הרווח האמיתי יכול להיות בכל מקום בין כמעט כלום לכמעט פי שניים ממה שמדדתם. השתמשו בו כדי להחליט אם השינוי שווה השקה, לא רק אם הוא אמיתי.

אם הרווח חוצה את האפס, התוצאה אינה מובהקת ברמת הביטחון הזו. ב-99% הרווח של הדוגמה נע בין −0.2 ל-+2.2 נקודות, ובדיוק בגלל זה היא נכשלת שם.

אותה תוצאה של 5% ← 6% (עלייה של 20%), עם מספר שונה של מבקרים בכל גרסה:

תוצאה "לא מובהקת" עם 1,000 מבקרים לא אומרת ש-B לא שינה דבר. היא אומרת שהמבחן היה קטן מכדי לדעת. חשבו את התנועה הדרושה לפני ההשקה עם מחשבון גודל המדגם: עלייה של 20% על בסיס של 5% צריכה 8,156 מבקרים לכל גרסה ברמת ביטחון של 95% ועוצמה של 80%.

• הגעתם למדגם המתוכנן. עצירה בפעם הראשונה ש-p יורד מתחת ל-0.05 מנפחת את החיוביים הכוזבים הרבה מעבר ל-5%. קראו את התוצאה פעם אחת, בגודל המדגם שקבעתם מראש.
• החלוקה היא מה שהגדרתם. במבחן 50/50, ‏5,000 מול 4,700 מבקרים זה לא מאוזן מכדי להיות מקרי (חי בריבוע p ≈ 0.002). אי-התאמה ביחס המדגם פירושה בדרך כלל שהפניה, מסנן בוטים או באג במעקב מפילים מבקרים של אחת הגרסאות, ואי אפשר לסמוך על שיעורי ההמרה.
• הוא רץ שבועות שלמים. מבקרים באמצע השבוע ובסוף השבוע ממירים אחרת; מבחן שמסתיים באמצע השבוע נותן משקל יתר לחלק מהימים.
• העלייה שווה את זה. הסתכלו על הקצה התחתון של הרווח. אם הרווח הקטן ביותר שסביר לצפות לו לא יכסה את עלות השינוי, תוצאה מובהקת אינה סיבה להשיק אותו.
• לא חיפשתם אותה. פירוק מבחן בלי הבדל לפי מכשיר, מדינה ומקור עד שפלח כלשהו הופך למובהק הוא דרך בטוחה למצוא חיובי כוזב. בדקו פלח רק אם תכננתם זאת מראש.

• בדקו אם המבחן יכול היה למצוא את האפקט. אם היו לכם פחות מבקרים ממה שמחשבון גודל המדגם דורש, המבחן היה חסר עוצמה וההכרעה הכנה היא "לא ידוע", לא "אין הבדל".
• קראו את הרווח. רווח של −0.3 עד +2.3 נקודות שולל הפסד גדול אבל משאיר אפשרות לרווח משמעותי. זה עדיין יכול להצדיק השקה של שינוי בסיכון נמוך, כהחלטה שיקולית ולא כתוצאת מבחן.
• אל תמשיכו להאריך את המבחן. הוספת תנועה עד שהתוצאה תהפוך למובהקת היא הצצה מוקדמת עם צעדים נוספים. במקום זאת, תכננו מבחן חדש עם שינוי גדול יותר או עמוד עמוס יותר.
• גלו למה שום דבר לא זז. צפו בריפליי הפעלות של מבקרים בכל גרסה ובדקו איפה המשפך מאבד אותם. גרסה שאף אחד לא שם לב אליה היא בעיה שונה מגרסה שאנשים ראו והתעלמו ממנה.