כלי חינמי

מחשבון גודל מדגם למבחן A/B

לפני שתשיק ניסוי, גלו כמה מבקרים כל וריאנט צריך כדי שהתוצאה תהיה אמינה באמת. הזן את המספרים שלכם והמחשבון מתעדכן מיידית, הכל בדפדפן שלכם.

31,232

מבקרים נדרשים לכל גרסה

62,464 מבקרים בסך הכול בשתי גרסאות

מה קובע את המספר

למה גודל המדגם משתנה כל כך

שיעור בסיס נמוך עולה בתנועה

ככל שההמרה נדירה יותר, כך נדרשים יותר מבקרים כדי להפריד שינוי אמיתי מרעש. בגסות, חצייה של שיעור ההמרה הבסיסי מכפילה את התנועה שכל וריאנט צריך.

האפקט הניתן לזיהוי הוא המנוף הגדול

האפקט המינימלי הניתן לזיהוי נכנס לנוסחה בריבוע, ולכן הוא שולט על כל השאר. לבקש לזהות שיפור של 5% במקום 10% עולה בערך פי ארבעה בתנועה — החליטו איזה גודל של ניצחון באמת ישנה את ההחלטה שלכם, ובדקו אותו.

קבעו את משך הבדיקה לפני שמתחילים

תרגמו את המספר שלמעלה לשבועות שלמים של תנועה, ואז הריצו למשך כל התקופה הזו. עצירה ברגע שהתוצאה הופכת מובהקת היא הדרך הנפוצה ביותר שבה צוותים משחררים שינויים שלא מחזיקים מעמד.

הנוסחה

איך מחושב גודל המדגם של מבחן A/B, שלב אחר שלב

המחשבון משתמש בנוסחת גודל המדגם הסטנדרטית להשוואה בין שני שיעורי המרה. לכל גרסה:

n = (z_α/2 + z_β)² × [p₁(1 − p₁) + p₂(1 − p₂)] ÷ (p₂ − p₁)²

p₁ הוא שיעור ההמרה הבסיסי שלכם, כשבר עשרוני.
p₂ הוא השיעור שאתם רוצים להיות מסוגלים לזהות: הבסיס מוגדל באפקט המינימלי הניתן לזיהוי, כלומר p₂ = p₁ × (1 + MDE).
z_α/2 נגזר מרמת הביטחון, דו-צדדי: 1.645 ב-90%, 1.96 ב-95%, 2.576 ב-99%.
z_β נגזר מהעוצמה: 0.842 ב-80%, 1.282 ב-90%, 1.645 ב-95%.

דוגמה מחושבת: ערכי ברירת המחדל

בסיס של 5%, עלייה יחסית של 10%, ביטחון של 95% ועוצמה של 80%:

p₁ = 0.05 ו-p₂ = 0.05 × 1.10 = 0.055, כך שההפרש שיש לזהות הוא 0.005.
(1.96 + 0.8416)² = 2.8016² ≈ 7.849.
p₁(1 − p₁) + p₂(1 − p₂) = 0.0475 + 0.051975 = 0.099475.
n = 7.849 × 0.099475 ÷ 0.005² ≈ 31,231.0, ובעיגול כלפי מעלה: 31,232 מבקרים לכל גרסה.

שתי גרסאות צריכות 62,464 מבקרים בסך הכול. זה המספר שהמחשבון מציג לפני שאתם משנים משהו.

במבט מהיר

גודל מדגם לכל גרסה עבור שיעורי בסיס נפוצים

מספר המבקרים הדרוש לכל גרסה ברמת ביטחון של 95% ועוצמה של 80%. קראו לאורך השורה עד העלייה היחסית שאתם רוצים לזהות.

שיעור בסיס	עלייה של 5%	עלייה של 10%	עלייה של 20%	עלייה של 30%
1%	637,014	163,094	42,691	19,824
2%	315,207	80,680	21,106	9,795
5%	122,123	31,232	8,156	3,778
10%	57,761	14,749	3,839	1,772
20%	25,580	6,507	1,680	769

שני דפוסים בולטים. חציית העלייה שאתם רוצים לזהות מכפילה את המדגם בערך פי ארבעה. ושלב עם המרה נמוכה, כמו שיעור רכישה של 1%, צריך פי כמה תנועה משלב של 10%, כמו קליק למעבר לעמוד המחירים.

משך המבחן

כמה זמן צריך להריץ מבחן A/B?

המירו את גודל המדגם למשך זמן לפני ההשקה:

ימים = מבקרים לכל גרסה × מספר הגרסאות ÷ מבקרים יומיים שנכנסים למבחן

אחר כך עגלו כלפי מעלה לשבועות שלמים. מבקרים באמצע השבוע ובסוף השבוע מתנהגים אחרת, כך שמבחן שמסתיים באמצע השבוע נותן משקל יתר לחלק מהימים.

עם ערכי ברירת המחדל (62,464 מבקרים בסך הכול) ו-2,000 מבקרים זכאים ביום: 31.2 ימים, לכן הריצו 5 שבועות.
עם 5,000 מבקרים זכאים ביום: 12.5 ימים, לכן 2 שבועות.
עם 800 מבקרים זכאים ביום: 78 ימים. זה סימן לבדוק שינוי גדול יותר או עמוד עמוס יותר (ראו בהמשך).

ספרו רק מבקרים שמגיעים בפועל לעמוד או לשלב שנבדק, לא את כל התנועה באתר. מבחן בעמוד התשלום כולל רק את מי שמגיע לעמוד התשלום.

גם עם הרבה תנועה, הריצו לפחות שבוע שלם. קבעו את תאריך הסיום מראש ואל תעצרו מוקדם כי התוצאה נראית מובהקת ביום השלישי. בדיקה חוזרת ועצירה בקריאה המובהקת הראשונה מנפחות את שיעור החיוביים הכוזבים הרבה מעבר לרמת הביטחון שבחרתם.

ביטחון ועוצמה

מה רמת הביטחון והעוצמה הסטטיסטית עושות למספר

ביטחון מגן מפני חיוביים כוזבים: הכרזה על מנצח כשאין הבדל אמיתי. ב-95%, מבחן בין שתי גרסאות זהות יראה תוצאה "מובהקת" בכ-5% מהמקרים.

עוצמה מגינה מפני שליליים כוזבים: פספוס של אפקט אמיתי. בעוצמה של 80%, אם העלייה האמיתית שווה בדיוק לאפקט המינימלי הניתן לזיהוי, המבחן יזהה אותה 8 פעמים מתוך 10.

העלאה של כל אחד מהם עולה בתנועה. עם בסיס של 5% ועלייה של 10%:

ביטחון	עוצמה	לכל גרסה	לעומת ברירת המחדל
90%	80%	24,601	−21%
95%	80%	31,232	ברירת מחדל
95%	90%	41,812	+34%
99%	80%	46,470	+49%

מבחן חד-צדדי מול דו-צדדי

רמת הביטחון כאן היא דו-צדדית: המבחן יכול למצוא שהווריאנט טוב יותר מגרסת הביקורת או גרוע ממנה. מבחן חד-צדדי ב-95% משתמש ב-z = 1.645, אותו ערך כמו דו-צדדי ב-90%, ולכן צריך את אותם 24,601 מבקרים לכל גרסה. החיסכון הזה הוגן רק אם הייתם מתייחסים ל"גרוע יותר" ול"אין הבדל" באותו אופן. אם ווריאנט מפסיד היה משנה את מה שאתם עושים, השאירו את המבחן דו-צדדי.

טעויות נפוצות

טעויות שהופכות את גודל המדגם לשגוי

אפקט יחסי מול מוחלט. האפקט המינימלי הניתן לזיהוי כאן הוא יחסי. העברת שיעור מ-5% ל-6% היא עלייה יחסית של 20% (8,156 לכל גרסה). הזנה של 1 תמשמע מעבר מ-5% ל-5.05%, מה שדורש כ-3 מיליון לכל גרסה.
ספירת היחידה הלא נכונה. גודל המדגם סופר את היחידה שאתם מקצים באקראי ושממירה. אם אתם מקצים גרסאות לפי מבקר, ספרו מבקרים, לא הפעלות או צפיות בעמוד. הפעלות חוזרות של אותו אדם אינן דגימות בלתי תלויות.
יותר משתי גרסאות. המספר הוא לכל גרסה, כך שמבחן A/B/C צריך פי שלושה. כל השוואה נוספת מול גרסת הביקורת מעלה גם את הסיכוי למנצח כוזב; פתרון נפוץ הוא לחלק את שיעור הטעות בין ההשוואות, למשל לבדוק כל אחת משתי השוואות ב-97.5% במקום 95%.
תנועה מדוללת. אם רק חלק מהמבקרים שנכללו רואים את השינוי בכלל, האפקט האמיתי מדולל והמבחן חסר עוצמה. כללו אנשים בנקודה שבה הגרסאות באמת שונות.
שינוי המבחן באמצע. עריכת גרסה, שינוי חלוקת התנועה או הוספת גרסה באמצע הדרך מאפסים את השעון.

תנועה נמוכה

מה לעשות כשגודל המדגם גדול מהתנועה שיש לכם

בדקו שינוי גדול יותר. עמוד מחירים שעוצב מחדש יכול באופן סביר להזיז את ההמרה ב-20–30%; צבע של כפתור לא. אפקטים גדולים יותר צריכים מדגמים קטנים בהרבה.
מדדו שלב שממיר יותר. בדקו על הקליק למעבר להרשמה במקום על המרה בתשלום, ואז אשרו את ההשפעה בהמשך המסע לאורך תקופה ארוכה יותר.
קבלו ביטחון של 90% בידיעה. זה חוסך כחמישית מהתנועה בתמורה ליותר חיוביים כוזבים. רשמו את הפשרה לפני שהמבחן מתחיל.
אל תריצו מבחן A/B בכלל. באתרים קטנים, צפייה בריפליי הפעלות של מי שנושר ובדיקה איפה המשפך דולף מוצאות בדרך כלל את הבעיה מהר יותר ממבחן שלא יכול להגיע למובהקות.

כשהמבחן רץ את מלוא משכו, בדקו את התוצאה עם מחשבון המובהקות למבחני A/B.

שאלות נפוצות

אודות גודל מדגם

כיצד מחשבים גודל מדגם לבדיקת A/B?

כלי זה משתמש בנוסחת שתי הפרופורציות הסטנדרטית המבוססת על שיעור ההמרה הבסיסי שלכם, האפקט המינימלי הניתן לזיהוי, רמת הביטחון שבחרת והעוצמה הסטטיסטית להערכת המבקרים הנדרשים לכל גרסה.

מהו אפקט מינימלי הניתן לזיהוי?

האפקט המינימלי הניתן לזיהוי הוא השינוי היחסי הקטן ביותר בשיעור ההמרה שאתם רוצים שהבדיקה תוכלו לזהות בצורה אמינה. אפקטים קטנים יותר דורשים מדגמים גדולים יותר.

למה הבדיקה שלי צריכה כל כך הרבה מבקרים?

שיעורי בסיס נמוכים יותר, אפקטים קטנים יותר, ביטחון גבוה יותר ועוצמה גבוהה יותר כולם מגדילים את גודל המדגם הנדרש כדי להימנע מחיוביות שווא ושליליות שווא.

מהי הנוסחה לגודל מדגם במבחן A/B?

לכל גרסה: n = (z לביטחון + z לעוצמה)² × [p₁(1 − p₁) + p₂(1 − p₂)] ÷ (p₂ − p₁)², כאשר p₁ הוא שיעור הבסיס ו-p₂ הוא הבסיס מוגדל באפקט המינימלי הניתן לזיהוי. בביטחון של 95% ועוצמה של 80% ערכי z הם 1.96 ו-0.842; בסיס של 5% ועלייה של 10% נותנים 31,232 מבקרים לכל גרסה.

מהי עוצמה סטטיסטית במבחן A/B?

עוצמה היא ההסתברות שהמבחן יזהה אפקט כשהוא באמת קיים בגודל שהגדרתם. עוצמה של 80% היא ברירת המחדל הרגילה: אם העלייה האמיתית שווה לאפקט המינימלי הניתן לזיהוי, המבחן ימצא אותה 8 פעמים מתוך 10 ויפספס אותה 2 פעמים. העלאת העוצמה ל-90% מצמצמת את הפספוסים, אבל דורשת כ-34% יותר מבקרים.

כמה זמן צריך להריץ מבחן A/B?

חלקו את המדגם הכולל (מבקרים לכל גרסה כפול מספר הגרסאות) במספר המבקרים היומיים שנכנסים למבחן, ועגלו כלפי מעלה לשבועות שלמים. הריצו לפחות שבוע שלם כדי שכל יום בשבוע ייוצג, וקבעו את תאריך הסיום לפני שמתחילים במקום לעצור כשהתוצאה נראית מובהקת בפעם הראשונה.

האם האפקט המינימלי הניתן לזיהוי הוא יחסי או מוחלט?

יחסי. אפקט של 10% על בסיס של 5% פירושו זיהוי של מעבר מ-5% ל-5.5%. כדי לזהות מעבר מ-5% ל-6%, הזינו 20.

אפשר להשתמש במחשבון הזה ליותר משתי גרסאות?

כן. התוצאה היא לכל גרסה, אז הכפילו אותה במספר הגרסאות כולל גרסת הביקורת. השוואה של כמה גרסאות מול גרסת הביקורת מעלה את הסיכוי למנצח כוזב, לכן שקלו רמת ביטחון מחמירה יותר לכל השוואה.

קשור

עוד מ-PulsePanda

הפעילו את הבדיקה, ואז צפה בסשנים

PulsePanda משלב את הניסויים שלכם עם ריפליי סשנים, מפות חום, משפכים ומשוב כדי שתבין את הסיבה מאחורי ההצלחה.

התחילו בחינם