מה בעצם אומרת מובהקות סטטיסטית?
שההבדל שמדדתם כנראה אינו מקרי. ערך p של 0.03 אומר שאם שתי הגרסאות היו זהות לגמרי, הייתם רואים פער כזה או גדול יותר בכ-3% מהמקרים. זו ראיה לכך שמשהו השתנה — לא הוכחה, וגם לא מדד לגודל השינוי.
כלי חינמי
מחשבון מובהקות למבחן A/B
הניסוי הסתיים — אבל האם הווריאנט באמת ניצח? הזינו את המבקרים וההמרות של כל גרסה וקבלו ערך p, רווח בר-סמך והכרעה בשפה פשוטה. הכול מחושב בדפדפן שלכם תוך כדי הקלדה.
+20.0%
הווריאנט מנצח את גרסת הביקורת — ההבדל מובהק סטטיסטית.
p = 0.0283 ברמת ביטחון 95%
- שיעור הביקורת
- 5.00%
- שיעור הווריאנט
- 6.00%
- ערך p
- 0.0283
- טווח ההבדל
- +0.1% … +1.9%
שאלות נפוצות
על מובהקות סטטיסטית
איזה ערך p נחשב ניצחון?
המוסכמה היא ערך p מתחת ל-0.05, המקביל לרמת ביטחון של 95%. העלו את הרף ל-99% כששחרור השינוי יקר או קשה להחזרה, והסתפקו ב-90% בשינויי ניסוח בסיכון נמוך, שבהם עדיף לצדוק בערך ומהר מאשר לצדוק לגמרי ולאט.
אפשר לעצור את הניסוי ברגע שהוא הופך מובהק?
לא. בדיקה חוזרת ועצירה בתוצאה הירוקה הראשונה — מה שנקרא peeking — מנפחת מאוד את התוצאות החיוביות השגויות. קבעו את גודל המדגם לפני ההשקה, הריצו עד אליו, ואז קראו את התוצאה פעם אחת. מחשבון גודל המדגם נותן לכם את המספר הזה.
האם המחשבון שולח את הנתונים שלי לאנשהו?
לא. כל החישוב רץ בדפדפן שלכם ב-JavaScript פשוט. שום דבר שאתם מקלידים לא נשלח, לא נרשם ולא נשמר, והדף עובד גם ללא חיבור לאחר הטעינה.
קשור
עוד מ-PulsePanda
גלו למה המנצח ניצח
ערך p מספר לכם שמשהו השתנה. הקלטות הסשנים, מפות החום והמשפכים של PulsePanda מספרים מה אנשים באמת עשו.
התחילו בחינם