בתשובה לחן שפירא, 29/09/02 10:20
אמינות סטטיסטית? 94657
מה שכיוונתי אליו, ולא דייקתי (להסבר מדוייק קראי את עוזי, אבל לאט), הוא כזה:
נאמר שיש לך 100 חומרים, 50 מסוג A ו50 מסוג B. עכשיו את מחליטה איזה חומר הוא מה ע"ס זריקת מטבע. אחרי שזרקת, התוצאות שלך (בממוצע) יהיו:

25 חומרים סוג A שזיהית כסוג A
25 חומרים סוג A שזיהית כסוג B
25 חומרים סוג B שזיהית כסוג A
25 חומרים סוג B שזיהית כסוג B

עכשיו נאמר שאני רוצה לבנות מדד שאומר לי מה האמינות של הטלת המטבע. אני מחליט לתת נקודה על כל זיהוי נכון, ולחסר נקודה על זיהו שגוי. מדד כזה, במקרה הזה, יתן לי אפס נקודות אמינות עבור הטלת המטבע (זיהית נכון 50 וטעית ב50), וזאת כי אין קשר בין הטלת המטבע והחומר.
אם היה קשר, נאמר שהתשמשנו במבחן אחר, יותר אמין, אז היו לי פחות false positives וגם פחות false negatives, והיית מקבלת מספר חיובי של נקודות. (או שלילי, זה לא משנה. הרי מבחן שתמיד טועה בזיהוי חומר B למעשה מזהה לי אותו... הערך המוחלט חשוב). מבחן של 100 או 100- נקודות במקרה זה, יהיה מבחן אמין להבדלה בין החומרים.

(זה הסבר אינטואיטיבי. בדרך כלל שמדברים על אמינות סטטיסטית מדברים על עוד דברים, אבל אז ההסבר צריך לכלול את המילה coefficient, וגם אני הייתי מתחיל להסתבך)
אמינות סטטיסטית? 94663
כן, למרות שכתבתי משהו שונה לגמרי, התכוונתי לכל מה שעוזי אמר מתחתי. (כן, בטח...)
אמינות סטטיסטית? 94667
אני רוצה לקשר את ההסבר (הנכון) של גלעד להסבר שנתתי למטה לאותה שאלה (תגובה תגובה 94662 ).

מטבע רגיל הוא "נביא של 0%" (כי הוא תמיד עונה תשובה אקראית). נביא-אמת הוא "נביא של 100%" (כי הוא תמיד עונה את התשובה הנכונה.
אפשר גם לדמיין לעצמנו "נביא של 40%", ש- 40% מהזמן נותן תשובה אמיתית, ובשאר הזמן כדור הבדולח שלו מתערפל, והוא עונה תשובה אקראית.

כעת, מגיע אלינו אדם שטוען ליכולות נבואה (בפתיל הזה, מדובר נניח בשיטת ניבוי רעילות מסויימת). ערכנו ניסוי, והוא ענה נכונה על 70 שאלות כן/לא מתוך מאה (כאשר התשובות הנכונות התפלגו 50/50).

במקרה, זוהי התוצאה שנצפה לקבל מנביא-של-‏40% (כי הוא יענה נכון על 40 שאלות, ויקלע במקרה ל- 30 משאר הששים).

יש כמה השערות מחקר שאנחנו עשויים לרצות לבדוק. למשל "זהו נביא של 40%", או "זהו נביא של יותר מ- 20%", או "הנביא הזה עדיף על הטלת מטבע".
בכל המקרים ה*סטטיסטי* יכול להיות, בדומה למה שגלעד הציע, מספר ההצלחות. ההתפלגות שלו היא (גם כאן) התפלגות נורמלית, שהממוצע שלה תלוי בהשערה שאנחנו מנסים להוכיח.

לא בדקתי את המספרים, אבל ברור שאת ההשערה הראשונה (נביא של 40%) לא נצליח להוכיח, כי נביא-של-‏35%-שהיה-לו-מזל יכול להצליח כמו נביא-של-‏40%, ולכן משיעור הצלחה של 40% לא ניתן להוכיח נביאות-של-‏40%.

את ההשערה השניה אפשר יהיה כנראה להוכיח (כי נביאים של 20% אמורים לקבל רק 60 תשובות נכונות, או קצת יותר, אבל לא 70). מעניין לשים לב שאם גודל המדגם (מספר השאלות, 100 במקרה שלנו) היה קטן יותר, אולי לא היינו משתכנעים שההשערה השניה נכונה (במדגם של 20 שאלות, נביא-של-‏40% אמור להצליח 14 פעם, ונביא-של-‏20%, רק 12; אבל גם הוא יכול להצליח 14 פעמים ביום טוב...). לעומת זאת במדגם ממש גדול (40000 שאלות למשל), היינו מן-הסתם משתכנעים אפילו שמדובר בנביא-של-לפחות-‏39%.

את ההשערה השלישית (נביא-עדיף-ממטבע) נוכל מן הסתם להוכיח אפילו אם *באמת* היה מדובר רק בנביא-של-‏20%.

חזרה לעמוד הראשי המאמר המלא

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים