בתשובה לחן שפירא, 29/09/02 10:20
אמינות סטטיסטית? 94662
להן הסבר (קצר) על המבנה המקובל של מחקר, הכולל ניתוח סטטיסטי.

החוקר מעלה השערה (למשל: הציונים של בנים ובנות בחשבון שונים אלו מאלו), מברר לעצמו מה יפריך את ההשערה (אם הם מצליחים במדה שווה), וקורא להשערה הנגדית הזאת H0. כעת החוקר משנס מותניו ומנסה *להפריך את H0* (זה הרי יוכיח שהוא צדק מלכתחילה). ‏1

החוקר שולח מאסטרנטים לאסוף נתונים (30 ציונים של בנים, 30 ציונים של בנות).
כעת בונים "סטטיסטי", שהוא מספר המחושב מתוך הנתונים הגולמיים (בדוגמא, זה יהיה ההפרש בין ממוצעי הציונים, מחולק בסטיית התקן המשותפת). במקביל (או מראש), מוצאים את ההתפלגות של הסטטיסטי בהנחת ההשערה H0 (בדוגמא, ההתפלגות היא זו המכונה "התפלגות נורמלית" ‏2).

(מהי ההתפלגות הזאת, בכלל? חישוב ההתפלגות שקול לעריכה וירטואלית של המון ניסויים מאותו סוג, שבהם ההשערה H0 *נכונה*, למשל איסוף של 60 ציונים וחלוקתם לקבוצות לפי שם המשפחה ולא לפי המין. מתוך מליון ניסויים כאלה, 39800 יהיו בין 0 ל- 0.1; 39400 יהיו בין 0.1 ל- 0.2; ... 380 יפלו בין 3 ל- 3.1, וכן הלאה) ‏3.

השלב האחרון הוא לחפש את הציון שקיבלנו (בפועל, במחקר הנוכחי) על עקומת ההתפלגות (שמצאנו בספר). למשל, נניח שקיבלנו את המספר 2.05. לפי ההתפלגות שבספר, מספר כזה יופיע באקראי (כזכור, בהנחה ש- H0 היא ההשערה הנכונה) בהסתברות 4%. החוקר די מרוצה - המשמעות של תוצאה כזו היא שאם באמת H0 נכונה (והחוקר מקווה שלא כך), המספר 2.05 יופיע רק בסיכוי של 4%. אבל במציאות, בניסוי שהחוקר ערך, הוא *באמת* קיבל את המספר הזה - אז נראה לו לא סביר להניח ש- H0 נכונה (כי אחרת דברים כך-כך לא סבירים כמו 2.05 לא היו קורים דוקא לו).

לעומת זאת, אם החוקר היה מקבל שהסטטיסטי הוא 0.9, דבר שהסתברותו 36%, זו לא תהיה עדות משכנעת ש- H0 שגויה, שהרי דברים בעלי סיכוי גבוה כל-כך קורים לנו כל הזמן.

מקובל במדעי החברה לדרוש שההסתברות לקבל את הסטטיסטי המסוים שהתקבל בפועל, תהיה מתחת 5%. אם זה כך, ההשערה H0 נחשבת למופרכת (ולכן השערת הנגד שממנה יצאנו - נכונה). המספר הזה (5%) נקרא "המובהקות הססטיסטית של המחקר".

הערה: אם חוזרים על ניסוי הרבה פעמים, זה דוקא *כן* סביר שיקרו דברים "לא סבירים" (שהסתברותם למשל 5%). בפרט, אחת מכל 20 טענות ש"הוכחו סטטיסטית" (ברמת מובהקות של 5%) צריכה להיות שגויה...
בתחומים מסויימים במדעי הטבע מקובל לדרוש רמת מובהקות של 1%, מה שמצד אחד מגדיל את האמינות של התוצאות, ומצד שני שולח יותר חוקרים מאוכזבים לתכנן את הפרוייקט הבא.

אם משהו לא ברור - נא להצביע.

1 למעשה, לשלב הזה קודם משהו בסיסי יותר, שבו החוקר מנסח את המודל שלו (בדוגמא: שציוני בנים וציוני בנות הם בעלי התפלגות נורמלית עם אותה סטיית תקן).
2 איך יודעים מה ההתפלגות? זו שאלה שאני *באמת* אשמח לענות עליה - אבל מומלץ לשאול רק אם את באמת רוצה לדעת...
3 מאיפה לוקחים את המספרים האלה? אותה תשובה כמו ‏2.
אמינות סטטיסטית? 94665
בתור מי שבא מעולם של הסתברות ולא מעולם של סטטיסטיקה, להבנתי, כשהחוקר מפריך את H0 הוא בעצם אומר שהניסויים (בדיקת הציון של הבנים והבנות) הם לא i.i.d (*), וזה מה שרצינו להראות.
אבל, ייתכן שH0 נכונה ו*עדיין* הניסויים הם לא i.i.d, פשוט כי המדגם קטן מידי. ולמיטב זכרוני, מה שמבטיח התפלגות גאוסיינית זה WLLN (**), שבעצמו מתקיים רק בשאיפה לאינסוף, לא?

(*) Indipendent Identical Distribution
(**) Weak Law of Large Numbers
אמינות סטטיסטית? 94671
חלילה לחוקר מלהוכיח שהדגימות שלו אינן IID...
בדוגמא שלי המודל הוא ששתי האוכלוסיות מתפלגות נורמלית, ו-H0 היא ההשערה שלשתי האוכלוסיות יש אותה תוחלת. הפרכת ההשערה מראה שזה לא כך, אבל עדיין (יש לקוות) הדגימות בכל אוכלוסיה *בפני עצמה* הן IID.

לעניין גודל המדגם - כל שתי דגימות אמורות להיות IID (שיטת הדגימה אמורה להבטיח זאת). נכון שגם בהנחה הזו, הסטטיסטי יתפלג נורמלית רק אם האוכלוסיות באמת מתפלגות נורמלית (ואז גודל המדגם *לא משנה*), או שהדגימה גדולה מספיק.

חזרה לעמוד הראשי המאמר המלא

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים