בתשובה לירדן ניר-בוכבינדר, 09/09/11 20:12
מחקר (לא) חדש על מחקרים חדשים שמגלים כי... מגלה כי... 581335
יובל נוב  (אתר) • בתשובה לירדן ניר-בוכבינדר יום ב', 12/9/2011, 21:32
והיום התפרסמה ב"הארץ"‏1 הכתבה "המחקר שמביך את החוקרים המובילים", שכותרת המשנה שלה היא "מחקר הולנדי קובע כי שגיאה פשוטה בניתוח סטטיסטי מופיעה בשכיחות גבוהה במחקרים המתפרסמים בכתבי העת המובילים בעולם"

הכתב, אסף שטול-טראורינג, שבד"כ עושה עבודה מעולה, הפעם קצת פישל לטעמי בתיאור השגיאה. אז הנה התיאור שלי: נניח שחוקרים פיתחו תרופה חדשה שאמורה להפוך אימונים בקפיצה לגובה להרבה יותר אפקטיביים. לקחו קבוצה ראשונה של ספורטאים ("קבוצת הטיפול"), מדדו את ההישגים שלהם בקפיצה לגובה, נתנו להם להתאמן תקופה מסוימת תוך כדי שהם מקבלים את התרופה, מדדו שוב, וגילו שבממוצע הם שיפרו את הישגיהם ב-‏5 ס"מ, ושהשיפור הוא מובהק סטטיסטית. אז לקחו קבוצה שניה של ספורטאים ("קבוצת הביקורת"), מדדו את ההישגים שלהם, נתנו להם להתאמן תקופה מסוימת בדיוק כמו הקבוצה הראשונה, אבל בלי שהם מקבלים את התרופה, מדדו שוב, וגילו שיפור ממוצע של 1.4 ס"מ בלבד, שאינו מובהק סטטיסטית. מסקנה (שגויה): התרופה עובדת.

המבחן הנכון שצריך לעשות כאן הוא two-way ANOVA (ולא שני מבחני t, או שני מבחנים דומים אחרים), וכדי להכריז שהתרופה אכן עובדת, צריך שהמבחן יראה מובהקות סטטיסטית לאיבר האינטראקציה.

המאמר המלא כאן (צריך מנוי או חיבור אוניברסיטאי כדי לקרוא מעבר לאבסטרקט).
_________________
1. אם אני מבין נכון, אתר "הארץ" שינה היום אחה"צ את העיצוב שלו. העיצוב החדש נראה לי בינתיים יפה, אבל מבדיקה שיטחית, חלק מהקישורים לאתר הישן לא עובדים. לא חבל?
מחקר (לא) חדש על מחקרים חדשים שמגלים כי... מגלה כי... 581444
שוטה הכפר הגלובלי • בתשובה ליובל נוב יום ד', 14/9/2011, 11:01
רציתי באמת לשאול אותך בקשר לידיעה הזאת, אבל לא הצלחתי למצוא אותה באתר "הארץ" עד שלא הארת את עיני. תודה.

אם אני מבין אותך נכון, מה שצריך לבדוק הוא שהשוני בין 5 ס"מ ל- 1.4 ס"מ הוא עצמו מובהק. כן?
מחקר (לא) חדש על מחקרים חדשים שמגלים כי... מגלה כי... 581454
יובל נוב  (אתר) • בתשובה לשוטה הכפר הגלובלי יום ד', 14/9/2011, 12:53
פחות או יותר כן. בלשון המאמר: the difference between significant and not significant need not itself be statistically significant. המחברים מפנים בדיוק בהקשר הזה למאמר אחר, שלא היכרתי, עם שם כמעט זהה: The Difference Between “Significant” and “Not Significant” is not Itself Statistically Significant.
מחקר (לא) חדש על מחקרים חדשים שמגלים כי... מגלה כי... 581521
אורי גוראל גורביץ'  (אתר) • בתשובה לשוטה הכפר הגלובלי יום ד', 14/9/2011, 21:32
זה אולי יהיה יותר ברור, אם נזכור ש"שיפור מובהק" זה פשוט לעבור איזה סף (נאמר 4 ס"מ, במקרה הזה) וההבדל בין מעל ומתחת לסף יכול להיות קטן כרצונינו.
מחקר (לא) חדש על מחקרים חדשים שמגלים כי... מגלה כי... 581574
שוטה הכפר הגלובלי • בתשובה לאורי גוראל גורביץ' יום ה', 15/9/2011, 11:11
תודה לך וליובל. אני מרגיש שיש כאן דמיון מסוים לבעיה של עיגול מספרים אם הוא נעשה בזמן הלא נכון (לדוגמא ההפרש בין 4.6 לבין 1.4 הוא 3.2 שמעוגל ל-‏3, אבל אם העיגול נעשה על כל פרמטר בנפרד נקבל 4=5-1). נדמה לי שפעם היו קומפיילרים שלא הבינו את זה, למגינת ליבם של המתכנתים.
חזרה לעמוד הראשי המאמר המלא
מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים
האייל הקורא RSS מאמרים | כתבו למערכת | אודות האתר | טרם התעדכנת | ארכיון | חיפוש | עזרה | תנאי שימוש © כל הזכויות שמורות