בתשובה לצפריר כהן, 02/06/15 12:16
p-values והג'ורנל "פסיכולוגיה חברתית בסיסית ושימושית" כבר לא 656632
מתוך התשובה לשאלה 3:

BASP will require strong descriptive statistics, including effect sizes. We also encourage the presentation of frequency or distributional data when this is feasible. Finally, we encourage the use of larger sample sizes than is typical in much psychology research, because as the sample size increases, descriptive statistics become increasingly stable and sampling error is less of a problem. However, we will stop short of requiring particular sample sizes, because it is possible to imagine circumstances where more typical sample sizes might be justifiable.

הכוונה ב-descriptive statistic ("סטטיסטי תאורי") היא למספר פשוט, הרבה פעמים סתם ממוצע או פרופורציה, בלי שמתלווה אליו ניתוח סטטיסטי כגון בדיקת השערה או בניית רווח סמך. אם נחזור לדוגמת הטלת המטבע מתגובה 581763, אז בניסוי שבו התקבלו 52 תוצאות "עץ" ב-‏100 הטלות, הסטטיסטי התאורי יהיה הפרופורציה 0.52. "גודל האפקט" כאן הוא 0.02: זה ההבדל בין ה-‏0.52 שהטלקינטיקאי הצליח להדגים לבין ה-‏0.5 שאקראיות טהורה נותנת (בממוצע). גודל המדגם הוא 100.

אם אני מבין נכון את עורכי הג'ורנל, הם לא יתרשמו בסיפור הנ"ל מגודל אפקט של 0.02, כי הוא לא חזק: אין הבדל גדול בין 50% ל-‏52%. אכן, כשמטילים מטבע 100 פעמים, ההסתברות לקבל (בלי קסמים) 52 "עץ" או יותר היא 0.38, כלומר זה לא מאורע נדיר בכלל. אבל לפי אותו קריטריון בדיוק של "גודל אפקט חזק", העורכים ידחו גם ניסוי שבו מקבלים 5,200 "עץ" במדגם של 10,000 הטלות, כי גודל האפקט הוא עדיין 0.02, למרות שההסתברות לעבור (בלי קסמים) את הרף של 5,200 "עץ" היא 0.00003. בדיוק בגלל ההסתברות הנמוכה הזו, אני, למשל, הייתי דווקא מאד מתרשם ממישהו שבאמת מצליח לגרום למטבע ליפול 5,200 פעמים על "עץ" ב-‏10,000 הטלות.

פרוצדורת בדיקת ההשערות הקלאסית קושרת כמו שצריך את המושגים "גודל אפקט" ו"גודל מדגם" דרך המושג "מובהקות סטטיסטית". להכריז שכל הגישה הזו אינה תקפה, ולאסור את השימוש בה, נראה לי טמטום מדרגה גבוהה ביותר.
p-values והג'ורנל "פסיכולוגיה חברתית בסיסית ושימושית" כבר לא 656638
טמטום? אולי זה במסגרת פרויקט הנגשת תוצאות המחקרים לציבור הרחב. בחייאת, אחי, עזוב אותך מפי-ואליו, אני בקושי יודע פי שתיים‏1. תגיד מה יצא לך וזהו.
_____
1- [sic]
p-values והג'ורנל "פסיכולוגיה חברתית בסיסית ושימושית" כבר לא 656639
אגב, את זה קראת?
p-values והג'ורנל "פסיכולוגיה חברתית בסיסית ושימושית" כבר לא 656640
כן, בדיוק אתמול בערב קראתי, ושמחתי לראות שם תגובה שלך. יופי של פוסט, אם כי קצת מוטה דיסציפלינרית לכיוון הביולוגיה הרטובה. את הסיפור עם המאמר של איינשטיין לא הכרתי, ולפי מה שכתוב פה, הביקורת השלילית עליו היתה מוצדקת.
p-values והג'ורנל "פסיכולוגיה חברתית בסיסית ושימושית" כבר לא 656707
גם אני לא הכרתי את הסיפור על איינשטיין. בעקבות הקישורית שהבאת מסתבר שלמרות כעסו איינשטיין שינה את המאמר לאחר הביקורת ושלח לפרסום בעתון אחר נוסח מתוקן. זה לא מנע ממנו להחרים את Phys Rev Let עד סוף ימיו.
חבל שכבר לא עושים מבחני בקיאות לפני שנותנים לכתוב כאן 656783
תגובה 344279
חבל שכבר לא עושים מבחני בקיאות לפני שנותנים לכתוב כאן 656829
עשר שנים? יש לי גנים של דג גופי: הזכרון שלי מוגבל לשעתיים.

(האמת היא שזה די משונה שלא זכרתי, כי אנקדוטות כאלה הן בדיוק מה שאני כן נוטה לזכור).
חבל שכבר לא עושים מבחני בקיאות לפני שנותנים לכתוב כאן 656832
כן, איך היינו צעירים פעם. נראה לי שאני היום בגילך מאז. מצמרר.
חבל שכבר לא עושים מבחני בקיאות לפני שנותנים לכתוב כאן 692018
אבל זה יופי של גיל. יש עליו אפילו שיר של ג'ניס איאן: At 1700.
חבל שכבר לא עושים מבחני בקיאות לפני שנותנים לכתוב כאן 692047
Ah, but I was so much older then
p-values והג'ורנל "פסיכולוגיה חברתית בסיסית ושימושית" כבר לא 656927
והנה עוד משהו שהתפרסם על הבעייתיות של המתודולוגיה המחקרית: http://www.sciencecodex.com/fraud_bias_retraction_of...
p-values והג'ורנל "פסיכולוגיה חברתית בסיסית ושימושית" כבר לא 656645
יש עוד חסרון בשיטת סקירת-הפיר שלא הועלה שם - חוקרים צעירים לעיתים קרובות סוקרים מאמרים של עמיתיהם-שהם-גם-מתחריהם לתחום, ודחייה של מאמר בתשעה חודשים (לדוגמה) נותנת לסוקר, האנונימי כמובן, לפרסם את תוצאותיו שלו בנושא ולהקדים את מתחריו במירוץ אל הז'ורנלים המובילים, שמוביל למשרות הנחשקות.
ועכשיו, אחרי שהוא סקר את המאמר, הוא גם יכול להשלים פערים במחקר שלו על סמך מה שהוא ראה, אבל עדיין לא התפרסם, ולקבל יתרון לא הוגן כפול במירוץ הנ''ל - גם לעכב את המתחרים וגם להאיץ את עצמך על חשבונם.

חזרה לעמוד הראשי המאמר המלא

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים