בתשובה לורד, 09/06/03 17:13
תודה 150984
יש בעיה עם ניסוי כזה. מה יקרה אם התוצאה תהיה הפוכה מהמקווה?

אני מאמין שיש ניסויים רבים המתבצעים על ידי בעלי עניין (לאו דווקא גרפולוגיה. כל ענף שבו יש משמעות למובהקות סטטיסטית). רק אותם ניסויים ה'מוכיחים' את מה שרצו להוכיח מתפרסמים.

חברות תרופות מסויימות מסתירות חלק מתוצאות הניסויים שלהן, ומפרסמות תוצאות אחרות.

נניח שאני יצרן של תרופה א' ובודק אותה מול תרופה ב'. ב-‏100 נבדקים אני מוצא שדווקא תרופה ב' יעילה יותר. אני מסתיר את תוצאות הניסוי ומבצע שוב ניסוי זהה. אני ממשיך להסתיר את תוצאות הניסויים עד שפתאום נופל לחיקי הניסוי העשירי, שבו התוצאות היו הפוכות. עד אותו שלב בדקתי כבר 1,000 מקרים, אבל מפרסם רק את ה-‏100 שבהם התוצאה היתה לא טיפוסית.

הפתרון? יש להודיע מראש על עריכת הניסוי. אם גרפולוגים יודיעו מראש על כך שהם הולכים לבצע את הניסוי יהיה הדבר בעל אמינות גבוהה (ודאי שגם פרטי הניסוי חשובים לקביעת האמינות).
תודה 151057
זו תופעה ידועה והיא נקראת "אפקט המגירה" (file-drawer effect), על שם המגירה בה שוכנים התוצאות הפחות "יפות". למעשה המצב יכול להיות יותר חמור- גם אם אתה מדען ישר לגמרי וביצעת ניסוי עם תוצאות "משעממות", סביר שהרפרנטים של העיתונים המדעיים יפסלו לך את המאמר בשל חוסר חשיבות. אחר כך באים לעשות מטא אנליזה על כל המחקרים ש*התפרסמו* . זה עלול לספק הטיה לכיוון תוצאות *מעניינות*.

בדרך כלל, כשבאים לעשת מטא-אנליזה, מוסיפים לתוצאה את האומדן של כמה נסיונות *לא מוצלחים* היו צריכים לעשות כדי לקבל כמות נתונה של הצלחות, בהינתן שהאפקט לא קיים (השערת האפס). אם המספר הוא אסטרונומי , זוהי עוד אינדיקציה בזכות ההצלחה, אבל אינני מכיר שיטה כמותית לפסילה או אישוש של מטא-אנליזות. אולי המגיבה נוגה, שבעליל מבינה בנושא, תוכל לעזור.

עוד על אפקט המגירה ומטא אנליזה
תודה 151089
נו, אבל התוצאות הלא מעניינות יהפכו למעניינות ברגע שמתפרסם מחקר עם תוצאות שהן כן מעניינות - אז הוא מפריך את המחקר החדש, ולכן יחשב ראוי לפרסום ע''י אותם רפרנטים. רק צריך להוסיף כמה פסקאות שמתארות את המחקר החדש, וגוערות בחוקר שהוא אוויל משריש.
תרמודינמיקה של פרדיגמות 151098
אני כבר רואה את חסידי הסוציו-אבולוציה מסבירים למה תמיד נקבל בדיוק 50% מהמחקרים התומכים בתאוריה ו50% המתנגדים.
תרמודינמיקה של פרדיגמות 151112
פה אתה מניח, כמובן, ששני מחקרים אמינים יכולים להפיק תוצאות הפוכות. זה נכון לגבי חלק מהתיאוריות - לא כולם. כשיש מצב כמו שתיארת, השאלה שצריכה להשאל היא מטא-שאלה, לגבי האפשרות בכלל לכמת את התיאוריה ועד כמה היא שמישה.
תרמודינמיקה של פרדיגמות 151121
ראשית, לא אני מניח אלא הסוציו-אבולוציולוג ההיפותטי(סא"ה).

שנית, לא זאת ההנחה של הסא"ה , הסא"ה רק מניח שאם במקרה תקבל תוצאה הסותרת את הרוב, מאמרך יתקבל בקלות, בעוד שאם אתה מאשש את הרוב, לא יטרחו לפרסם. מכיוון שיש סיכוי *כלשהו* לקבלת תוצאה הפוכה, יתקיים שיווי משקל.
תרמודינמיקה של פרדיגמות 152633
אכן, לפי ברונו לאטור, כל מאמר מדעי הוא מאמר-תגובה, המתייחס תמיד למאמר אחר כנקודת המוצא.
תרמודינמיקה של פרדיגמות 152637
If I have seen far, it is because I have stood on the shoulders of giants.
תרמודינמיקה של פרדיגמות 152649
או כמו שאמר מוריי גל-מאן:

If I have seen far , it is because I am surrounded by dwarfs.
ציטוט פגז! 166781
יש לך רפרנס‏1?

1 איך אומרים רפרנס בעברית?
ציטוט פגז! 166784
סימוכין.

הבעיה היא שאני לא יודע איך אומרים ''סימוכין'' בעברית.
ציטוט פגז! 167041
תודה גם לך. מפחיד, אני מתחיל לשכוח מילים.
ציטוט פגז! 181596
אסמכתא?
"סימוכין" היא לא מילה עברית? 181711
אז למה היא נגמרת ב-"ן"? 181774
אז למה היא נגמרת ב-"ן"? 181793
מאותה סיבה שנישואין, גיטין ונזיקין נגמרות ב''ן'', שלא לדבר על חילופין, חלוטין וסרוגין.
אז למה היא נגמרת ב-"ן"? 181795
אני חושב שהאלמוני מתגובה 166784 התכוון לומר ש"סימוכין" אינה בעברית, כי אם בארמית.
ציטוט פגז! 166855
זה כמובן "ציטוט" ולא ציטוט אבל זה ידוע בברנג'ה, למשל

ציטוט פגז! 166996
תודה. איך הספר?
ציטוט פגז! 167027
אין לי מושג, לא קראתי אותו, רק עשיתי גיגול על ''מוקף בגמדים''.
ציטוט פגז! 167040
הייתי צריך לגגל בעצמי. בעסה (שאתה לא מכיר), תודה וסליחה.
תרמודינמיקה של פרדיגמות 152651
וכל תגובה באייל מתייחס תמיד לתגובה אחרת?
Plan B 151096
אין לי הרבה מה לומר מלבד הנהון עצוב בראש. כאן זה נקרא "Plan B" - למקרה שהמחקר אותו אני מעוניינת לעשות יניב תוצאות משעממות, תמיד צריכה להיות לי "תכנית מגירה". במדה"ח הכוונה היא ל"תוסיפי להצעת המחקר שלך שאת גם מתכוונת לבדוק את המשתנה התלוי לפי מגדר, או לפי איזור מגורים, למקרה שהמשתנים הבלתי-תלויים שבאמת מעניינים אותך לא יצאו מובהקים".
אכן, אף אחד לא רוצה לפרסם מחקר שמראה על *חוסר* מובהקות, ואני מסכימה עם מה שכתבת (אם כי לא בדקתי את הלינק עדיין). מצד שני, מטא-אנליזה היא לא משהו שעושים כל יום ולא משהו שהרבה חוקרים מסתמכים עליו, ולדעתי מטא-אנליזות לא מדוייקות הן לא הבעיה המרכזית כאן, אלא עצם הרעיון שהתוצאות ה"משעממות" לא מתפרסמות לעולם, אשר מטריד אותי מאוד כמישהי שבונה מאגר ידע אישי על סמך הפרסומים במגזינים מקצועיים.
ד"א, זה בדיוק המצב שדוחף חוקרים למניפולציות סטטיסטיות. חשוב מאוד להיות מודע לכל הדברים האלו כשקוראים מחקרים.
ד"א 2, זו אחת הסיבות מדוע לדעתי סטודנטים לתואר ראשון לא צריכים לקרוא מחקרים (במתכונת המסורתית של רקע-השערה-מתודולוגיה-תוצאות-מסקנות). מפחיד אותי פענוח תוצאות מחקר בהיעדר עין ביקורתית.
Plan B 151107
בקשר לבנית מאגר ידע אישי על סמך פרסומים.

יש אימרה ( של איינשטין?) האומרת "עלינו ללמוד מטעויות של אחרים מכיוון שלא נספיק לעשות את כולן בעצמנו".

אבל אם ההשערות שהוכחו כמוטעות לא מתפרסמות ( הוכחתי שחפיפה בסודה לא מחסלת קשקשים) הרי שכל אחד נידון לנסות ולשלול בעצמו מחדש את רעיונותיו היותר מקוריים. מצד שני, אם כל הספרות מלאה בתוצאות משעממות ( להלן רשימת החומרים שלא מחסלים קשקשים בחפיפה ...) , במילא אף אחד לא יקרא עליהם.

נדמה לי שיחס מסוים של רעש לאות הוא בריא במחקר, ולו רק כדי לעודד קריאה ביקורתית של תוצאות.
Plan B 151110
כרגיל, לנו, אנשי המדעים ה"מדוייקים," יש פתרון:
il.arxiv.org
ארכיון מאמרים לפני-פרסום. כאן תמצאו פחות-או-יותר את מרחב המאמרים, לפני הניפוי והחלטות העריכה.

אגב, מישהו יודע כיצד אומרים peer-review בעברית?
Plan B 151114
אני מכיר ומוקיר‏1 את ARXIVE אבל הוא מכיל מעט מאוד תוצאות נסיוניות. כמו כן, יש לזכור שהפרה-פרינט הוא אמצעי ולא מטרה- מדען שמעוניין לשחק את המשחק כמו שצריך, לא ישלח פרה פרינט שאינו בר פירסום, לדעתו. כלומר שמבחינתו יש במאמר חידוש.

1 אם כי מסיבה כלשהי האנטי וירוס שלי החליט שההודעות משם הם וירוסים ולכן בחודשים האחרונים אני פחות עוקב.
Plan B 151116
אולי יש טעם ביצירת כתבי-עת המתמחים בתיעוד חזרות מוצלחות על תוצאות קודמות?
journal of reproducible results? 151122
כבר קיים כתב-עת עבור תוצאות שאי אפשר לשחזר.
Plan B 152266
ביקורת עמיתים?
Plan B 151145
בינתיים מצאתי לינק יותר רלוונטי (הקודם התייחס לפאראפסיכולוגיה)
וזה מתייחס כמותית לאחוז המחקרים המאששים את השערת האפס ( השערה *כלשהי*) שמתפרסמים בחקר שיווק. מתוך כ600 מאמרים שנבדקו ומבצעים בדיקות מובהקות כ8% *לא שללו את השערת האפס*.

אני לא יודע כמה התוצאות האלה אינדיקטיביות למה שקורה בענפים אחרים של מחקר סטאטיסטי.

חזרה לעמוד הראשי המאמר המלא

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים