בתשובה לNoga, 03/08/02 22:14
משפחת קדמוני 82967
ואם למרות הגורם האנושי ואקראי, מצאתי קשר סיבתי מובהק בין הסיכוי להיות מוכש ע"י נחש לאכילת תפוז בזמן ההכשה?
אם אראה שאנשים שאכלו תפוזים כמעט ולא הוכשו לעומת אנשים שלא אכלו תפוז האם אוכל לטעון בודאות של 95% או 99% אחוז לקיום קשר *סיבתי* בין השניים?
את הדוגמא הזו קיבלתי בשנה א' ללימודי כדי להשמר ממוקשים כאלו, כי אפילו אם נקבל מספר מובהק עד אין קץ, זה לא מבטיח סיבתיות.
קשה להיות מוכש כשאוכלים תפוזים, כי תפוזים מבשילים בחורף, ונחשים פעילים בקיץ.
לכן הקשר הוא בסופו של דבר רק *נסיבתי*.

איסוף ערב רב של פרטים, כפי שמציעה מיכל, דווקא נראה לי, ואינו מחייב לשלוח אותנו ישר לגישה האיכותנית.
בואי וניקח את הדוגמא שלך על איסוף פרטי סטודנטים, ונעשה ניסוי מחשבתי.
לא נעשה את זה רק על מיכל אלא על מדגם גדול, כדי שזה יהיה שווה משהו.
נמשיך, ולא נעצור ברמה האיכותנית, ונתרגם את כל התיאורים הללו, המפורטים ככול האפשר, למספר גדול של פרמטרים מספריים עפ"י הסקאלות האוביקטיביות ביותר שיכלנו להמציא.
עכשו בידינו אוסף גדול של מספרים המייצגים גילאים, IQ, חתך אתני וסוציואקונומי, גודל משפחה, מיקום גיאוגרפי, טלנובלה מועדפת ומה לא.
את כל השלל הזה ניתן לתוכנת מחשב המבוססת על רשת נוירונים, ו"נאלף" אותה לתת ציונים נכונים לסטודנטים על סמך נתוניהם.
אחרי שנצלח בכך, וזה רק עניין של זמן מחשב להבנתי, תהיה בידינו מערכת מודל אשר נותנת משקל מסויים לכל גורם (גם משקל אפס לגורמים לא רלוונטיים), ויחסי גומלין בין הפרמטרים.
כדי לראות אם עלה בידינו כלי או חרס, ניקח קבוצה אחרת של סטודנטים ונראה אם התוכנה-מודל תחזה את ציוניהם באותו דיוק, או בדיוק רב ("רב" נתון לשיקול דעת סטטיסטי).
אולי לכך כיוונה מיכל. לפחות לכאן הייתי אני מכוון.
משפחת קדמוני 82973
כבר קרדיט לסטודנטים במדעי החברה - מה שאתה מדבר עליו פה הוא א''ב של מתודולוגיה. ברור שחלק מכל מחקר הוא העלאת סברות להסברים אלטרנטיביים, כולל משתנים נוספים שעשויים להסביר קשר סטטיסטי שמצאנו.
או, במילים אחרות - לא הולכים ומלקטים המון המון נתונים, מוצאים איפה יש קשר סטטיסטי, ואז מכריזים על הגילוי (למעשה, כשמחשבים נעשו זמינים, היו כאלו שעשו בדיוק את זה. הם יצרו המון זבל). קודם מפתחים תיאוריה (לפעמים היא נבנית על סמך תובנות שנוצרו ממחקר איכותני או סתם חקר מקרה), ואז בודקים אותה דרך מחקר השוואתי כמותני. ואחרי שעשינו את זה, המחקר נמצא עדיין בתחום המדע, ויש מספיק חוקרים אחרים שיהפכו בו וינסו להוכיח שאתה אוויל משריש.

אני לא חושב שלכאן כיוונה מיכל. היא הציעה להעביר את מדעי החברה למדעי הרוח...
משפחת קדמוני 82983
למה? למה "קודם מפתחים תיאוריה..ואז בודקים אותה דרך מחקר השוואתי כמותני" ו"לא הולכים ומלקטים המון המון נתונים, מוצאים איפה יש קשר סטטיסטי, ואז מכריזים על הגילוי", אם הקשר הסטטיסטי הזה הוא הדיר, במדגם גדול, ולא נסיבתי - מה רע בו?
מה הפך את מחקרי המחשב לזבל והאם הדבר מחוייב המציאות?

כשמשהו נשלח למדעי הרוח, העולם המדעי נאנח אנחת "ברוך שפטרנו" ויאוש מהיותו של התחום אי פעם מדוייק.
בכלל, צירוף המילים מדעי הרוח צריך לקבל מקום של כבוד בהיכל האוקסימורונים.
משפחת קדמוני 82986
אפשר, אבל זה לא רחוק מאותם מיליון שימפנזים שמכים על מקלדות. הבעיה היא בדיוק במילים ''לא נסיבתי'' - אותם חוקרים שעשו את המחקרים הללו לא טרחו ממש לבדוק את הנושא.
הדבר אינו מחוייב המציאות. אפשר לעשות מחקרים כאלו ולהוציא מהם תובנות משמעותיות, אבל צריך להשקיע הרבה מאמץ בשביל זה, יותר, לדעתי, מאשר בדרך ההגיונית לעשות מחקר...
זה גם הרבה פחות מעניין ככה.
משפחת קדמוני 86046
עוד קצת על מדעי הרוח מול מדעי החברה:

משפחת קדמוני 82974
נתחיל בפסקה השניה: הוא שאמרתי. כיוונת היטב לדעתי, ושוב הוכחת למיכל שנקודת המבט שלה בנושא לא מדוייקת.
ולפסקה הראשונה: נו באמת. כל ספר סטטיסטיקה שנה א' נפתח בדוגמא הזו (או בדוגמת רמת הפשיעה והגלידה וכיו"ב). מה ניסית להגיד? שכשחוקרים עורכים מחקר כמותני הם לא מודעים לבעיה של משתנים מתערבים וקשרים נסיבתיים? אז אני שמחה בזאת לגלות לכולם - הם יודעים. תסמכו עליהם (עלינו). הם חשבו על זה ולמדו את זה והם יודעים. והיה ולא שכנעתי עדיין, אשמח לספק דוגמאות מפורטות ממחקרים שאני כתבתי.
משפחת קדמוני 82981
יופי! אז אנחנו מסכימים! (איך זה קרה...?)

את דוגמת הנחשים והתפוזים נתתי כקונטרא לדוגמת הציונים וזמן החרישה למבחן.
מדעני המדינה מבינים את הסכנות לפתחה של המובהקות הסטטיסטית - מצויין.
אני מניח שלא באמת ציפיתי שהם לא, הרי זה יהיה משול לאמירה שכולם שרלטנים, מה שאני לא אומר (כי אני לא מכיר אף מדען מדינה, וגם לא ממהר להלשין רעה).
ולמרות שאני מאמין להיותך מקצוענית, אשמח לדוגמאות שהצעת.

מה לגבי הניסוי המחשב(ת)י שהצעתי?
עושים משהו כזה? (אפילו עם חוקר במקום מחשב?)

פשיעה וגלידה? רוצה לספר לי?
משפחת קדמוני 82993
כן, אנחנו מסכימים (אכן מוזר).
הניסוי שהצעת הוא פרפראזה על רוב המחקרים שקראתי (אם הבנתי אותך נכון). עם חוקר במקום מחשב.
פשיעה וגלידה - ככל שעולה רמת הפשיעה, כך עולה צריכת הגלידה (כמובן ששניהם קשורים לעונת הקיץ, ואין קשר אמיתי בין השניים).
ולדוגמאות - לצערי הן באנגלית, אבל הנה copy+paste מהרפורט לשנת 2001 (מילה במילה). TA הוא Teaching Artist, ו-PD הוא הקיצור ל- Professional Development. בשל מגבלות הפרוייקט (לא יכלנו לשלוט על מגוון משתנים), דיווח הממצאים נראה ככה:

Teachers were surveyed regarding the regularity of meetings with Teaching Artists to develop student assessment tools (mean=6). Statistical analysis of the data substantiates statistically significant relations between this frequency, and teachers’ perceptions of the project’s success. Teachers who did not participate in any assessment meetings, rated “planning time for TA’s”, “PD time for teachers” and “PD time for TA’s” as greater obstacles (effect sizes 0.51, 0.52, 0.63). They agreed less strongly with “students apply themselves longer” (effect size 0.59), “students work more collaboratively” (0.68), “students communicate better with adults” (0.72) and “students feel more successful/positive” (0.62). And lastly, they were more unfavorable regarding the planning team’s performance. They agreed less strongly with “team communicates successfully with school staff” (0.59), “team has secured teacher buy-in” (0.7) and “team has secured parent buy-in” (0.55).

These findings generate three possible explanations:

1. Causal relationship: Teachers’ involvement in the assessment process affects their perceptions of the project’s success. Through involvement in assessment, teachers appreciate the project more.
2. Spurious relationship: More successful projects tend to embody both greater involvement of teachers in assessment as well as favorable teacher notions of the project’s success. (In this case, the teachers’ approach reflects the project’s real condition.)
3. Reversed relationship: Teachers who hold a more positive approach toward the project, tend also to be more involved in it.

A future study may help us accept possible explanation #1 and reject the alternative explanations, thus leading us to the general recognition of causal relationship between attending assessment meetings and a positive approach toward the arts project. This logical conclusion, if proven to be statistically grounded, may be used to advocate the centrality and importance of assessment in arts projects in general.

קיימות דוגמאות נוספות, רובן דומות מאוד לזו הנ"ל. הקורא יכול לראות מיד את הבעייתיות בהסקת סיבתיות בין המשתנים, אשר חייבה אותי להיות מאוד מסוייגת בניסוח. הפרוייקט הוא פרוייקט "מוזמן", דהיינו - The Empire State Partnership for the Arts משלמת על הפרוייקט במסגרת התקציב של תכנית האמנויות, והכלים העומדים לרשותנו הם מוגבלים כתוצאה מאילוצים אלה ואחרים. כשחוקר נאלץ להסתמך על "דיווח עצמי" (לעומת עובדות בשטח, כמו ציונים במבחנים סטנדרטיים), קיימות בעיות רבות בניתוח הסטטיסטי, והקטע המצוטט הוא רק דוגמא אחת לנסיון להתגבר עליהן.

חזרה לעמוד הראשי המאמר המלא

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים