בתשובה לNoga, 05/08/02 0:43
משפחת קדמוני 82981
יופי! אז אנחנו מסכימים! (איך זה קרה...?)

את דוגמת הנחשים והתפוזים נתתי כקונטרא לדוגמת הציונים וזמן החרישה למבחן.
מדעני המדינה מבינים את הסכנות לפתחה של המובהקות הסטטיסטית - מצויין.
אני מניח שלא באמת ציפיתי שהם לא, הרי זה יהיה משול לאמירה שכולם שרלטנים, מה שאני לא אומר (כי אני לא מכיר אף מדען מדינה, וגם לא ממהר להלשין רעה).
ולמרות שאני מאמין להיותך מקצוענית, אשמח לדוגמאות שהצעת.

מה לגבי הניסוי המחשב(ת)י שהצעתי?
עושים משהו כזה? (אפילו עם חוקר במקום מחשב?)

פשיעה וגלידה? רוצה לספר לי?
משפחת קדמוני 82993
כן, אנחנו מסכימים (אכן מוזר).
הניסוי שהצעת הוא פרפראזה על רוב המחקרים שקראתי (אם הבנתי אותך נכון). עם חוקר במקום מחשב.
פשיעה וגלידה - ככל שעולה רמת הפשיעה, כך עולה צריכת הגלידה (כמובן ששניהם קשורים לעונת הקיץ, ואין קשר אמיתי בין השניים).
ולדוגמאות - לצערי הן באנגלית, אבל הנה copy+paste מהרפורט לשנת 2001 (מילה במילה). TA הוא Teaching Artist, ו-PD הוא הקיצור ל- Professional Development. בשל מגבלות הפרוייקט (לא יכלנו לשלוט על מגוון משתנים), דיווח הממצאים נראה ככה:

Teachers were surveyed regarding the regularity of meetings with Teaching Artists to develop student assessment tools (mean=6). Statistical analysis of the data substantiates statistically significant relations between this frequency, and teachers’ perceptions of the project’s success. Teachers who did not participate in any assessment meetings, rated “planning time for TA’s”, “PD time for teachers” and “PD time for TA’s” as greater obstacles (effect sizes 0.51, 0.52, 0.63). They agreed less strongly with “students apply themselves longer” (effect size 0.59), “students work more collaboratively” (0.68), “students communicate better with adults” (0.72) and “students feel more successful/positive” (0.62). And lastly, they were more unfavorable regarding the planning team’s performance. They agreed less strongly with “team communicates successfully with school staff” (0.59), “team has secured teacher buy-in” (0.7) and “team has secured parent buy-in” (0.55).

These findings generate three possible explanations:

1. Causal relationship: Teachers’ involvement in the assessment process affects their perceptions of the project’s success. Through involvement in assessment, teachers appreciate the project more.
2. Spurious relationship: More successful projects tend to embody both greater involvement of teachers in assessment as well as favorable teacher notions of the project’s success. (In this case, the teachers’ approach reflects the project’s real condition.)
3. Reversed relationship: Teachers who hold a more positive approach toward the project, tend also to be more involved in it.

A future study may help us accept possible explanation #1 and reject the alternative explanations, thus leading us to the general recognition of causal relationship between attending assessment meetings and a positive approach toward the arts project. This logical conclusion, if proven to be statistically grounded, may be used to advocate the centrality and importance of assessment in arts projects in general.

קיימות דוגמאות נוספות, רובן דומות מאוד לזו הנ"ל. הקורא יכול לראות מיד את הבעייתיות בהסקת סיבתיות בין המשתנים, אשר חייבה אותי להיות מאוד מסוייגת בניסוח. הפרוייקט הוא פרוייקט "מוזמן", דהיינו - The Empire State Partnership for the Arts משלמת על הפרוייקט במסגרת התקציב של תכנית האמנויות, והכלים העומדים לרשותנו הם מוגבלים כתוצאה מאילוצים אלה ואחרים. כשחוקר נאלץ להסתמך על "דיווח עצמי" (לעומת עובדות בשטח, כמו ציונים במבחנים סטנדרטיים), קיימות בעיות רבות בניתוח הסטטיסטי, והקטע המצוטט הוא רק דוגמא אחת לנסיון להתגבר עליהן.

חזרה לעמוד הראשי המאמר המלא

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים