בתשובה ליוסאריאן, 24/05/06 17:21
מדגם אקראי != מגדם מייצג 387196
2) לא צריך לחפש 22 נציגים למגזר מתוך 500 נסקרים. מספיק לחפש כמות מינימלית כלשהי של נציגים, ולתת להם משקל כאילו היו 22 נסקרים, בשקלול התוצאות הסופי.

לגבי המפלגות הערביות, הסיבה העיקרית לטעות הייתה אחוז ההצבעה בקרב האוכלוסיה היהודית, שירד חזק, בעוד שאחוז ההצבעה באוכלוסיה הערבית לא ירד באופן משמעותי לעומת הבחירות הקודמות. המשמעות היא שאותו מספר קולות למפלגות הערביות התרגם להרבה יותר מנדטים עבורן.
מדגם אקראי != מגדם מייצג 418774
2) שוב חזרנו לאותה בעייה שהצגתי בהתחלה. אם מחפשים כמות מינימלית ומשקללים כאילו היו 22 נסקרים, הרי שאצפה להגדלה משמעותית של השגיאה הסטטיסטית, בעוד דווקא במגזרים אלה השונות בין הסקרים שנערכו קטנה בהרבה מהמצופה אפילו בלי השקלול הזה.
מדגם אקראי != מגדם מייצג 418787
אם בקרב אוכלוסיה מסויימת יש אחוז הצבעה מאוד גבוה למפלגה אחת, הטעות הסטטיסטית הפוטנציאלית תהיה מאוד קטנה.
מדגם אקראי != מגדם מייצג 418799
בוא ניקח את זה לקיצוניות. נאמר שעל פי המדגם המייצג בבחירות האחרונות הצביעו 22 מכל 500 ליהדות התורה. עפ"י שיטתך, נגיד שמצאתי 3 כאלה שהצביעו כך, ואני שואל אותם למי יצביעו בבחירות הבאות. במקרה הסביר יותר יענו שלושתם שגם הפעם הם יעשו זאת.

אם תיקח את התוצאה ותשקלל כאילו היו 22. בצורה זו לעולם לא תמצא בסקר שכוחה של מפלגה זו התגבר (אלא אם מצביעי מפלגות אחרות ישנו את עורם).

מה שקורה לדעתי עם מפלגות כמו יהדות התורה הוא שכוחן עולה לינארית כמו חלקם היחסי של החרדים באוכלוסיה הכללית - דבר שלא תראה בסקר שלך.

מעבר לזאת, אם בכל זאת אחד מהשלושה יטען שהוא חזר בינתיים בשאלה ויצביע למפלגה אחרת, כוחה של יהדות התורה עפ"י הסקר יפול בשליש. שוב אני חוזר לטענתי המקורית - לאורך 100 סקרים אמורים להיות מקרים כאלה, אך הפלא ופלא, הם אינם מופיעים בתוצאות הסקרים.
מדגם אקראי != מגדם מייצג 418802
מדוע? אם הסקרים מניחים קשר סוציולוגי בין השתייכות לקבוצות מסויימות לבין הצבעה, כל שהם צריכים לעשות הוא לדגום בצורה כזו או אחרת את אותה אוכלוסיה, ולראות מה התפלגות ההצבעה בהן - אחר כך, מספיק לראות מה קורה מבחינה מספרית בקבוצה הזו של האוכלוסיה.

וכן, סוקרים מתקנים את הסקרים שלהם. אתה לא מקבל את המידע הגולמי, אלא מידע מתוקן על פי ידע קודם. זה מפתיע אותך?
מדגם אקראי != מגדם מייצג 418981
האמת, כן, די מפתיע. כשהם מציגים את הסקרים בעיתון הם לא מספרים על איך הם ביצעו את הסקר ואילו תיקונים הם ערכו.

ובמבחן התוצאה (שעקרונית אני לא אוהב אותו אבל נעזוב את זה), הם אכן נכשלים שוב ושוב מעבר לרמת השגיאה שהם עצמם מגדירים, אז מה שווה ההגדרה שלהם.

כשאני חושב על זה, מכון סקרים צריך להשוות את סקריו מהעבר לתוצאות האמת ולהגדיר מעתה שזאת רמת השגיאה שלו (במידה והוא ממשיך להשתמש באותן טכניקות). כל הטענות של 4% שגיאה הן פשוט לא רלוונטיות בעיניי.
מדגם אקראי != מגדם מייצג 418990
אני לא חושב שהם נכשלים שוב ושוב. הסקר היחיד שאפשר להגיד עליו בבטחון שהוא ''נכשל'', הוא המדגם ביום הבחירות. עליו באמת אפשר להגיד אם הוא קרוב או לא לתוצאות האמת. כל סקר שנערך יום, יומיים או שבועיים לפני הבחירות משקף רק את התוצאות ''אם הבחירות היו נערכות היום'', ומסתמך על ההנחה שמי שעונה שהוא מתכוון להצביע באמת ילך להצביע. הטעות היא להסתכל על הסקרים באופן בדיד, ולא לחפש את הטרנדים שהם משקפים - זה מה שהכי חשוב שם, בסופו של דבר.
מדגם אקראי != מגדם מייצג 419175
אם התיאוריה שלי נכונה והשגיאה הסטטיסטית של הסקרים גדולה ממה שהם טוענים, אז קצת בעייתי להסתכל על הטרנדים, מכיוון שאז קשה לשייך את התנודות לטרנד אמיתי או לרעש.

זה מביא אותי לנקודה אחרת, שהיא עד כמה הסקרים הללו משפיעים על הבוחרים עצמם. בוא ניקח מצב היפותטי שבו הסוקרים היו משקרים, ולמרות שבסקרים שלהם קדימה היתה צריכה לקבל כ30 מנדטים, הם היו מפרסמים כאילו לקדימה 0 מנדטים. יש לי תחושה עזה שזה היה גורם לכך שהתוצאה האמיתית היתה אפס מנדטים. (יש בזה גם הגיון, אתה רוצה/לא רוצה להצביע למפלגה הגדולה וכו').

מכיוון שלטעמי לסקרים יש השפעה גדולה על ההצבעה עצמה, אני חושב שעל עורכיהם להיות הוגנים, להקפיד על כללי אתיקה מחמירים, ולפרסם בין השאר את שיעור השגיאה האמיתי שלהם.

אגב, אולי אפילו צריך לאסור פרסום סקרים בחודש של לפני הבחירות, לא יודע.
מדגם אקראי != מגדם מייצג 419201
לאורך זמן, אפשר לזהות מגמות (המילה ברחה לי בתגובה הקודמת) - זה לא נכון לעשות מה שהעיתונים עושים פעמים רבות, ולהשוות את התוצאות החדשות לתוצאות של שבוע שעבר וזהו - כי השינויים הללו הם בד''כ בטווח הטעות הסטטיסטית. אבל אם מסתכלים על תוצאות לאורך חודש, אפשר לפעמים לזהות מגמות.

וכן, לסקרים יש השפעה על הבוחרים. אני לא חושב שאפשר, במדינה דמוקרטית, לאסור על פרסום סקרים בתקשורת. ניסו, אגב, אבל אני לא מאמין שזה יעמוד במבחן בג''צ אם אי פעם יצליחו להעביר חוק כזה.

חזרה לעמוד הראשי המאמר המלא

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים