בתשובה להפונז, 05/03/24 16:01
Training data collapse 767731
אפופידס • בתשובה להפונז יום ד', 13/3/2024, 17:47
כיוונת לדעת גדולים, וזה עובד! - Scientific American
באשר למוח האנושי, יאן לקון אומר שלכאורה מנועי שפה עוברים על כמות לא פרופורציונית של מידע, כזו שאדם לא יקרא בכל ימי חייו, כדי לתת תוצאות מוגבלות. אבל ההשוואה הנכונה ללמידה אנושית, מבוססת לדעתו על ראייה שבה קצב המידע גבוה בשבעה סדרי גודל מאשר בשפה. כלומר כדי ליצור בינה מלאכותית טובה צריך לתת לה ללמוד ממידע סנסורי. מידע חזותי אומנם מכיל המון יתירות, אבל זו עוזרת ל-SSL. הוא מתייחס לכך שגם ללא מידע ויזואלי, וגם אודיטורי, יכול המוח האנושי לגבור את זה הדיגיטלי ומייחס זאת למידע המישושי.

זה מחזיר אותי לשאלה עתיקה בתחום רכישת השפה - כיצד מצליח המוח האנושי ללמוד את השפה כה מהר ביחס לקלט אליו הוא נחשף. בעבר טענתי דברים דומים לשל קון והופניתי אליו ע"י חבר שזכר זאת. אלא שמאז דצמבר 2022 (ולא כפי שנכתב בתגובה 767353), אני פחות סומך על האינטואיציות שלי בתחום. עדיין, בניגוד לטענתו של קון אני חושד שלא כמות המידע ואפילו לא משוב הלמידה העצמית הם שאחראים לרוב ההבדל כאן, אלא, אם לא איבר שפה מיוחד, אז לפחות אלגוריתמי למידה יעילים יותר של המוח. גם בהינתן מידע זעום יחסית, מסוגלים אלו לסנן, לארגן ולעדכן באופן יעיל יותר (מבחינות מסויימות) מאשר אלגוריתמי הלמידה הפשוטים יחסית שהביאו למהפיכת 30 בנובמבר 2022.
Training data collapse 767739
שוטה הכפר הגלובלי • בתשובה לאפופידס יום ה', 14/3/2024, 10:57
המאמר בסיינטיפיק מעניין מאד, ואם יאושש זאת תהיה התפתחות מעניינת - אולי "מהפכה" היא המילה הנכונה יותר (אשאל את ג'פטו) - בתחום למידת השפה עליו אתה מדבר (מה שקרוי: The poverty of the linguistic input). דומני שעד כה הקשר בין BI ל- AI הלך בכיוון של יישום חלקי של מה שנלמד מהמוח לגבי רשתות נוירונים מלאכותיות, וכאן אולי נראה השפעה בכיוון ההפוך.

אישית, אם תוצא לוואי של כל זה יהיה עמעום קל של ההילה סביב ידידנו נועם חומסקי לא אזיל דמעה.
Training data collapse 767743
הפונז • בתשובה לשוטה הכפר הגלובלי יום ה', 14/3/2024, 12:22
עם ידידים כאלה...
חזרה לעמוד הראשי המאמר המלא
מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים
האייל הקורא RSS מאמרים | כתבו למערכת | אודות האתר | טרם התעדכנת | ארכיון | חיפוש | עזרה | תנאי שימוש © כל הזכויות שמורות