בתשובה לשוטה הכפר הגלובלי, 29/12/22 9:52
פיתוח נבון 754956
ראשית, עובדה שהוא מצליח (או לפחות הצליח). ראיתי דוגמאות רבות ומרשימות יותר בעבר, אבל כרגע למשל מצאתי את זה (פרופסור למנהל-עסקים נותן ל-GPT את הבחינה שהוא הכין לתלמידי MBA בניהול-אסטרטגי, ומקבל תשובות ששווות A או A- על כל השאלות).

שנית, אני חושב שהרבה מהביקורת (לא בעניין מבחני-בית, אלא באופן כללי) מחמיצה את הנקודה: מדובר במודל-שפה. אמנם הולך ומתגבש קונצנזוס שמודלים-כאלה מספיקים לחלוטין (וזה אולי נכון), אבל העניין העיקרי הוא בכך שהוא מדגים שהבעיות הגדולות (הבנה סמנטית רחבה, הבעה, דיאלוג) בדרך לכלי-בינה-מלאכותית אמיתיים כבר פתורות למעשה. בעיני הוא גרוע בלוגיקה ובמתמטיקה בדיוק באותו אופן שבני-אדם גרועים בזה ומסיבות דומות‏1 (כרגע, עדיין גרוע יותר מבני-אדם שטובים בזה כמוך וכמו הפונז, אבל תן לו זמן). מצד שני בניגוד לבני-אדם, האינטגרציה של "המוח שלו" עם מערכות שכן אמורות לעשות דברים כאלה, כמו מערכות לחישוב סימבולי, מערכות הוכחה פורמלית, מחשבונים, סימולטרים וכו' היא קלה. אפשר לחשוב על מודלים כמו chatgpt בתור המודול המרכזי, או המודול של "ממשק המשתמש", במערכת בינה מלאכותית (ולא בתור המערכת כולה). זה אמנם עושה עוול‏2 למודל ומרדד את היכולות שלו, אבל זה מבהיר את הנקודה.

שלישית, אתם מנטפקים כאן למוות יכולות של מוצר אחד שהונדס להגיב באופן מאד מסויים ומוגבל ב-‏29.12.2022. כל המגבלות האלה (במידה שהן לא טריוויאליות, ולא שוכנעתי בכך) הן לא מאד מעניינות כשחושבים על האימפקט שלו (למשל על גורלן של עבודות הבית בבתי-ספר ואונ'). הרי ברור לכל שמצב העניינים יהיה שונה כבר עוד חודשים ספורים.

1 כמונו, הוא לא גדל כדי לעשות דברים כאלה, והעובדה שהוא (ואנחנו) מצליחים בכך בכלל באיזושהי מידה היא סוג של fluke.
2 סביר שמודלי-שפה כן יכולים "ללכת עד הסוף" לגמרי בעצמם, אבל גם סביר בעיני שבכל מקרה ה-state-of-the-art יהיו אולטימטיבית אינטגרציה של מודלים שונים ומודולים שאינם מודלים, ולא מערכת אחת.
פיתוח נבון 754966
אני נוטה להסכים איתך, ואני לא חולק על כך שמדובר בהישג פנטסטי, אבל *כרגע* הוא הרבה פחות מרשים אותי מאשר לפני כמה ימים. מילא, מתמטיקה הוא לא בהכרח מבין, אבל הוא לא מיישם אפילו כללים פשוטים של לוגיקה אלמנטרית, אותם הוא יודע לצטט בשמחה וגם להראות את טבלאות האמת הלוונטיות כשהוא נשאל לגביהם (אני לא יודע אם מישהו קרא את הדיאלוג שלי איתו בעניין מבחן וואסון, הוא נשמע שם שיכור לחלוטין).

בחידת הקלפים הוא נכשל בנסיון הראשון לגמרי, אבל אחרי שינוי ניסוח הוא פתר אותה נכון. את מוטי הול הוא מכיר, כך שאני לא יודע אם הוא פתר אותה (נכון!) בעצמו או שהוא ציטט את הפתרון שגם אותו הוא כמובן מכיר. הארגומנטציה שהוא נתן היתה נכונה, אלא שגם אותה הוא אולי העתיק.

העובדה שהוא רגיש מאד לניסוח, הרבה יותר מבן אדם, היא מכשול גדול, במיוחד במקרים בהם קשה לבדוק את התוצאה. יש לי הרגשה (בהסתייגויות הברורות מאליהן בקשר להרגשות שלי) שזאת בעיה קשה שפתרונה ידרוש קירבה הרבה יותר גדולה ל AGI ממה שקיים כרגע.

בהקשר זה מעניין יהיה לבדוק את ביצועיו במשחק Jeopardy ולהשוות אותם עם Watson קשישא. עד כמה שהבנתי מאיזה פתיל קטן ב reddit הוא לא הצטיין.

על זה ששימושים שליליים בו נראים מעשיים כבר עכשיו אין ויכוח.
פיתוח נבון 754967
אני מנסה לומר שלוגיקה היא לא באמת אלמנטרית, והכללים שלה לא באמת פשוטים. ואני לא מתכוון למובן "הנדסי", אלא במובן האנושי-יומיומי-הרגיל. פגשת פעם אנשים? אני כן, וחזרתי מזועזע.

אחד הציטוטים החביבים עלי הוא של האסטרונום פרנציסקוס סיזי, מהמאה ה-‏17, שכתב -

"There are seven windows given to animals in the domicile of the head, through which the air is admitted to the tabernacle of the body, to enlighten, to warm, and to nourish it. What are these parts of the microcosmos? Two nostrils, two eyes, two ears, and a mouth. So in the heavens, as in a macrocosmos, there are two favourable stars, two unpropitious, two luminaries, and Mercury undecided and indifferent.

From this and many other similarities in nature, such as the seven metals, etc., which it were tedious to enumerate, we gather that the number of planets is necessarily seven. Moreover, these satellites of Jupiter are invisible to the naked eye, and therefore can exercise no influence on the earth, and therefore would be useless, and therefore do not exist. Besides, the Jews and other ancient nations, as well as modern Europeans, have adopted the division of the week into seven days, and have named them after the seven planets. Now, if we increase the number of the planets, this whole and beautiful system falls to the ground."

כאן מדובר באסטרונום משכיל; ולא בילד ולא בהדיוט. אפשר להביא הגיונות מביכים במידה דומה מאריסטו עד לאקאן - האליטה האינטלקטואלית של ההומו-ספיאנס לדורותיו. קל וחומר כאשר מדובר בילדים או בהדיוטים, ואני מעדיף להדחיק את מה שקורה כאשר מדובר בהנמקות תאולוגיות או פוליטיות, אז לא אכנס לזה.

האינטליגנציה האנושית לא בנויה ללוגיקה, למחשבה סדורה ולמחשבה כמותית. אנחנו מצליחים בכך (חלקינו, לפעמים, במידה מסויימת) למרות היכולות הטבעיות שלנו ולא בזכותן, וזה מותנה אימון רב ודורש קשב וריכוז בלתי פוסקים. ואנחנו עדיין טועים, כל הזמן, בדיוק באותו אופן בו chatGPT טועה. אני לא רואה שום הבדל איכותי בין האינטליגנציה של בני-אדם לבין זו של מודלי-השפה הגדולים הנוכחיים, וההבדלים הכמותיים שעדיין קיימים קטנים מאד.
פיתוח נבון 754968
הסיפא של תגובתך מחדדת את אי ההסכמות בינינו. אני מניח שנשוב לזה בעוד זמן מה.
פיתוח נבון 755106
מסכים לגמרי עם הדברים.

באשר ליכולותיו הלוגיות והמתמטיות של ג'פטו ודומיו, בעברי הרחוק נתקלתי בספרות ובעבודה, בניסיונות לבסס מערכות בינה מלאכותית על לוגיקה וקשרים מתמטיים מדוייקים, או לפחות fuzzy או סטטיסטיים מדידים. למיטב זכרוני, כולם כשלו עוד כאשר נתקלו בקצה עולמם של בני האדם. נראה שדווקא מודלים שלמדו את העולם מכתביהם של יצורים אלו, שחלשים בדיוק בעניינים אלו, מצטיינים היכן שמודלים "לוגיים" כשלו. ללמדך ש... כלום בעצם. אני מנחש אולי כמוך שחיבור המודל ליכולות לוגיות ומתמטיות נמצא מעבר לפינה.
פיתוח נבון 756688
למתעניינים: סקירה עדכנית של טכניקות אינטגרציה של מודלי-שפה עם מערכות אחרות (מערכות היסק, חישוב סימבולי, מנועי חיפוש...), כולל התייחסות לאיך אולי אפשר יהיה להתאים אותם ישירות למשימות כאלה גם ללא אינטגרציה.
פיתוח נבון 756690
עוד זה מדבר וזה בא: כתבת מדע-פופלרי בקוונטה על שני מאמרים (דווקא לא חדשים, בני כחצי שנה:1, 2) בנושא אימון של מודלי-שפה למטרת הוכחות מתמטיות, חשיבה כמותית, ותרגום בעיות משפה טבעית לשפה פורמלית.

חזרה לעמוד הראשי המאמר המלא

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים