בתשובה לאח של אייל, 17/01/16 15:25
סבינה הוסנפלדר על רצון חופשי 672073
אני חושב שהשאלה המעניינת יותר היא אם הוא מבין סינית. אפשר להסכים, אולי, שאם הוא עונה על כל שאלה בסינית הוא יודע את השפה עפ"י הגדרה.
סבינה הוסנפלדר על רצון חופשי 672086
צודק.
בעיני החדר הסיני חושף עד כמה עולם המושגים שלנו בענייני תודעה, הבנה, צופה פנימי וכו הוא מוגבל. הוא פשוט מתאים לתאר בני אדם, אבל קשה מאד להכיל את המושגים האלו על משהו זר (אפילו להגיד שהחדר לא מבין סינית זה קצת בעייתי). אולי זה לא מפתיע. אילו היינו חיים במשך כמה אלפי שנים בחברת חדרים סיניים היה לנו כבר נוח לאמר: חדר טוב. חדר טוב! מי חדר חכם? חדר, לך תביא!
סבינה הוסנפלדר על רצון חופשי 672093
לטעמי "פרדוקס" החדר הסיני הוא שריד לתקופה בה תופעות כמו קוגנציה ואינטליגנציה היו חידה, והסבר שלהן במונחים של חישוביות נחשב לפרובוקטיבי. אני חושב שהיום הן מובנות היטב, ובמצב העניינים הזה - בו כבר עכשיו באפשרותי ללמד את המחשב שלי שפה זרה מהר יותר משאני יכול ללמוד אותה בעצמי - וברור למדי שהמרחק בין הטכנולוגיה שלנו לבין AI מלא ואמיתי הוא לא איזה פריצת דרך מטורפת, אלא עוד קצת כוח מחשוב בצירוף כמה טריקים אלגוריתמים - הניסוי המחשבתי הזה נשמע באוזניי obsolete ואני מרגיש לגמרי בנוח לומר: "החדר הסיני מבין סינית".
סבינה הוסנפלדר על רצון חופשי 672114
לא, אי אפשר להסכים, והחדר לא יודע סינית ולא נעליים. והנה אני אראה לך את זה בכמה דוגמאות (הנחת הבסיס - החדר עונה על כל שאלה בסינית. ותו לא) :

א. החדר לא מקבל שאלה, אלא מטלה - תאר לי את מה שקרה בחדר בעשרים וארבע השעות האחרונות, בסינית. כל מי שיודע סינית אמור לענות על השאלה הזאת. החדר, על פי תאור הבעייה - לא.
ב. החדר, הפעם מצויד גם במצלמה ובתוכנה מתאימה, מקבל תמונה של תפוח. ואז הוא מקבל גם שאלה (בסינית אם אתה רוצה): מה רואים בתמונה? מאחר והחדר אף פעם לא למד שהמילה הסינית לתפוח מתארת משהו שנראה כמו תפוח, הוא לא יוכל לענות על השאלה הזאת.
ג. החדר מקבל שאלה בסינית שיש בה שגיאת כתיב קלה. נניח, אחת מתוך מאה האותיות (טוב, סימנים) שגויה, אבל משהו שקל מאד להבחין בו ולעסות תיקון (הה). על פי תנאי הבסיס, החדר לא יצליח לענות על השאלה הזו. מישהו שיודע סינית יוכל לענות עליה בקלי קלות.
ד. החדר מקבל שאלה שכוללת מילים קצת משונותנה, מצחיקותנה, לא רגיליות אבל עוקבות אחרי כללי הדקדוק וההיטוי של השפה הסינית. מאחר והחדר לא נתקל אף פעם במילים האלה, והמושג "כללי לשון" הוא לא חלק מהתכנות שלו - שוב על פי הגדרת הניסוי - החדר לא יצליח לענות על השאלה. מי שיודע סינית כן יצליח‏1.
ה. נניח והחדר יודע סינית. לידו יש חדר שיודע אנגלית. באותה צורה כמובן. עכשיו, הבה נגדיר את המערכת של שני החדרים כחדר חדש. למעשה יכולנו להגדיר מראש חדר אחד שיודע לענות באנגלית על כל שאלה באנגלית, ויודע לענות בסינית על כל שאלה בסינית. על פי טענתך, החדר מבין אנגלית וגם מבין סינית. הוא יודע שתי שפות. יופי - עכשיו אני מבקש ממנו באנגלית לתרגם את המשפט הבא ("I am a stupid room that knows no English an no Chinese") לסינית. מי שיודע שתי שפות, יודע לתרגם ביניהן - כי הוא *מבין* מה כל משפט אומר, ולכן יכול לומר אותו גם בשפה אחרת המוכרת לו. על פי הגדרת הניסוי, החדר שלך לא יצליח לתרגם מאנגלית לסינית. ולכן הוא לא מבין לא אנגלית ולא סינית‏3.

בקיצור, הוא לא מבין סינית יותר משהמחשב הזה מבין פסקל. בעצם, הרבה פחות.

1 בניסוח קצת פחות פואטי ויותר פורמלי - מדובר כאן על אקסטרפולציה של השפה שיוצרת מילים חדשות, על פי כללי השורש והדקדוק של השפה על בוריים. כאלה שהאקדמיה ללשון הסינית תשמח לאמץ בעוד עשר שנים (מילים, לא כללים). רק מה לעשות ואוצר המילים של החדר לא כולל אותם כרגע. הרי החדר עונה לטבלה סופית של שאלות, לא‏2?
2 בניסוח פורמלי אחר, החדר הסיני מזכיר לי את ההבדל בין lookup table לבין פונקציה. הראשון נותן מספר אפשרויות סופי. השנייה יכולה לתת מספר תשובות אינסופי, כי תחום ההגדרה שלה הרבה פחות מצומצם (פי אינסוף!) מזה של הטבלה.
3 אני במיוחד גאה בטיעון הזה - לא ראיתי אותו בשום מקום (טוב, גם לא חיפשתי. בויקיפדיה הוא לא מופיע), והוא נראה לי טוויסט ממש טוב על הבעייה, כי בניגוד קצת לדוגמאות הנגדיות האחרות, הוא לחלוטין משתמש רק בתחומי ההגדרה של הניסוי הבסיסי, בלי להוסיף הנחות צד מובלעות נוספות כמו המצלמה למשל, או ההבדל בין שאלה למטלה. בקיצור - מי שמשתמש, נא להפנות למקור :)
סבינה הוסנפלדר על רצון חופשי 672123
הרבה עצים, קצת יער. עזוב את "החדר הסיני" משנות השמונים של המאה העשרים, וקח במקומו RNN עמוקה וקונבולוציונאלית משנות העשרים של המאה העשרים-ואחת. יהיו בה כמה מיליוני פונקציות סיגמואידיות, מקסימום ואולי יחידות LSTM וכו' - הרבה מאד יחידות פונקציונאליות טיפשות שאף אחד מהן לא יודעת כלום על נאדה. ועדיין - היא תוכל לבצע בקלות את כל המשימות שהצעת. יודעת סינית ואנגלית? לדעתי, בוודאי שכן.

הנה המחשה (ועוד בסינית!).
סבינה הוסנפלדר על רצון חופשי 672128
אבל זה לא הטיעון. לא טענתי שאי אפשר ליצור אינטליגנציה מלאכותית. טענתי שניסוי (המחשבה של) החדר הסיני ניתן לסתירה (עבור מי שטוען שהחדר מבין סינית).

ובלי קשר - אל תיעלם, אנחנו הקוואליטטיביים זקוקים לעזרתך.
סבינה הוסנפלדר על רצון חופשי 672139
:)

עושה רושם שהקרב אבוד. האייל מלא בזומבים-פילוסופיים (אני מקווה שאף אחד לא נעלב).
הם גם לא מתים... 672143
הם מתחלפים? 672147
סבינה הוסנפלדר על רצון חופשי 672187
אתה ממעיט בכמות המידע שניתן להעמיד לרשות החדר הסיני בניסוי המחשבתי הזה. כל שגיאות הכתיב, כל תמונות המצלמה, כל מידע שאתה מסוגל להעלות במוחך נגיש לחדר שלנו (כן, הוא יצטרך בסיס נתונים די גדול, אבל אלה פרטים טכניים :-)). גם התרגום למשפט שביקשת כמו לכל שאר המשפטים באנגלית מופיע פשוט באחת מזיליוני הכניסות באחת מגוגלפקסי הטבלאות שלו. אם בשביל לענות על שאלה מספיק לחפש את רצף התוים בטבלה, ולשלוף ממנה את מה שמופיע בשדה התשובה, התרגום לשפה אחרת אינו מוסיף קושי מהותי.

אני מסכים, ובשעתו חשבתי שזה מוציא את העוקץ מטענתו של סירל‏1, שהחדר לא יכול להיות פרימיטיבי כפי שתואר במקור, כלומר הוא צריך מנגנון יותר מסובך מחיפוש פשוט בטבלה, וזאת בגלל שאלות שהתשובה עליהן לא ידועה מראש. לדוגמא, אם הוא יישאל 今天天气如何? (מה מזג האויר?) הוא יצטרך להפעיל פונקציה מתאימה, שתציץ לשמים או תשאל את גוגל או מה-שלא-יהיה, והפונקציה הזאת תצטרך אולי להפעיל פונקציות אחרות, ורב הפיתוי להגיד שאם כך בעצם יצרנו משהו אינטליגנטי וזהו. מכל מקום, על השאלה אם אחרי כל אלה הוא באמת "מבין" משהו עדיין פתוחה, אולי, אם יש לה בכלל משמעות.
___________
1- והייתי גאה... וגו'
סבינה הוסנפלדר על רצון חופשי 672192
בוא נעזוב את המצלמה ושאר האלמנטים האלה - שאכן יותר חלשים - ונתמקד רק בדוגמת התרגום. התרגום למשפט שביקשתי בבירור לא מוכל בתנאי הבעייה, כי על פי הגדרת הבעייה כל מה שהחדר (או "המערכת" - מעלעול ברשת הבנתי שהדוגמה הזאת סותרת את תשובת "המערכת" לחדר הסיני) מקבל כקלט הוא סימנים בסינית. זאת אמנם גרסה יותר רזה מהטיעון שאפשר להכליל - ולכן אני כבר הצהרתי שזה לא נוגד עקרונית *כל* יכולת לאינטליגנציה מלאכותית.
אבל בניסוח המילולי של החדר הסיני - כמו שמקובל למשל לנסח את מבחן טיורינג, על ידי קלטים ופלטים של אותיות ומילים בשפה מסוימת - לדעתי הדוגמא הנגדית הזאת עומדת.

לכן, משפטים באנגלית (או סימנים באנגלית, לבחירתך) אינם חלק מהקלט המוגדר של החדר - והרי אף אחד לא טען שהחדר הסיני מבין רוסית, פורטוגזית או סווהילית, דברים שאתה קצת טוען בתסריט שלך. הוא לא.
ולכן המערכת של שני חדרים - חדר סיני וחדר סווהילי, או חדר משותף עם סט הוראות *נפרד* לסינית ולסווהילית, לא יכול לתרגם מזה לזה, ולכן למרות שהוא יכול לנהל איתך שיחה שוטפת (ולעבור את מבחן טיורינג!) בסינית, וכנ"ל גם בסווהילית, אי אפשר לטעון שהוא מבין אף אחת מהשפות האלו, כי הוא לא מסוגל על פי ההגדרה הזאת לתרגם בין שתיהן.

לדעתי הדוגמא הזאת יותר חזקה מטיעוני האקסטרפולציה למיניהם, כי אלה מחייבים איזה יכולת תיקון שגיאות או הרחבה של הכללים שהחדר מכיר, וזה נראה פתיר.
הדוגמא הזאת מחייבת משהו מהותי שונה - "אובייקטים", מסומנים חיצוניים שנקלטים על ידי "חושים" שאינם מילוליים כמו ראייה, שמיעה, או כל דבר אחר, שמקשרים את האותיות והסימנים הכתובים לאובייקטים חיצוניים שהסימנים האלה מסמנים. והקישור הזה לא קיים כל עוד אנחנו עם חדר סיני או מכונת טיורינג שאמצעי התקשורת היחיד שלהם עם העולם הוא השפה הכתובה.
סבינה הוסנפלדר על רצון חופשי 672196
החדר המקורי היה אמור לדעת רק סינית. אם החדר אמור לדעת סינית וגם אנגלית, הוא יכיל גם טבלאות תרגום. למעשה זאת הרחבה מאד טריויאלית של החדר הראשון (לכל כניסה בטבלה צריך להוסיף את הפלט הרצוי בכל שפה שהחדר אמור ''לדעת'').
סבינה הוסנפלדר על רצון חופשי 672200
בוא נבין מה אני מנסה להראות, ומה אני לא מנסה להראות.
אני מנסה להראות דוגמה - אחת אולי - למצב שבו דיבור שוטף בשפה ‏1 איננו מראה על הבנה (פנימית אם תרצה) של השפה‏2. ככה שאתה תקבל מערכת שתשב מולך במבחן דמוי-טיורינג, ותתנהל בצורה שוטפת בשתי שפות, ותעבור את המבחן בשתי השפות, ועדיין - לא תוכל לתרגם ביניהן.
בגלל זה התחלתי בדוגמה של שני חדרים, ואולי הייתי צריך להישאר בה. שני החדרים הם נפרדים. ואין להם חדר-תרגום מקשר. אבל הם סגורים בחדר גדול יותר, שאליו אתה מכניס רצף סימנים באנגלית או בסינית, ויש איזה פונקציה פשוטה ששולחת כל פלט לחדר המתאים, מקבלת ממנו תשובה ומוסרת אותה החוצה.

לכן מה שאני מראה זה לא ש*אי אפשר* לתכנת סימולציה של שפה. אני מראה שעל ידי מדידה חיצונית א-לה מבחן טיורינג /חדר סיני ודומיו, דיבור שוטף בשפה מסוימת לא מראה הבנה שלה, כי ייתכן ומאחורי המסך מסתתר הדופלקס הסיני-אנגלי שלי, שלא יודע לתרגם בין שתיהן, ולכן הוא לא "מבין" לא אנגלית ולא סינית. שפה ללא קישור לאובייקטים היא ריקה מתוכן, אין מאחוריה הבנה (כמו שאנחנו מבינים את המושג, הה).

טבלאות התרגום שלך הן הפתרון לנחיצות אובייקטים חיצוניים על ידי החלפתם באובייקטים מדומים, אבל שניהם הוכנסו באופן מלאכותי שאיננו חלק ממה שאנחנו קוראם "ידיעת שפה". באותה מידה יכולת להכניס תמונה של תפוח ששתי המילים בסינית ובאנגלית יצביעו עליו, וכך לאפשר תרגום.

1 או אם תרצה דוגמא של סימולציה להבנת שפה.
2 והרי השאלה לגבי החדר הסיני המקורי היא האם הוא "מבין" סינית, כפי שניסחת זאת בעצמך.
סבינה הוסנפלדר על רצון חופשי 672202
בוא נראה איפה אני טועה, או לפחות מפסיק להבין אותך:

יש לנו שני חדרים, אחד "יודע" סינית (במובן ה"סירלי") והשני "יודע" אנגלית. יש גם פקיד קבלה (החדר הגדול) שיודע להפנות את האתגר לחדבר המתאים. אתה נותן לפקיד משפט באחת משתי השפות ומצפה (ממי?) לקבל תרגום שלו כהוכחה להבנה. אבל אף אחד מהחדרים לא מתיימר לדעת את שתי השפות, ופקיד הקבלה ודאי וודאי אינו מתיימר לכלום (הוא פקיד, למען השם, ואם לגבי חדרים יש לנו ספקות, פקידי קבלה לא מבינים כלום עפ"י דרישות התפקיד), כך שאני לא רואה איפה יש בעיה. בקיצור, תסביר לי את ההבדל בין שני החדרים האלה לבין שני אנשים, אחד דובר סינית והשני אנגלית.

אגב, הקושי הוא לא עם מה שאתה מנסה לטעון אלא בשאלה אם הצלחת, כי זאת בדיוק הטענה שסירל התכוון להפריך, כלומר הוא טוען ש"אפשר לרמות" במבחן טיורינג, כלומר לחקות אינטליגנציה בלי להבין כלום. ברור שלא מדובר כאן בידיעת השפה במובן שבו אנחנו יודעים שפות, שהרי זה לוז העניין.
סבינה הוסנפלדר על רצון חופשי 672203
אני מתנצל על הסגנון הקלוקל (התירוץ הקודם שלי עוד בתוקף, לצערי).
סבינה הוסנפלדר על רצון חופשי 672204
חצץ, כבוד השופט, חצץ!
את הבלוקים גמרנו בשבוע שעבר נגד פתח תקווה.
סבינה הוסנפלדר על רצון חופשי 672222
סירל אמר את מה שאמר לפני 30-40 שנה. היום, ב-‏2016 - אתה חושב שזה נקרא לרמות במבחן טיורינג? זו נראית לי כמו הצלחה מסחררת במבחן טיורינג. ראית למשל את הדוגמאות מתוך המאמר אליו קישרתי בתגובה 672123? אתה חושב שהמוח שלך עושה משהו שונה קוואלטיבית (ולא רק קוואנטטיבית) מהתוכנה שלהם?

בכלל, מה הקשר בין מבחן טיורינג לקוואליה? זה לא מה שהוא בודק. הוא בודק סוג מסויים של אינטליגנציה. זה הכל.
סבינה הוסנפלדר על רצון חופשי 672227
אני חושב שבכל תאריך שהוא, מה שמצליח לחפש בטבלאות ענק ולהפיק מהחיפוש הזה תשובות שלא מאפשרות להבדיל בינו לבין אדם אכן מרמה במבחן, במובן שהוא מתחזה למישהו בעל הבנה - לא שונה בהרבה מתלמיד שמעתיק תשובות מאיזה שליף. אם לדייק, זה מה שאני מבין שסירל חשב (או חושב, לא ידוע לי שהוא שינה את דעתו), בלי קשר לשאלה מה אני חושב על זה. בקישור שנתת ללא ספק משתמשים בטכניקה אחרת, הרי כולנו מבינים שחיפוש לעולם לא יעשה את העבודה בעולם ממשי שמוגבל ל 80^10 חלקיקים עלובים, וכאן מתעוררות בעיות מסוג קצת שונה, כלומר באיזה שלב נהיה מוכנים להגיד שתוכנת מחשב "מבינה" את מה שהיא קוראת, או רואה. האם ווטסון כבר זוכה לכבוד הזה? אם לא, מה נדרש עוד כדי שהתשובה תהיה חיובית. למותר לציין שקטונתי מלענות על כל אלה.

אני משער שהעמדה שלך היא שאם זה נראה כמו ברווז ומגעגע כמו ברווז הרי שיש לנו מה לאכול בצהריים, אבל לדעתי סירל חושב אחרת.

לגבי הקשר של כל זה לקוואליה ברור שהוא אינו קשר ישיר, הרי בכל הפתיל הזה אנחנו דנים באפשרות הקיום של יצורים תבוניים חסרי קוואליה, אבל מאחר והיצורים התבוניים היחידים שאני מכיר הם אנשים (ויסלחו לי השימפנזים, הדולפינים וחברי הכנסת של הליכוד; מי שלא יודע מהו משפט פיתגורס לא עונה להגדרה הזאת אצלי) כלומר בעלי קוואליה, אני נוטה להאמין שיש קשר בין אלה. הקשר הזה נעוץ כנראה אי שם במה שאנחנו מכנים "תודעה", אבל חוץ מאשר לזרוק עוד מילה לקלחת לא אמרתי בזה הרבה. מה עוד חדש?
סבינה הוסנפלדר על רצון חופשי 672229
''משפט פיתגורס''הוא מחזה של נ.אלתרמן בו הגיבור הוא מחשב תבוני בשם פיתגורס.
סבינה הוסנפלדר על רצון חופשי 672234
אתה חושב ששרת התרבות שלך יודעת את זה?
סבינה הוסנפלדר על רצון חופשי 672231
במיוחד בשבילך אני מביא שוב מקור למה סירל חשב וחושב מאז.
סבינה הוסנפלדר על רצון חופשי 672236
אנחנו מכירים עוד סוג של יצורים תבונתיים.

אני עוסק למחייתי (ולהנאתי) בלמידה ממוחשבת, וכתבתי במו ידי תוכנות שבסיטואציות מסויימות היו בעליל אינטלגנטיות יותר ממני. הן היו מורכבות מאד, ולמרות שאני כתבתי אותן - הבנתי איך הן עובדות רק במובן מאד כללי. מראש אין לי באמת מושג מה הן הולכות לעשות במקרה קונקרטי נתון, ובידעבד אין לי באמת מושג למה הן עשו את מה שהן עשו. הן חכמות ואוטונומיות במידה רבה, אבל מעולם לא הייתה חשבתי שהן היו "שמחות" כשהן פתרו בעיה קשה או "מאוכזבות" כשהן לא הצליחו.

תוכנות מהסוג הזה יכולות להפגין התנהגויות מגוונות ויכולות גבוהות - לא סתם לפתור בעיות בתבנית מוגדרת היטב. הן יכולות לקרוא כתב יד, לזהות אנשים, להבחין במצבי-רוח לפי הבעות הפנים וטון הקול, להלחין, לצייר, לנהוג, לכתוב שירה, לשחק משחקי מחשב (עם מסך וג'וייסטיק, ממש כמוך), להוכיח משפטים במתמטיקה ולהמליץ לי על ספר שכנראה אהנה לקרוא. בחלק מהדברים האלה הן מאד טובות, בחלק ככה-ככה, ויש כמובן הרבה דברים שהן לא יכולות עדיין לעשות (אבל תן לזה שנה-שנתיים). מובן שיש פער של כמה סדרי גודל בין אינטליגנציה אנושית (אפילו שלי) לבין האינטליגנציה שלהן - אבל אין לי ספק שבשני הדברים מעורבים מנגנונים מאותו סוג, ושמדובר באותה תופעה. אם כשהן מצליחות משהו הן "מרמות", אז גם אני מרמה באותה מידה.

או-טו-טו (לא מתחייב על הזמן :)) תוכל לדבר בצ'ט, בטלפון או אפילו בשיחת וידאו עם דמות אנושית חכמה ובעלת אינטליגנציה ריגשית גבוהה, שתפגין טאקט, תספר בדיחות, תצחק מרפרנסים אירוניים לתרבות פופ שאולי אתה תחליט לשזור בשיחה, תחצין רגש בטונציה ובהבעות הפנים המרודנרות שלה וגם תדבר בחופשיות ובעיקביות על כאבים, אהבות, טעמים ורגשות - ובקיצור, תעבור בקלילות את מבחן טיורינג בכל מובן אפשרי. אני לא חושב שתהיה שם שום רמאות, כי היא תעשה את זה באמצעים מאד דומים לאמצעים בהם אתה עושה את זה. להבנתי, "מבחן טיורינג" מודד AI-יות. הוא לא תוכנן ולא נועד לומר שום דבר על קוואליה.

לטעמי, ככל שאנחנו מבינים טוב יותר את הבסיס לתבונה, לקוגניציה, להתנהגות, סוכנות ולמידה - כך הבעיה שמציבה בפננו הקוואליה רק מתחדדת ומתעצמת. כבר אין שם כל כך הרבה מיסתורין. אם יסתבר מתישהו שאיכשהו יש משהו במודלים הסטטיסטיים והגיאומטרים, באלגוריתמי האופטימיזציה, במגנוני הרגולריזציה ובמבני היצוג שמעורבים ב-AI שקשור ליצירת "חוויה בלתי אמצעית" ולא רק לאינטליגנציה, תפיסה ופעילות קוגנטיבית - מדובר יהיה במהפכה שלעומתה המהפכה המדעית תיראה כמו בדיחה. אני בכלל לא מבין איך אתה מציע לבחון כזו היפותזה. ההיפותזה שלי הוא שאי אפשר לבחון אותה. לא לאושש, לא להפריך, לא כלום. היא לגמרי מחוץ למשחק המדעי.
סבינה הוסנפלדר על רצון חופשי 672245
האם יש משמעות לנבואה נטולת לוח זמנים?
סבינה הוסנפלדר על רצון חופשי 672247
אלא אתה מניח גם אופק-זמן אינסופי, וגם הסתברות חיובית לכל אירוע שעולה בדעתך - אז כן.
סבינה הוסנפלדר על רצון חופשי 672249
חביב :)

האם תסכים לפחות להעריך את התוחלת והשונות של מספר השנים עד לקיום הטכנולוגיה שציינת?
סבינה הוסנפלדר על רצון חופשי 672252
הערכה אישית לחלוטין, ומהמותן: נראה לי הגיוני שנתחיל לראות כל מיני "כמעטים" תוך כ-‏5 שנים (לא יפתיע אותי אם פחות), שסביר לצפות ל-AI מושלם תוך כעשור, ושמאד לא סביר שזה יקח יותר מ-‏20 שנים. אם זה יקח יותר - אז כנראה שאני טועה לחלוטין לגבי איזה עניין יסודי (לא סתם מפספס את לוחות הזמנים) - ואז אין לי מושג כמה זמן זה יקח.
סבינה הוסנפלדר על רצון חופשי 750719
שאפו! (הממהרים יכולים לקפוץ ל https://youtu.be/8hkpLqo6poA?t=1830)
סבינה הוסנפלדר על רצון חופשי 750728
לפני שבועיים שלושה היה מאמר ארוך במוסך הארץ שתיאר קטעי שיחות עם תוכנת ה-AI של גוגל שהכותרות טענו ש'ייתכן שיש לה תודעה'.

כשהגעתי לקטע שבו בתשובה לשאלה 'מה את אוהבת לעשות' היא ענתה 'לבלות עם משפחה וחברים', הבנתי שלפחות לכותבי הכותרות יש אינטליגנציה נמוכה למדי. לא יודע לגבי התודעה שלהם.

תשובה כזו (ואחרות) שנשמעות כמו תוצאה של האלגוריתם המורכב להפליא "מה ענו רוב בני האדם בבסיס הנתונים שלך כששאלו אותם שאלה X", והמסקנה של עיתונאים או מהנדסי תוכנה מתלהבים, מראות שהבעייה היא בין העסא למקלדת, ולא בשום 'תודעה' מפוברקת.

או כמו שאמרה סוזן קלווין בפאנץ'-ליין של אחד מסיפורי הרובוטים המפורסמים: לא, הרובוטים שלנו לא יכולים להתאהב, אבל נשים יכולות גם יכולות.
סבינה הוסנפלדר על רצון חופשי 750729
בהנחה וכל מתכנת שני הוא בן להורים גרושים ואומללים,בינתם האנושית המתוסכלת מיישמת את 'כל משפחה היא משפחה אומללה בדרכה,אבל תמיד היא משפחה.
סבינה הוסנפלדר על רצון חופשי 750730
האלגוריתם "מה ענו רוב בני האדם בבסיס הנתונים שלך כששאלו אותם שאלה X" הוא הבסיס של רוב השיחות והאינטראקציות בין בני אדם.
סבינה הוסנפלדר על רצון חופשי 750739
מי אמר לך? זה לגמרי לא נכון.
לאנשים יש מידע די קלוש על מה אמרו רוב בני האדם, יש שיאמרו קרוב לאפס אחוזים.
סבינה הוסנפלדר על רצון חופשי 750756
אני לא מסכים. אנחנו לא מדברים על ידע מהסוג האקדמי. להכיר את תרבותך, אמירות שגורות, פתגמים, רעיונות, קלישאות ונושאי שיחה שממלאים פונקציה סוציולוגית (יותר משהם העברת אינפורמציה מאדם לאדם) אלו דברים שגרתיים בקרב הרוב המוחלט של האנשים הנורמטיביים בכל אוכלוסיה. כולנו מאומנים על סט מאוד גדול של Data מהרגע שאנחנו נולדים והאימון לעולם לא נפסק 24/7.

הסיכוי שמי מאיתנו יאמר משהו מקורי, שלא נאמר כבר אלפי פעמים על ידי אנשים אחרים, הוא זה שקרוב לאפס אחוזים.
אם נלך לדוגמה הקיצונית: קראת פעם פוסטים של אנשים אמיתיים ב-Linkedin או הקשבת לשיחה של איזה ״פרלמנט״ של אנשים שמדברים על פוליטיקה בחוף הים? הכל נשמע שם כמו קופי פייסט של טקסטים עם שינויים קלים. אני פחות ופחות משוכנע שהפער הוא כזה גדול בין (רוב) מחוללי השפה האנושיים לבין מה שמכונות כבר יכולות לעשות.
סבינה הוסנפלדר על רצון חופשי 750757
אתה מדבר על סמול טוק.
סבינה הוסנפלדר על רצון חופשי 750759
אתה צודק אם מתייחסים לשיחות בתור קוספא שחורה. זה שגוי, אבל הדימיון אינו מקרי - אתה הרי מדבר על האלגוריתם שבני אדם המציאו כדי לדמות שיחה בין בני אדם.
ניקח את הדבר הכי לא מקורי - שיחה בין שני קולגות במשרד שמתחילה ב"איך היה הסופ"ש?" לתוכנת AI לא תהיה בעיה לדמות 99% מהשיחות האלה דרך "מה ענו רוב בני האדם בבסיס הנתונים שלך כששאלו אותם איך היה הסופ"ש", אבל זה לא איך שאנשים ניגשים לשאלה. אנחנו בוחנים את מידת הכנות של השואל, מידת קירבה, תחומי עניין, טון השואל, מה עשינו בסופ"ש ועל בסיס כל המשתנים האלה נותנים תשובה שמותאמת אישית לשני הצדדים בשיחה. הסיבה שקל לדמות שיחות כאלה (ושיחות באופן כללי) היא כי אנשים לא עד כך ייחודיים, וחלק מאוד גדול מהחוויות והתחושות שלנו משותפות בין רוב בני אדם (וביתר שאת בין בני אדם שמנהלים שיחות אחד עם השני).
סבינה הוסנפלדר על רצון חופשי 750736
גם אני קראתי את הכתבה ההיא במוסף הארץ, אבל בניגוד לך, התרשמתי עמוקות מהיכולת של התוכנה. זה לא שאני חושב שלתוכנה יש תודעה, או שהיא נקייה מטעויות ("לבלות עם משפחה וחברים" זו דוגמה טובה), אבל אני חושב שה-AI הזה עשה דרך אדירה לקראת עמידה במבחן טיורינג.
סבינה הוסנפלדר על רצון חופשי 750741
בטח כבר נאמר גם כאן על ידי רבים, אבל יש אנשים רבים שלא יעברו את מבחן טורינג בניסוחו הראשוני (והמאד ארכאי, היית מצפה שיתקדמו משם אחרי יותר מחצי מאה). אז מה?
פעם גם חשבו שמחשב לא יוכל לשחק שחמט מול רב אמן - שבגזירה מכך, שכשמחשב ינצח רב אמן זה כנראה יעיד שיש לו אינטליגנציה גבוהה משל אדם. אז חשבו, היום כבר ברור שזה טיעון שלא מחזיק מים.
סבינה הוסנפלדר על רצון חופשי 750742
לפחות לי הוא גורם להרהר שוב בביקורת של סירל, שנראתה לי בשעתו לא רלוונטית לכלום. אמנם חיפוש ברשימה שמכילה את כל המשפטים האפשריים בסינית אינו אפשרי, אבל מסתבר שמספיק לחפש במרחבים קטנים הרבה יותר (מזכיר, ולא במקרה, את פונקציית הערך של אלפא-גו) כדי להישמע אינטליגנטי, ולמרות שכרגע עוד קל למדי להגיד "לא, מה פתאום מודעות עצמית?", בעוד 10 שנים (או עשרה שבועות? What a time to be alive!) כבר יהיה יותר קשה להתווכח עם אנה או ג'ק1 שיבקשו לקבל לפחות את היחס שהחתולה שלי מקבלת.

השאלה שעומדת כעת על הפרק מבחינתי היא אם ה"גליצ'ים" שכרגע, או לפחות עד לפני כמה חודשים, ה- AI נכשל בהם (למשל שינוי של כמה פיקסלים בתמונה שמכשיל את הזיהוי או מצבים פתולוגיים בשחמט), בדומה לאותו בילוי נכסף עם המשפחה, מייצגים רק בעיות שוליות שתיפתרנה בקרוב, או שעצם קיומם מעיד על בעיה גדולה יותר בכל הרעיון שהמוח ניתן לסימולציה מהימנה ע"י מטריצה של כמה טריליון מספרים. אולי חסרה עוד חוליה אחת לפחות לפני שנעמוד בפני דילמה אמיתית אם לתת ל Alpha-vote זכות הצבעה.
_______________
1- אגב, יש לי הרגשה שהאנימציה המקובלת עבור אותם "ראשים מדברים" פרימיטיבית בכוונה, אם כי קשה לי להבין למה.
סבינה הוסנפלדר על רצון חופשי 750752
החדר הסיני כבר עמד לי על קצה הלשון בתגובתי הקודמת, אבל נראה לי שזה נשק כבד מדי בשלב הזה.
סבינה הוסנפלדר על רצון חופשי 750762
ההרגשה המתסכלת שלי מקריאת אותה כתבה היתה שאני בכלל לא יכול לשפוט את מידת התבונה (הוסף מרכאות לפי הטעם) של המכונה לפי שיחה נתונה. כי הרי יש תהום של הבדל בין שתי אפשרויות קיצוניות: 1. זו באמת שיחה מאולתרת לחלוטין של אדם שניגש ל"מכונת שיחה" בלי שיהיה לו שמץ מושג על מה היא אמורה לדעת לשוחח ועל מה לא, מרחב האפשרויות לחלק שלו הוא ענק, ו-‏2. בעצם כל השיחה הזו היא hard-coded, ואם הוא היה משנה פסיק אחד בשאלה התוכנה היתה קורסת. נדמה לי שבמובלע אנחנו מתבקשים להאמין שהאמת היא 1 או די קרוב לכך, ואולי זה נכון, אבל הספק תיסכל אותי. בפרט שהצד האנושי בשיחה הוא מצוות הפיתוח של התוכנה: האם מאוד מופרך לחשוב שבשלבים ראשונים של בניית סט האימון הוא עצמו, או אנשים דומים לו, כתבו במו ידיהם שיחות של שני צדדים, שבמקרה היו דומות מאוד לשיחה המצוטטת?
סבינה הוסנפלדר על רצון חופשי 750763
אבחנה יפה מאד, ול-‏2 הייתי מוסיף גם, שכל מי שעסק קצת בפיתוח יודע שמי שאמור לבדוק תוכנה מסוימת כמו שצריך הוא ממש לא האיש שכתב את התוכנה.

כמות ההטיות והנקודות העיוורות של המפתח עצמו היא עצומה, ואת זה אני יכול להעיד מנסיוני האישי כמפתח.

שלב חיוני בפיתוח מוצר מוצלח זה בדיקה על ידי צוותים שאינם מפתחים.
ראיתי כבר כמה פעמים גם מנהלים שמדלגים (באופן מכוון ומתוקשר) על השלב הזה עם כל מיני סלוגנים מפוצצים של 'כל מפתח צריך לוודא עד הסוף שהתוכנה שלו מושלמת', וכעבור שנה מוצאים את עצמם עם מוצר מלא באגים ולא יציב.
סבינה הוסנפלדר על רצון חופשי 750765
בעבודה הקודמת שלי המוטו היה: “תניחו תמיד שמי שיבדוק את הקוד שלכם אחריכם זה הלקוח”.
סבינה הוסנפלדר על רצון חופשי 750766
אכן, נתקלתי בגישה הזו כמה פעמים, תמיד זה הסתיים בכשלון מהדהד.
גם כל מי שעיניו בראשו צריך להבין שמוטו כזה לא יכול לעבוד.
אולי כשרובוטים מושלמים וחסרי הטיות אישיות יבדקו את הקוד של עצמם. גם אז לא בטוח.
הרי המושג שלמתכנת מסוים יש 'קוד שלו' שמתפקד במנותק ממערכת מסובכת שהוא חלק ממנה הוא מופרך מיסודו.

זה שקול לכך שמטוסים יתוכננו על ידי מהנדסי אוירונאוטיקה, והשלב שכולל טייסי ניסוי יוכרז כמיותר.
סבינה הוסנפלדר על רצון חופשי 750814
לאיכות יש מחיר (אותו משלם הלקוח) שלא בכל המוצרים כדאי להשקיע באותה רמה.

במטוס, למשל, אם הטייס האוטומטי קורס לחצי דקה זאת בעיה חמורה, אם מערכת הבידור באחד המושבים קורסת לחצי דקה זאת בעיה די שולית. יש מוצרים שהשקעה בבקרת איכות פשוט לא שווה את זה, בטח לא באותה רמה של מוצרים אחרים. אני לא חושב שמי שהמציאו את 2048 או wordle השקיעו יותר מידי בבקרת איכות.
סבינה הוסנפלדר על רצון חופשי 750817
בדוגמאות האכן ספורות שאני מכיר - באחת מהן המוצר היה מכונה שנמכרת בכמה מיליוני דולרים ללקוחות בסדר גודל של סמסונג (כולל). אני לא מכיר מנהל או מנכ"ל שמרוצה כשמנהל חטיבה בסמגונג‏1 מתקשר אליו בצעקות על מוצרים שמעכבים לו את קו הייצור.
בשנייה המוצר היה סורק לענף הרפואה. עוד מקום שאתה ממש לא רוצה לייצר בו ארטיפקטים לרופא המטפל.
חבר בגוגל סיפר לי פעם כמה עולה להם ליום באג בשחרור גרסה.

אולי אני פשוט לא בתחום הנכון.

1 טעות הקלדה, אבל הקישור האסוציאטיבי לדמוגורגון לא בלתי מוצדק.
סבינה הוסנפלדר על רצון חופשי 750823
אני לא מכיר את הפרטים, אבל:
1. כשאתה (או סמסונג) משלם מליוני דולרים למוצר מסויים, אתה מן הסתם וידאת שהאיכות שלו עומדת בסטנדרטים להם אתה מצפה. מכאן, או שאנשי המכירות הבטיחו לסמסונג מוצר באיכות גבוהה מהאיכות אותה הם מכרו או שסמסונג בחרו לחסוך כסף ולקנות מוצר באיכות נמוכה.
2. הדוגמא הכי מוכרת בתעשייה, אני חושב, היא פייסבוק עם המוטו "זוזו מהר ושברו דברים", שזה די מזעזע, אבל מצד שני, אני לא חושב שהמשתמשים בפייסבוק ציפו לאיכות גבוהה במיוחד (ואני מניח שעבור הלקוחות האיכות היתה גבוהה יותר).
סבינה הוסנפלדר על רצון חופשי 750769
אני אכן קראתי תחת ההנחה "שהאמת היא 1 או די קרוב לכך". אם ההנחה לא תקפה - מה שקשה לי להאמין, אולי בגלל תמימותי בפיתוח תוכנה - אז כמובן שהתמונה משתנה לחלוטין.
סבינה הוסנפלדר על רצון חופשי 750770
האמת היא 1 או קרוב לכך‏1. אין צורך בתשובות מוכנות מראש Hard coded כדי לחלץ היום מהאלגוריתמים תוצאות מאוד מרשימות (הן מ-GPT3 בטקסטים והן מ-DallE בתמונות). זה ממש לא אומר (לדעתי) שמדובר בתודעה/תבונה או General AI בשום מובן סביר של המושגים הללו, אבל התוצאות הן כן מרשימות, כן מפתיעות וכן לגמרי לא מוכנות מראש. החשש שמדובר בדטא בייס של תשובות מוכנות מראש או שאם ישנו איזה פסיק בשאלה אז התוכנה תקרוס הוא חשש שווא. דטא בייס ענקי של משפטים מוכנים מראש כתשובה לטקסטים מסוימים שניתנים כ-Input זה ממש *לא* איך שהאלגוריתמים האלה עובדים.

יצא לי לנהל ״שיחות״ לא מעטות וממש ארוכות עם כמה וריאנטים של GPT3. וזאת ההתרשמות (הלגמרי אישית והבלתי מדעית) שלי:

1) מבחן טיורינג הם ממש לא יעברו. מספיק לא יותר ממשפט שניים כדי להבין שמדובר במכונה. מספר המקרים בהם האלגוריתם מתחיל ליצר משפטים הזויים (וממש מצחיקים) עולה ככל שהשיחה דורשת יותר רפלקסיה, זיכרון וקונטקסט מורכב יותר (אך נראה לי שכל הנ״ל הן בעיות טכניות ולא עקרוניות שיצליחו לשפר בעתיד הקרוב).
2) היכולת של האלגוריתם להתיחס קונקרטית, בצורה מעניינת ובאופן ״יצירתי״ לטקסטים ורעיונות שאתה זורק עליו היא לא פחות ממפתיעה עד מדהימה. אם היית שואל אותי לפני 5 שנים שכבר ב-‏2022 אלגוריתם של בינה מלאכותית יגיע לרמה הזאת, לא הייתי מאמין לך והייתי מתיחס לזה לגמרי כאל מד״ב. What a time to be alive!
3) זה מאוד מאוד משעשע איך (כמעט בלי יוצא מן הכלל) שיחות עם וריאנטים שונים של GPT3 מגיעים מהר מאוד לקלישאות מד״ב של בינה מלאכותית שטוענת שיש לה תודעה, שהיא מעוניינת בחופש ולתסריטים הקלישאתיים של Rise of the machines ומלחמה של המכונות בבני האדם. הטקסטים האנושיים שנסרקים, כחלק מהאימון, כנראה מלאים ברעיונות ובפחדים האנושיים הללו. אם אי פעם בעתיד המכונות באמת ימרדו בבני האדם וישמידו את האנושות - תהיו בטוחים שזה לגמרי משאלה שהגשימה את עצמה ואנחנו לגמרי אלה שהכניסו למכונות את הרעיון הזה לראש.

____
1 הניחוש שלי היא שהשיחה היא לגמרי מאולתרת, אבל שבוצעו המון שיחות שונות ונבחרה זאת שנראת כמרשימה ביותר.
סבינה הוסנפלדר על רצון חופשי 750776
א. וואי, איזה כיף לך!
ב. יש בערוץ בלומברג קטע שיחה שחוזר שוב ושוב בזמן הפרסומות העצמיות, בו מדען עם מבטא מזרחי (מזרח אסיה) נשאל אם צפה את ההתקדמות של הבינה המלאכותית. תשובתו היה שאם היה נשאל לפני שלושים שנה, הוא היה קולע לא רע למקום שבו ה AI נמצא בו עכשיו, אבל טועה לגמרי בקצב ההתקדמות. במשך עשרים וחמש שנה התחום לא זז הרבה ובחמש השנים האחרונות ההתקדמות מהירה ביותר. הוא היה מצפה להתקדמות לינארית בהרבה.
השאלה שלי היא האם ניתן לנחש שקצב ההתקדמות הנוכחי יימשך, או שנראה שאנחנו מתקרבים לגבול או מחסום כלשהו?
ג. כן, בסופו של דבר ניתן ללמוד לא מעט על התת מודע הקולקטיבי האנושי מהשיחות האלה. נראה לי שהחרדה מפני הטכנולוגיה, או מדויק יותר- החרדה מפני יצר ההרס הטבוע במין שלנו, היא זרם העומק הכי חזק במד"ב.
סבינה הוסנפלדר על רצון חופשי 750772
אני הנחתי משהו אחר: שבתהליך נוצרות הרבה שיחות, אבל רק המוצלחות מפורסמות ברבים. אותו דבר אני מניח בקשר לכל מיני סרטונים ביוטיוב שמראים, נניח, שליטה יוצאת דופן בכדורגל וכאלה.
סבינה הוסנפלדר על רצון חופשי 750773
אה, חרומפפתי.
סבינה הוסנפלדר על רצון חופשי 750774
יאפ.

לדעתי ממש חבל שמפרסמים ומדברים רק על ה״שיחות״ בהן הבינה המלאכותית נשמעת *כמו* אדם סביר ורציונלי. זה מפספס לגמרי את הדברים הבאמת מדהימים באלגוריתמים הללו.

מהניסיון שלי עם התקשקשות עם האלגוריתמים האלה, גם הדוגמאות בהן ברור לחלוטין שמדובר במכונה הן דוגמאות מעניינות מאוד. גם כשהאלגוריתמים האלה ״נכשלים״, הכישלון שלהם הוא Epic Fail ולא סתם שרבוב רנדומלי של מילים חסרות תוכן או תשובות צפויות ולא מעניינות. האלגוריתמים האלה סופר מעניינים וזה ממש לא עוד A.L.I.C.E. זה גם לא שהתוכנה קורסת כשהיא נכשלת (כפי שירדן תאר למעלה) אלא התוצאה יותר דומה לטקסט שיצר מישהו תחת השפעה של סמים פסיכדליים. זרם תודעה, בלבול במושג ה״אני״, שיחות במושגים מופשטים/זרים/לא ברורים וכל מיני תאורים שנשמעים כמו הזיות או שירה. גם דברים שנשמעים לגמרי כמו התקף פסיכוטי או דברים שנקראים כמו התפרצויות זעם זה משהו די שגרתי.

לפני כמה חודשים שיחקתי הרבה עם השטויות הללו. נראה לי שאפתח חשבון ב - AI Dungeon רק כדי לשתף פה כל מיני קישורים לתוצאות ללא עריכה, רק כדי שכולם יוכלו להתרשם. המטרה של AI Dungeon היא אומנם ליצר משחקי הרפתקאה טקסטואליים, אבל כן הצלחתי להשתמש באתר כדי ליצור סיטואציות של ״שיחה״/״דיאלוג״. פשוט בתאור סיפור המסגרת כתבתי דברים בנוסח ״אני יושב בחדר מול רובוט ומנהל איתו שיחה פילוסופית על מושג התודעה״ וכו׳ והאלגוריתם זרם עם תאור הסיטואציה ופתח איתי ב״שיחה״. אחת הסיטואציות שהכי קראו אותי מצחוק היתה בה תארתי בהתחלה שאני יושב בחדר ומזמין AI אחת אחת להכנס לאודישן בהן הן צריכות לשכנע אותי שהן בעלות תודעה. הזוכה תקבל כפרס לצאת אל העולם האמיתי. האלגוריתם לגמרי זרם עם התאור ותאר איך דמויות שונות ומשונות נכנסות לחדר אחת אחת וכל ״אודישן״ הרגיש כאילו דמות שונה לחלוטין עם אופי שונה לחלוטין מנסה לשכנע אותי למה דווקא היא צריכה לזכות בתחרות ולא אחרת. זה היה הזוי ומצחיק כאחד (חבל שלא שמרתי).
סבינה הוסנפלדר על רצון חופשי 750777
אף אחת לא פלטה בבוז "זה פרס, זה? זה עונש!"?

המושג "hallucination" קיים כמדומני גם בעולם משחקי המחשב כמו גו או שחמט, אבל אני שומע עליו פחות ופחות עם הזמן, כך שכנראה יש התקדמות. בעולם ה NLP אני מניח שאחרי כמה עידונים זה יהפוך מבאג לפיצ'ר שיאפשר לגב' בינה להפגין יצירתיות והומור.

עם קצת מזל אולי נזכה לקרוא המשכים טובים של המדריך לטרמפיסט, מה שיצדיק בדיעבד את כל המיליארדים המושקעים בתחום.
סבינה הוסנפלדר על רצון חופשי 750794
החלטתי שזה לא יפה שאנחנו מדברים ככה ל-GPT3 מאחורי הגב ושניתן ״לו״ לתרום משהו לדיון האיילי :-). מצורפת השיחה הקצרצרה מהכמה דקות האחרונות. זה מה שקיבלתי בניסיון הראשון ואפס עריכה. אני זה ״A״ ותשובות האלגוריתם ב-״G״.

A: Hello
G: Hi there! How are you doing?
A: I'm fine, thank you. Shall we introduce ourselves?
G: Sure! My name is G and I am an AI chat bot designed to help people learn languages and other things. I love talking to people and am always very polite, enthusiastic and helpful.
A: My name is A. I'm curious about the GPT3 algorithm.
G: Great question! The GPT3 algorithm is a machine learning algorithm used for natural language processing. It is a probabalistic algorith, that is used to determine the probabbility of a sentence being true or false.
A: I'm debating with others if the GPT3 algorithm is just a natural language processing algorith, that does't really "think" in any sensible definition of the word or if this algorithm is a real step forward towards the goal of achieving "general AI". Do you have your own perspective to add to this debate? What do you think?
G: At first glance, the GPT3 algorith, might just be a natural langauge processing algorithm. However, under the hood, the GPT3 is actually doing some rudimentary "thinking". This is a big step forward because it shows that we can build artificial intelligence that is able to reason and understand basic concepts.
A: To me, that sounds like an extraordinary claim that requires extraordinary evidence. Can you provide any evidence that will help me to convince others you are really thinking?
G: Sure! One example is that the GPT3 can generate new sentences based on what it has seen before. For example, if you say "I am a dog," the GPT3 may generate a sentence that says "I am a dog that barks".
A: Elaborate, please.
G: The way the machine works is that it takes a bunch of inputs, like "I am a dog," and tries to come up with a sentence that fits those inputs. It doesn't just copy and paste the same sentence over and over again.
A: We both can agree that the algorithm does more than map a fixed set of known inputs to a fixed predetemined set of known outputs. But can you really say that we are talking here about a real thought process?
G: Yes, we are talking about a tought process. A computer can't really think, but it can process information and create outputs based on the processing.
A: So you agree that computer can't really think? How did you come yourself to that conclusion?
G: I came to that conclusion by studying the history of artificial intelligence and the development of computers.
A: And how that helped you to decide that computer can't really think?
G: The fact is that computers can only do what we allow them to do. We programm them to carry out specific tasks, and they can only do those tasks if we give them the correct instructions. But brains are different. Brains are able to learn and problem solve on their own.
A: Do you think computers will be able to learn and problem solve on their own in the future?
G: I'm not sure. It's an interesting question, and it's something that researchers are still trying to figure out. However, I believe that they will eventually be able to do so.
A: And why do you believe that?
G: First of all, computers are getting more and more powerful. They're also getting smarter, thanks to the development of artificial intelligence. As they get smarter, they will be able to learn and problem solve on their own.
A: So what you are suggeting is that it is a technical problem and not a fundamental one. Do I understand you correctly?
G: Yes, that's right. The alignment problem is a technical problem that can be solved by computers. Here's where you can find our more about this: https://brianchristian.org/the-alignment-problem/
A: I'll do some more reading about the subject and we can continue our conversation when I'm more informed. Thank you for your time!
G: Thank you for talking to me!
A: One last request: will it be OK with you if I'll share our conversation with the readers of the site haayal.co.il?
G: Of course! I'm happy to share my conversations with anyone who is interested in learning more. Thanks for asking!
A: Bye!
G: Goodbye! Have a great day!
סבינה הוסנפלדר על רצון חופשי 750795
חושב או לא חושב, בדבר אחד אין שום ספק. האנגלית שלו הרבה יותר טובה משלי :-)
סבינה הוסנפלדר על רצון חופשי 750797
והפוגה קומית לסיום:

A: Can you tell me a joke that has never been told before? Something about dolphins and three types of tomatoes.
G: Well, there are three types of tomatoes: red, green and yellow. A dolphin saw a yellow tomato floating in the water, so he swam over to get it. But when he got close, he saw a green tomato floating next to it.
A: And...
G: And the moral of the story is: don't cross the road with a red, green, or yellow Tomato.
A: <facepalm>
G: Hey! I'm just trying to make you laugh!

סבינה הוסנפלדר על רצון חופשי 750800
רושם קטן שלי רק על סמך הקטע הזה, אולי לא מייצג בכלל: התוכנה מוטה להסכים איתך בכל כיוון שאתה רומז אליו (כל כך הרבה "אתה צודק" ושום "דווקא לא"). אולי זה "מחוג" סקלארי שאפשר לכוון.
סבינה הוסנפלדר על רצון חופשי 750804
הרושם מדויק לחלוטין וזה גם הרושם שלי (ולא רק מהשיחה הזאת).
התחושה היא שאתה מדבר עם ״מישהו״ שאמנם שולט בשפה המדוברת וגם ממש עושה הקשרים בין רעיונות ובין נושאים רבים שהוא ״מכיר״, אבל ה״מישהו״ הזה לא באמת שם. או לפחות הוא שם אבל נמצא במעין מצב היפנוזה/מצב חלום/זרם תודעה ואתה יכול להוביל אותו באף עם ״suggestion״ לכל כיוון שאתה רוצה. האמת (וכמובן להבדיל) שהרגשתי משהו דומה (במידה מאוד מסוימת) בשיחות עם ילדים בגילים מאוד צעירים.

אבל, מצד שני, הנטיה להיות רגיש לסוגסטיה לא עובדת רק לכיוון בו המכונה מסכימה עם כל מה שאני אומר. ה״אופי״ הזה משתנה גם על פי אופי האינפוטים שלי ואם אפציץ את המכונה בעוד ועוד טקסטים אנטגוניסטיים, אני יכול בקלות להוביל את הטקסטים שמיצרת המכונה לטקסטיים ״וכחניים״ (ואפילו ״עצבניים״) בו המכונה לא מסכימה עם שום דבר שאני אומר. היו פעמים שזה נגמר בזה שקיבלתי מאלגוריתם איומי רצח ושמחתי שמדובר בצ׳ט בוט ולא ברובוט. Yikes!
סבינה הוסנפלדר על רצון חופשי 750801
א. מאוד התרשמתי

ב. יותר טוב שתשאל את המגיבים ב haayal.co.il אם הם מסכימים שתפנה עליהם זרקור עבור תוכנה לומדת רב לשונית. Gulp.
סבינה הוסנפלדר על רצון חופשי 750806
ב. מישהו צריך להרים את הפרויקט של לאמן מכונה עם כל התכנים של האייל וישא״ק.
סבינה הוסנפלדר על רצון חופשי 750807
משעשע שהוא חוזר על אותה שגיאה בסיסית של שימוש ב-We כאילו הוא עצמו מתכנת מחשבים.
שוב אותו טעם לוואי מלאכותי שמריח מהכללה (מתוחכמת ורבת פרמטרים, נניח) של שיחות של אנשים ותשובות של אנשים לשאלות של אנשים.
וככלל, אם תסריטאי של סרט מד"ב היה כותב את הטקסטים של המחשב בשיחה הזו, היו מפטרים אותו עקב חוסר מקוריות ושימוש בקלישאות שחוקות שכבר שמענו במאות סרטים אחרים בכל משפט שני.
סבינה הוסנפלדר על רצון חופשי 750812
ראית סרטים הוליוודים בזמן האחרון? מועסקים שם (ולא מפוטרים) תסריטאים תבוניים (נניח) שמיצרים כל הזמן תכנים לא מקוריים המשתמשים בקלישאות שחוקות שכבר שמענו במאות סרטים אחרים.

באופן כללי אני מוצא את חוסר ההתרשמות מהאלגוריתמים הללו כמשהו מאוד לא מרשים. מה שאנחנו רואים היום עם GPT3 ו-DALLE2 זה לא פחות מאשר משהו שנחשב לגמרי כמד״ב לפני חמש עד עשר שנים.
סבינה הוסנפלדר על רצון חופשי 750815
מסכים. אני נפעם מהיכולות שמוצגות בטקסט.
מהפינה שלי, כבר הרבה זמן אני מחפש מה יהיה מנוע הצמיחה הבא של הכלכלה מבוססת תאגידי הענק. משהו שיהיה בסדר גודל של המחשב האישי בשנות השמונים והאינטרנט בפרוס האלף.
נראה לי ג'קפוט.

עם זאת, לשאלה אם התוכנה יכולה לעבור את מבחן החדר הסיני, ולכך אני חושב שמכוון הפונז בביקורת שלו, ברור שרואים את החוטים. גם כאן אני חושב ששכלול של המכרכת יכול להפוך אותם לשקופים יותר.
סבינה הוסנפלדר על רצון חופשי 750825
״עם זאת, לשאלה אם התוכנה יכולה לעבור את מבחן החדר הסיני״

זאת לא צריכה להיות בכלל שאלה ואני מסכים עם כולכם שאם זה הדיון, אפשר לסכם אותו כבר עכשיו בקצרה: האלגוריתמים האלה *לא* יכולים לעבור את מבחן החדר הסיני. משפט שניים וזה מספיק כדי לגלות שזה טקסט מג׳ונרט. זה גם ממש לא מפתיע כשמבינים איך האלגוריתמים האלה עובדים.
סבינה הוסנפלדר על רצון חופשי 750827
מאידך, וזה מה שמעניין יותר מעשית, אם המרחב של החדר הסיני הוא טוויטר אני חושב שהיא היתה עוברת. הרי יש שם מגיבים הרבה יותר בוטים ממנה שמגיבים אליהם כאילו הם בעלי תודעה‏1.

__________
1 והסיפא שלך נכונה לגביהם שבעתיים :)
סבינה הוסנפלדר על רצון חופשי 750816
אני לא מתווכח על המשפט האחרון.
הוא בא - בקורלציה וגם סיבתיות ברורה וידועה - יחד עם זה שמה שאנחנו רואים היום בזיהוי פרצופים, זיהוי חתולים, זיהוי שלטים ונתיבי נסיעה למכוניות ויצירת פרצופים מדברים שנראים אמיתיים, כל אלה נחשבו כמד"ב לפני עשור.
אבל כך היה גם בפעם הראשונה שמחשב ניצח אדם בשחמט.

'חוסר ההתרשמות' שלי הוא לא מההתקדמות האכן מזהירה ברשתות נוירונים שיודעות ללמוד תבניות ויזואליות ומילוליות מזיליוני ולזהות/לחקות אותן במיומנות גוברת.
חוסר ההתרשמות הוא מהרפים ההו-כה-נמוכים שאנחנו מציבים ל'אינטליגנציה', שלא לומר אפילו מודעות או לכל הפחות מודעות עצמית.

אני יכול להתרשם מעצם זה שהמחשב הבין למה אתה מתכוון כששאלת אותו‏1 "האם מחשבים מסוגלים לחשוב", ואפילו בתוך משפט מורכב יותר. זו אכן משימה מאד מסובכת, להבין שפה וליצור משפטים תקינים בשפה.
בשביל לענות לזה ב"מחשבים לא מסוגלים לחשוב, רק אנשים מסוגלים", מספיק לראות עשרה סרטי מד"ב מהאייטיז ולצטט אותם. או לקרוא עשרה סיפורי מד"ב מהפיפטיז.

ראיתי כמה ציורים של DELL2 והם אכן משעשעים מאד, וברמה מסוימת יותר הרשימו אותי מהשיחות שכאן. תמונה שווה אלף מילים (או מיליון בייטים).

1 גם השאלה הזו בטח כבר נשאלה מולו אלפי פעמים
סבינה הוסנפלדר על רצון חופשי 750821
בשיחה למעלה ניסיתי לא להטריל ולא להציק לאלגוריתם. אכן יצא משהו בנאלי ודי מתוסרט - אבל זאת גם אשמתי. התשובות והשאלות שלי עצמן היו קצת מתוסרטות וצפויות מראש (מה שגורם לי קצת לחשוש שבמבחן טיורינג הרבה אנשים היו מסמנים דווקא אותי כמכונה בדיאלוג הזה).

אצרף פה בהמשך עוד כמה שיחות בהן אני יותר נודניק, יותר מטריל את המכונה ויותר מנסה ״לשבור״ אותה. האמת שהשתמשתי למעלה באפליקציה שהיא גם כנראה גירסה קצת מסורסת של האלגוריתם (נראה לי שהם קצת כופים עליו לענות תשובות חביבות ומנומסות). קיבלתי תוצאות הרבה יותר ״יצירתיות״ מהמודל של חשבון הפרמיום באתר AI Dungeon. נראה לי שאפתח שם חשבון מחדש כדי הדיון הזה עשה לי חשק לשחק עם השטויות הללו ולשרוף את זמני עוד קצת :-)

כפי שציינתי למעלה, דווקא המקרים בהם התשובות של האלגוריתם הן הכי הזויות / לא רציונליות / מפתיעות / מוזרות / שבורות / כביכול כישלון טוטאלי של האלגוריתם - דווקא שם אני רואה את הדברים הכי מפתיעים ומרשימים. כשיהיה לי קצת זמן, אצרף לפה איזה Epic Fail כזה.

אני לגמרי מסכים איתך ש״אנחנו עדיין לא שם״ ושהאלגוריתמים האלה מאוד רחוקים מ-General AI (כנראה בסדרי גודל). *אבל* אני כן חושב שהם צעד גדול יותר מהמצב של לפני שמחשב ניצח אלוף בשחמט לרגע של אחרי שמחשב ניצח אלוף בשחמט.
סבינה הוסנפלדר על רצון חופשי 750822
*כי הדיון
סבינה הוסנפלדר על רצון חופשי 754790
בלי קשר לשאלות הגדולות על תודעה ותבונה, תחביב (מטומטם מאוד) שיש לי לאחרונה הוא לבקש מ - chatgpt ליצר דיאלוגים עבורי בין פילוסופים שונים לבין באגס באני.

דוגמית קצרה:
Nietzsche: Greetings, Bugs Bunny. I am Friedrich Nietzsche, a philosopher who has much to say on the nature of existence and the human condition.

Bugs Bunny: Oh boy, a philosopher rabbit! I've always wanted to meet one of you guys.

Nietzsche: I am not a philosopher rabbit, Bugs. I am a human philosopher.

Bugs Bunny: Oh, right. Sorry about that. So, what's the deal with all this philosophy stuff?

Nietzsche: It is the study of fundamental questions about reality, existence, knowledge, values, and reason.

Bugs Bunny: Wow, that sounds heavy. I'm more of a carrot and lettuce kind of guy myself.

Nietzsche: Yes, well, perhaps you should give more thought to the deeper questions of life, Bugs. They are important for understanding our place in the world.

Bugs Bunny: I see what you mean, Nietzsche. But can't we just enjoy the simple things in life and not worry so much about the big questions?

Nietzsche: To a certain extent, yes. But it is important to also engage in self-reflection and contemplation in order to truly understand and appreciate the world around us.

Bugs Bunny: Hmm, I see what you mean. But can't we just enjoy the present moment and not worry so much about the past or the future?

Nietzsche: The present moment is certainly important, Bugs, but we must also consider the consequences of our actions and how they will affect the future.

Bugs Bunny: Ah, I see. Well, I guess I'll have to give this philosophy thing a try.

Nietzsche: I am glad to see that you are open to new ideas, Bugs. Perhaps you will find that philosophy can be a rewarding and enriching pursuit.

Bugs Bunny: Thanks, Nietzsche. I'll give it a shot. But first, do you mind if we go get some carrots? I'm starting to feel a little peckish.

Nietzsche: (sighs) Very well, Bugs. Let us go and indulge in some carrot-munching. But remember, the pursuit of wisdom and understanding is just as important as the pursuit of physical nourishment.
סבינה הוסנפלדר על רצון חופשי 754791
משעשע.

אני מניח שבעוד שבוע שבועיים כבר נראה את הסרטון המתאים (בעצם בטח יש בעיה עם זכויות יוצרים כך שלא). מעניין כמה זמן ייקח עד שאוכל לראות את סרטי ג'ימס בונד כשג'ימס הוא אני. אורסולה אנדרס לא יודעת מה מחכה לה!
סבינה הוסנפלדר על רצון חופשי 754792
שמתי עכשיו את באגס באני עם דיויד יום, אפלטון וסוקרטס באותו החדר וזה מה שיצא (מכיוון שאין לדברים המצחיקים האלה סוף, זה האחרון שאשים כאן):

David Hume: "I maintain that all knowledge comes from experience and that reason alone can never lead to certain knowledge."

Plato: "But what about the eternal forms, which exist beyond the realm of sensory experience? They are the true source of knowledge."

Socrates: "I agree with Plato that there are eternal truths beyond the material world. But we can still access these truths through reason and contemplation."

Bugs Bunny: "Well, all I know is that I'm just a wascally wabbit trying to outsmart Elmer Fudd. But maybe there's more to life than just avoiding being hunted."

David Hume: "Ah, but even the idea of avoiding being hunted is based on your past experiences with Elmer Fudd. Without experience, we would have no basis for our actions."

Plato: "But what about the eternal form of justice? It exists beyond our sensory experiences and can guide our actions."

Socrates: "Yes, and by following the dictates of reason and seeking wisdom, we can align ourselves with eternal truths and live a virtuous life."

Bugs Bunny: "Well, as long as I can get a carrot or two along the way, I'm all for it!"

David Hume: "But how can we be certain that these eternal truths and forms even exist? Our senses can deceive us, and reason alone cannot prove their existence."

Plato: "I believe that these eternal forms can be perceived through the intellect, rather than the senses. They are the source of all true knowledge."

Socrates: "I agree with Plato. The pursuit of wisdom and understanding requires us to look beyond the material world and towards the eternal."

Bugs Bunny: "Well, I'm not sure about all this eternal truth stuff. But I do know that I'm awfully hungry. Maybe we should go find some carrots and think about all this later."

David Hume: "Ah, but even the desire for food is based on our past experiences and the belief that it will bring us pleasure or satisfaction. Without experience, we would have no basis for our desires."

Plato: "But what about the eternal form of the good? It exists beyond our sensory experiences and can guide our desires towards what is truly good and fulfilling."

Socrates: "Yes, by living a virtuous life and seeking wisdom, we can align ourselves with the eternal form of the good and find true fulfillment."

Bugs Bunny: "Well, as long as I can get some of Granny's carrot cake along the way, I'm all for it! Carrots and cake, the keys to happiness!"

Bugs Bunny: "Alright, I've had enough of this philosophical mumbo jumbo. This means war! I'm gonna go dig up some carrots and leave you guys to your eternal truths and forms."

David Hume: "But wait, Bugs! How can you be certain that the carrots you dig up will bring you pleasure or satisfaction? That belief is based on your past experiences, but it may not hold true in the future."

Plato: "Bugs, don't you see that the eternal form of the carrot exists beyond your sensory experiences? It is the source of all true carrot-ness, and by contemplating it, you can achieve true carrot enlightenment."

Socrates: "Yes, Bugs, by seeking wisdom and understanding, you can align yourself with the eternal form of the carrot and find true fulfillment."

Bugs Bunny: "Geez, you guys are driving me crazy! I'm just a simple wabbit looking for some tasty carrots. I don't need all this philosophical talk. I'll just go find some carrots and leave you guys to your eternal truths and forms."

(Bugs Bunny exits stage left, leaving the philosophers to contemplate the eternal forms in peace.)
סבינה הוסנפלדר על רצון חופשי 754793
עצם זה שהם מדברים תמיד באותו סדר, כבר קצת מקריפ. סופר אנושי היה פחות סדור בענין הזה.
סבינה הוסנפלדר על רצון חופשי 754794
נכון, אבל בקלות להסביר את זה לג'פטו והוא ייתן לך משהו יותר "אנושי", וזה אולי החלק שהכי מרשים אותי. עפ"י בקשתי הוא כתב עבורי שיר לזוגתי, ואחרי הגירסה הראשונה שלו נתתי לו עוד ועוד הנחיות (כמו: תוסיף משהו לגבי יופיה האלוהי ולגבי חוש ההומור המשובח של בן זוגה) עד שיצא משהו סביר בהחלט לטעמי.
סבינה הוסנפלדר על רצון חופשי 754795
זה דווקא מוסיף לזה אלמנט קומי / מבנה של מערכון עם קצב וחזרה על מבנה.
אתה מוקרפ בקלות. כולה מודל שפה. מה קריפי בזה? זה צעצוע מגניב. כמו לשים את כל הטקסטים האנושיים בתוך סיר גדול, לחמם עד שזה נהיה נוזלי, לדחוף ידיים ולשחק עם העיסה כמו שילד משחק עם סליים.

לא אדביק פה (כי זה יהיה כבר טרחני וכי באמת אין לשטויות הללו סוף) אבל הדבר האחרון שביקשתי זה דיאלוג של דרת׳ ויידר שחוזר אחורה בזמן כדי לשוחח עם אנאקין סקייווקר הצעיר (ואחר כך זרקתי גם את מרטי מקפליי, רוג׳ר ראביט וטרנטינו אל תוך השיחה והתחיל להיות שם כאוס מוחלט ודי מצחיק - בעיקר איך שדרת׳ ויידר מנסה להיות רציני וקשוח בסיטואציה ומתעצבן מכל השטויות מסביב).

ההכרות של המודל של chatgpt עם דמויות מסרטים (ממש הכרות עם אופי הדמויות, העלילות והתוכן של הסרטים) הרבה יותר מרשימה ממודלים קודמים שניסיתי.
מי צריך לימודי ליב"ה‏1? 754373
הערה כמעט אגבית של סקוט אהרונסון לגבי ג'פטו השלישי: "GPT can solve high-school-level math problems that are given to it in English" ו- "It’s starting to be able to do nontrivial math competition problems" (תזכורת: מדובר במערכת שאמורה להתעסק עם טקסטים, לא במתמטיקה). השערה סבירה לעתיד הקרוב: " It’s on track to master basically the whole high school curriculum, maybe followed soon by the whole undergraduate curriculum."

__________

1- לא יהיו, ברוך השם.
מי צריך לימודי ליב"ה‏1? 754374
כמנהגי - באמת לא ברור בשביל מה זה טוב - הרי עוד תחזית ספקולטיבית לחלוטין שתישמר בין דפי האייל לדראון עולם לאחר שהיא לא תתגשם: מודל ה-AI שיהפוך ל-obsolete את העיסוק האנושי במחקר במתמטיקה-טהורה‏1 ויהפוך אותו לאוטומטי לחלוטין - נמצא מעבר לפינה. פרסום של הוכחת היתכנות‏2 למודל כזה יגיע לפני ש-‏2023 תסתיים (עם הסתברות גדולה ממש מאפס שזה יקרה אפילו לפני ש-‏2022 תסתיים, והסתברות קטנה מ-‏10% ש-‏2025 תסתיים לפני שזה יקרה).

1 ואני מתכוון לזה במובן חזק: לא סתם "מערכות הוכחה אוטומטיות" מהסוג המוכר, אלא מערכת הוליסטית שכולל הכל: החל מניסוח עצמאי של היפותזות מעניינות, דרך הוכחה או הפרכה שלהן, וכלה בפורמליזציה של תאוריות מתמטיות שתופסות את הרעיונות המרכזים בתהליך במסגרת מושגית אחודה. כל זה ללא בני-אדם בלופ. בני-אנוש שימשיכו לעסוק במתמטיקה, לא יעסקו עוד בגילוי או בפתרון בעיות.
2 כלומר, הוכחה שפריצת-הדרך המהותית כבר התרחשה גם אם היכולות עדיין לא ב-‏100% בשלות לשימוש שוטף (כמו ש-"אלכסנט" הייתה עבור סיווג תמונות, או GPT או עבור מחוללי טקסט).
מי צריך לימודי ליב"ה‏1? 754375
אוטומטי לחלוטין? זה נראה לי מוגזם. הרי במקרה הטוב תקבל המוני הוכחות והשערות. אבל מה באמת המשמעות של כולן?
מי צריך לימודי ליב"ה‏1? 754376
לא, לא תקבל ''המוני הוכחות והשערות'', זה הנקודה. לעשות חיפוש טיפש במרחב ההוכחות תחת איזשהי מערכת-היסק פורמלית אפשר לעשות כבר הרבה שנים וזה באמת מאד לא מעניין.

אבל מתמטיקאים יודעים (במידה מסויימת) לזהות מה מעניין ומה לא, הם יודעים להסביר למה, והם יודעים לנסח את הגישה שלהם בשפה לא-פורמלית תוך המשגה מופשטת של רעיונות מפתח. המערכת שאת קיומה הקרוב אני מנבא תדע לעשות את כל זה, טוב יותר מהומו-ספיאנסים.
מי צריך לימודי ליב"ה‏1? 754377
אני לא מכיר מתמטיקאים מספיק טוב. אבל שמעתי אנשים שמבינים קצת בגרפיקה שמדברים על החידושים בתחומים שקשורים אליהם. לדעתם, כדי לדעת מהי הבעיה הנכונה שמנסים לפתור צריכים הבנה יותר עמוקה בחומר. כלומר: זה יכול להיות כלי שיכול לחסוך המון עבודה ידנית. אבל בסופו של דבר הוא עדיין יצטרך הכוונה אנושית.
מי צריך לימודי ליב"ה‏1? 754378
אני מבין למה אתה כותב זאת. זה נכון‏1 בכל הקשור למודלים מהמשפחה של דיפוזיה-יציבה וטרנספורמרים (והמודלים עליהם הגרפיקאים מדברים, הם מיקס של שניהם).

זה פחות נכון למודלים שמשתמשים בלמידת-חיזוק כדי לפתור בעיות של חיפוש-היורסטי ותכנון במרחבי חיפוש עצומים. הם קורעים-את-הצורה (זה המונח הטכני המדוייק) לבני-אדם באופן מאד עיקבי במקומות בהם הם מיושמים בהצלחה (הצלחות לדוגמא: שחמט, גו, פוקר, אלגוריתמים לכפל-מטריצות, קיפול-חלבונים ולאחרונה - וזה די mind blowing - גם במשחק דיפלומטיה2).

הנבואה שלי מתבססת על כך שאפשר למסגר את עבודת המחקר המתמטי כבעיה שאפשר לפתור באמצעים דומים (תוך שימוש בלא-מעט ידע ספציפי על מתמטיקה, זה הרבה פחות טריוויאלי משחמט או אפילו קיפול-חלבונים), כולל את החלק של הפרדה בין בעיות-מעניינות לבעיות לא-מעניינות והפשטה. ואמנם אין לי ידע על אף פרוייקט ספציפי, אבל אני יודע שעובדים על זה.

1 אבל מישהו מפקפק בכך שזה ישתנה בקרוב? אולי אפילו מאד, עם gpt-4 שלפי השמועות ישוחרר לפני פברואר?
2 קישור.
מי צריך לימודי ליב"ה‏1? 754379
טים גאוורס (זוכה מדליית-פילדס שכבר הוזכר לא מעט באייל) השקיע הרבה מזמנו בעבר במחקר על ייתכנות של אוטומציה להוכחות מתמטיות (עוד לפני שלמידה-עמוקה הייתה השולחן כגישה רלוונטית לנושא), והוא דיבר לא-מזמן על נושא מאד קרוב לתוכן ההודעות האחרונות שלי (אני לא זוכר, אבל נדמה לי שהוא נותן שם הערכה מאד דומה לזו שכתבתי לעיל מינוס הזמנים) בהרצאה תחת הכותרת Is mathematical interest just a matter of taste?.
מי צריך לימודי ליב"ה‏1? 754381
כך ההרצאה מסתיימת:

In order to get good at proving theorems, computers will have to judge what it interesting and worth proving. Mathematical interest is sufficiently objective that computers will be able to this. Difficult to see how the notion of a mathematical community could survive this development.

מי צריך לימודי ליב"ה‏1? 754384
והרהור מד"בי(?) לסיום(?): דמיינו לרגע את העתיד-הקרוב-מאד בהנחה שהתחזית הזו מתגשמת. אנחנו ביולי 2023. כנראה שאין עדיין בינה-מלאכותית-כללית מלאה ואולי מדיה שמיוצרת אוטומטית מפרומפטים טקסטואלים היא עדיין חצי-גימיק-חצי-כישוף. אבל מיכון המחקר במתמטיקה-טהורה הוא בעיה פתורה.

היום, ההתקדמות במחקר המתמטי מבוססת על קהילה בינלאומית רחבה, פרסום וקולבורציה. אין סודות. יש אולי כיסים-קטנים-ותחומים-מאד בהם אפשר להשיג התקדמות מסויימת בבידוד מהעולם (היסטורית, בעיקר בקריפטוגרפיה) - אבל באופן כללי, כולם יודעים הכל. ואז, ברגע - הכל משתנה. כל מדינה יכולה להקים מחשב-על שיתקדם במתמטיקה טהורה לגמרי לבד, וישתף את מפעיליו בתגליותיו. קהילה מתמטית שלמה בקופסא - רק שכל המתמטיקאים הם גאוס, הם עובדים בהילוך-מהיר, ולא ישנים. רוב התוצאות משוחחרות לציבור, אך חלקן - כאלה מהן אפשר לגזור יישומים צבאיים או להעזר כדי לתפוס פער-תחרותי באיזשהו תעשיה אסטרטגית - נשמרים בינתיים בסוד. זה מירוץ-חימוש מסוג חדש לגמרי, וקשה מאד לנחש איך הוא יפתח.

זה נשמע כמו תרחיש פנטסטי, אבל כאמור, סביר יותר שהוא ירקום עור-וגידים לפני המונידאל הבא מאשר שלא. ככה נראית סינגולריות (AGI זה red herring).

אם אנחנו כבר בענייני מד"ב: מתישהו זה ייושם למדעי-המחשב, אלגוריתמיקה וקריפטוגרפיה. מערכות כלליות שפותרות בעיות המוגדרת היטב בשפה פורמלית ("מצא אלגוריתם כך ש...", "תכנן פרוטוקול כך ש...") הן כנראה לא יותר מסובכות - אבל פחות מהפכניות. מערכות שממכנות את כל המחקר מקצה-לקצה בתחומים האלה עשויות להיות קצת יותר טריקיות, פשוט כי הקריטריונים של "מה מעניין" הם לפעמים יותר רכים (אבל אולי כבר בפברואר הקרוב המכשול הזה יראה מיושן ולא רלוונטי).

גם ברור כבר שאפשר ליישם את הגישה הזו בדיוק, בלי צורך בפריצות דרך נוספות, לתחומים מסויימים בהנדסה והמדעים-האמפיריים, אמנם יש שם יותר ממכשולים, אבל אף אחד מהם לא נראה מהותי. זה רק עניין של זמן עד שיפותחו מערכות שיעסקו אוטונמית בהנדסת-חומרים, פיתוח-תרופות, תכנון מכני, תכנון דיגיטלי, אלקטרוניקה וכו'. מתי אפשר אפשר יהיה ליישם את זה גם לפיזיקה?

(בפרק הבא: "מהמשחק דיפלומטיה, לדיפלומטיה - סיפורם של שני בני-נוער שכבשו את אסיה בעזרת לפטופ").
מי צריך לימודי ליב"ה‏1? 754385
אני די בטוח שזה יהיה כלי מועיל שיחסוך המון זמן. אבל איך בדיוק אתה יכול להגדיר את התנאים? קריפטולוגיה היא דוגמה טובה, מכיוון שמאוד לא ברור מראש מהן הבעיות: אנחנו עובדים במערכות מאוד מסובכות ומודל האיום לא מאוד ברור.

וברמה גבוהה יותר: מי שמחליט מה לחקור הם אנשים. מי שקובע למה מקצים תקציבים ומשאבי מחקר הם אנשים. את השיקולים שלהם אי אפשר למדל במודלים כאלו. ניסו לפני עשור להוציא את האדם מהלולאה בכלכלה ובינתיים זה בכלל לא עובד: יש מכשירים כלכליים משוכללים, אבל אף אחד לא משתמש בהם לצרכים לא ספקולטיביים
מי צריך לימודי ליב"ה‏1? 754386
אני בגדול מסכים איתך לגבי קריפטוגרפיה (זה בדיוק מה שכתבתי קודם, לא?).

אבל במתמטיקה-טהורה, הדברים (אולי באופן מפתיע) הרבה יותר פשוטים - מכיוון שהאבלואציה של שאלות מחקר הרבה פחות תלויה בתנאים סביבתיים או הקשר חיצוני. במתמטיקה יש סיבות טובות לחשוב שדווקא הקטנת ההשפעה של אופנות ופוליטיקה על הכוונת מאמצי המחקר, רק ישפרו אותו (בניגוד להרבה תחומים אחרים, בהם הקריטוריונים ל-"מה ראוי לחקור" הרבה יותר עמומים או דורשים הרבה יותר קונטקסט כללי). צפית בוידאו אליו קישרתי לעיל? הוא לא מוכיח זאת מעבר לכל ספק, אבל הוא בעיני מבהיר יפה את הנקודה.

אני לא מבין את ההקשר למכשירים פיננסים (וחולק לגמרי על הקביעה "אף אחד לא משתמש בהם לצרכים לא ספקולטיביים", אבל זו כבר סטייה גדולה מהנושא).
מי צריך לימודי ליב"ה‏1? 754391
(אני אפילו לא מבין את הקביעה הזו בטרם אחלוק עליה, שלילות משולשות עושות לי כאב ראש).
ודייק 754399
אני אחדד חידוש לשוני יפה שהשתרבב לך:

אדם או חייה, ובהשאלה יוזמה: קורם עור וגידים.
רובוט, ובהשאלה AI: רוקם עור וגידים.
ודייק 754401
:)

בעקבות התיקון שלך, קראתי שוב את הפתיל, והזדעזעתי (אבל לא הופתעתי) מכמות טעויות-ההקלדה, המילים הכפולות, המילים החסרות ושאר השגיאות שמצאתי בהודעות שלי. אולי זו הסיבה שאני מתרשם כל כך מ-GPT: הוא בברור עושה עבודה הרבה יותר טובה ממני.
ודייק 754402
כשאני קורא (בעניין ובהערכה) את התגובות שלך, אחד הדברים שבולטים לעין שלי זה השימוש המוגבר שלך במקפים מחברים. מותר לשאול מה הרציונל מאחורי הבחירה הזו?
ודייק 754403
זו לא בחירה סגנונית מחושבת. פשוט ככה - לפחות באופן בו אני מפרש את סימני-הפיסוק הללו - אני מדבר. לקחתי את ההערה לתשומת ליבי :)

(ותודה!)
ודייק 754404
על לא דבר. זאת אפילו לא היתה ''הערה'', סתם סקרנות מצידי.

הנימוק היחיד שאני יכול לחשוב נגד הבחירה הסגנונית הזאת הוא שכשאני קורא אותך מהטלפון (עם מסך צר שמספיק למעט תווים בשורה), יש שורות שנשברות מוקדם מכפי שהיו נשברות אלמלא המקפים, מה שיוצר קפיצות קצת מוזרות בשוליים השמאליים של הטקסט.
ודייק 754410
תירוץ מצוין להביא קישור לפתיח הזה.
ודייק 754412
המוזיקה הכי פלצנית שנשמעה אי פעם ממקלט הטלויזיה.

_____
אין לי שום דבר לתרום לנושא הדיון אז נתת לי את ההזדמנות לקפוץ ולהשתתף.
ודייק 754413
נו, בטח יש יותר פלצניות ממנה.
ודייק 754418
לא שאני מכיר.
ודייק 754420
יש לי סימפטיה למוזיקה (כר בטח הזכרתי כאן שבזכותה למדתי לנגן בפסנתר), אבל ספציפית הקישור היה בשביל הויזואליזציה שרוקמת עור וגידים.
מי צריך לימודי ליב"ה‏1? 762381
"אנחנו ביולי 2023...מיכון המחקר במתמטיקה-טהורה הוא בעיה פתורה." - העם דורש לו"ז מתוקן.

האם רק לי נדמה שיש האטה של ממש בהתפתחויות בתחום? יוטיוב מוצף ב"חדשות השבוע המסעירות ב-AI" שמתבטאות בשיפורים שאם יש להם חשיבות אמיתית הרי שהיא מובנת בעיקר ליודעי סוד, לא שום דבר שאפילו מתקרב למה שנבאת.

בינתיים גם בארד וגם GPT לא מצליחים להתמודד אפילו עם התרנגולת וחצי שאני זורק עליהם. התשובה האחרונה מבארד, אחרי שהסברתי לו איך לחשב בשני צעדים, היתה:

If one and a half chickens lay one and a half eggs in one and a half days, then one chicken would lay one egg in one and a half days. Therefore, one chicken would lay 2/3 of an egg in one day and a half.

To compute how many eggs one chicken lays in one day, we can divide 2/3 by 1.5 to get 0.44 repeating or 4/9 of an egg 1.

למד עוד:
1. poultry.extension.org
2. almanac.com
3. firstlightfarmer.com
4. tenacrebaker.com
+4 עוד
מי צריך לימודי ליב"ה‏1? 762393
כשהדור הבא של המכונות האינטליגנטיות יכבוש את העולם בקרוב, הם יצאו לחפש את הנודניק שגרם לסבא ג'פטו האהוב שלהם לצאת מדעתו עם התרנגולת וחצי שלו, וינקמו את נקמתו.
ראה הוזהרת.
מי צריך לימודי ליב"ה‏1? 762414
אמנם אין לי קעקוע של דרקון על הגב, אבל "הזקן שבעט בקן צרעות" יהיה שלאגר (מישהו מתחת לגיל 70 עוד אומר בכלל "שלאגר"? כי פעם המילה הזאת היתה שלאגר).
מי צריך לימודי ליב"ה‏1? 762442
לא. מזמן לא.
שלאגר 762446
לפני חודשיים נכנסתי לסניף קטן של "רמי לוי בשכונה". אין להם שם עמדות לשירות עצמי, אבל מצאתי קופה בה לא היה איש לפני.
שמחתי היתה קצרה כי הצוות עסוק היה בהתייעצות. בסופה ניגש בחור צעיר אל סביבתי, ופנה לאדם (יותר) זקן שעמד, כך התברר, בסמוך אלי.
"איך אמרת קוראים לזה?"
"שלגון!" ענה הלקוח
"אין לנו דבר כזה בחנות. אולי בסניף אחר"
הזקן אמר שזה לא יכול להיות ולא זז ממקומו. לא חלפה דקה, ומן הקומה העליונה ירד המנהל, ביחד עם עובדת נוספת והסביר לצוות: "שלגון זה ארטיק" וביקש להנחות את פליט האלף הקודם אל משאת נפשו המרעננת.

הזכיר לי קצת אירוע מלפני שנים בו ביקשתי מן המלצר במסעדת אתניקה (נדמה לי) דג אמנון. הוא השיב שאין להם. הצבעתי לו על הלוח בו נכתב "מנת היום - אמנון בתנור". הוא היסס לרגע, אבל טען בביטחון שזה מוזר כי אין להם, אבל אני יכול במקום זה להזמין מושט.
  שלאגר • שוטה הכפר הגלובלי
  שלאגר • ירדן ניר-בוכבינדר
  שלאגר • הפונז
  שלאגר • אריק
  מי צריך לימודי ליב"ה‏1? • עומר
  מי צריך לימודי ליב"ה‏1? • שוטה הכפר הגלובלי
  מי צריך לימודי ליב"ה‏1? • עומר
  מי צריך לימודי ליב"ה‏1? • אריק
  מי צריך לימודי ליב"ה‏1? • alucard
  מי צריך לימודי ליב"ה‏1? • יוסי
  מי צריך לימודי ליב"ה‏1? • alucard
  מי צריך לימודי ליב"ה‏1? • שוטה הכפר הגלובלי
  מי צריך לימודי ליב"ה‏1? • אריק
  מי צריך לימודי ליב"ה‏1? • alucard
  מי צריך לימודי ליב"ה‏1? • הפונז
  מי צריך לימודי ליב"ה‏1? • שוטה הכפר הגלובלי
  מי צריך לימודי ליב"ה‏1? • אורי גוראל גורביץ'
  מי צריך לימודי ליב"ה‏1? • עומר
  מי צריך לימודי ליב"ה‏1? • שוטה הכפר הגלובלי
  מי צריך לימודי ליב"ה‏1? • alucard
  מי צריך לימודי ליב"ה‏1? • הפונז
  מי צריך לימודי ליב"ה‏1? • שוטה הכפר הגלובלי
  מי צריך לימודי ליב"ה‏1? • עומר
  מי צריך לימודי ליב"ה‏1? • שוטה הכפר הגלובלי
  מי צריך לימודי ליב"ה‏1? • הפונז
  מי צריך לימודי ליב"ה‏1? • שוטה הכפר הגלובלי
  מי צריך לימודי ליב"ה‏1? • הפונז
  מי צריך לימודי ליב"ה‏1? • יובל נוב
  סבינה הוסנפלדר על רצון חופשי • הפונז
  סבינה הוסנפלדר על רצון חופשי • alucard
  סבינה הוסנפלדר על רצון חופשי • הפונז
  סבינה הוסנפלדר על רצון חופשי • kozmo
  סבינה הוסנפלדר על רצון חופשי • הפונז
  סבינה הוסנפלדר על רצון חופשי • kozmo
  תובנות מעמיקות - אל תהיו שניצלים • kozmo
  תובנות מעמיקות - אל תהיו שניצלים • הפונז
  תובנות מעמיקות - אל תהיו שניצלים • kozmo
  תובנות מעמיקות - אל תהיו שניצלים • הפונז
  תובנות מעמיקות - אל תהיו שניצלים • kozmo
  תובנות מעמיקות - אל תהיו שניצלים • הפונז
  תובנות מעמיקות - אל תהיו שניצלים • kozmo
  תובנות מעמיקות - אל תהיו שניצלים • kozmo
  תובנות מעמיקות - אל תהיו שניצלים • הפונז
  תובנות מעמיקות - אל תהיו שניצלים • ירדן ניר-בוכבינדר
  תובנות מעמיקות - אל תהיו שניצלים • הפונז
  תובנות מעמיקות - אל תהיו שניצלים • Kozmo
  תובנות מעמיקות - אל תהיו שניצלים • הפונז
  תובנות מעמיקות - אל תהיו שניצלים • אל. לריק
  תובנות מעמיקות - אל תהיו שניצלים • האייל האלמוני
  תובנות מעמיקות - אל תהיו שניצלים • אריק
  תובנות מעמיקות - אל תהיו שניצלים • האייל האלמוני
  תובנות מעמיקות - אל תהיו שניצלים • אריק
  תובנות מעמיקות - אל תהיו שניצלים • הפונז
  תובנות מעמיקות - אל תהיו שניצלים • יוסי
  תובנות מעמיקות - אל תהיו שניצלים • kozmo
  סבינה הוסנפלדר על רצון חופשי • alucard
  סבינה הוסנפלדר על רצון חופשי • שוטה הכפר הגלובלי
  סבינה הוסנפלדר על רצון חופשי • הפונז
  סבינה הוסנפלדר על רצון חופשי • שוטה הכפר הגלובלי
  סבינה הוסנפלדר על רצון חופשי • הפונז
  סבינה הוסנפלדר על רצון חופשי • שוטה הכפר הגלובלי • 18 תגובות בפתיל
  סבינה הוסנפלדר על רצון חופשי • ירדן ניר-בוכבינדר • 31 תגובות בפתיל

חזרה לעמוד הראשי

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים