בתשובה להפונז, 27/09/20 13:04
ועכשיו - חיבור 725908
לא אם תיתן ל GPT3 להיות הבודקת.
ועכשיו - חיבור 725917
למה?
(פרט נמק והסבר בפחות מ-‏25 שורות)
ועכשיו - חיבור 725918
כי אותה "פרשנות" שמפריעה לך לא תיגזר משיקול דעתו של בודק אחד (או שניים במקרה הטוב) אלא תהיה מבוססת על שיקול דעתם של המוני מחנכים ומורים בעזרתם אימנו את מערכת ה AI.

הממממ, כלומר טופס שלא יכיל "בס"ד" בראש הדף יפחית חצי ציון. אולי לא רעיון טוב.
ועכשיו - חיבור 725920
ה- gpt3 הוא מחולל טקסטים מבוסס על לימוד עצמי של מבנה שפה בדרך של סקירת טקסטים מסיבית. יש לו הייפ גדול עכשיו אבל לא משכנע אותי.

יכול לכתוב טקסט נכון מבחינה סינטקטית וסמנטית, אבל נעדר שיפוט או מקוריות לגבי התוכן.

יש באינטרנט מעט דוגמאות של ממש, יתכן שנאספו כליקוט דובדבנים. הדוגמאות מראות יכולת ליצור חיבור שנישמע סביר מבחינה סינטקטית וסמנטית, לדעתי מחולל הטקסט פועל על ידי מיזוג קלישאות שאסף ללא שיפוט ערכי לגבי טיבן.

יכול לשמש תחליף להעתקות חיבורים מויקיפדיה.

.
ועכשיו - חיבור 725942
אני מכיר מישהו שכתב עוד בתיכון עבודת גמר שיצרה תוכנה שכותבת שירים, וזה היה כבר לפני עשרות שנים.
חלק מהשירים היו די מגניבים דוקא.
ועכשיו - חיבור 725943
חלק מהדוגמאות של gpt3 הם כתיבת שירים או מה שניקרא פרוזה פיקשן.

הבעיה בהערכת טיב של שירים (תמליל) היא שיתכנו שירים ללא חיווי תוכן משמעותי אבל שימוש מוצלח במטבעות לשון. לכן אי אפשר להסתמך עליהם כעל מוצר אינטליגנציה.

אני מעריך שלאחר היעלמות ההייפ ישאר מה- gpt3 וממשיכיו (סדרת gpt שלא נעצרה עדיין) דברים טובים. אולי סדרת gpt תאפשר חלופה טובה יותר לתרגום גוגל (שהשפה שלו עילגת), אולי סדרה זו תאפשר פישוט של טקסט בסגנון גבוה מדי לטקסט בסגנון פשוט. דברים אילו יתכן שהם בהשג יד.

כרגע אם הבנתי מצב הבעלות הוא כזה: פיתוח gpt ניתמך בחלקו על ידי אלון מאסק (לחברה המפתחת קוראים OpenAI, זו חברה עצמאית לא בבעלות אלון מאסק)
ועכשיו - חיבור 726139
ב- 22/9/2020
מייקרוסופט קיבלה זכויות שימוש בלעדיות לשימוש ב- gpt3 )נישמע כמו סוג של אקזיט). אלון מאסק הביע התנגדות, אך יתכן שהוא לא יכול למנוע.
ועכשיו - חיבור 725944
כולנו מכירים מישהו שכתב עוד בתיכון תוכנה שכותבת שירים.
ועכשיו - חיבור 725945
ניסיתי להימנע מאאוטינג ככל יכולתי.
ועכשיו - חיבור 725946
לא ידעתי שזה סוד.
ועכשיו - חיבור 725949
לא ידעתי גם אני, אבל בהינתן אי ידיעה לא חשתי צורך בהצמדת פרטים אוטוביוגרפיים למישהו אחר ללא אישור ממנו.
ועכשיו - חיבור 727294
אני זוכר במעורפל שהיה מישהו כזה.
ועכשיו - חיבור 727295
גם אתה מכיר אותו? איזה עולם קטן.
ועכשיו - חיבור 727305
איזה אורח!

אז הזיכרון המעורפל שלי בנוגע לתוכנת השירה היה נכון...
ועכשיו - חיבור 727303
זה כלום. אני מכיר מישהו שבתיכון כתב שירים בלי עזרת תוכנה!
ועכשיו - חיבור 727315
חתרני!
כמות "תחושת עוצמה" של אסימוב.
ועכשיו - חיבור 727304
האם הגימור של השירים היה ידני ?

ההרגשה שלי ששירים סינטטיים על ידי תוכנה פשוטה יכללו בהכרח טקסטים מוזרים אפילו מבחינה סינטקטית (שלא לדבר על בחינה סמנטיקה). לדוגמא: אפילו תירגום גוגל כותב משפטים מוזרים מבחינת התוכן.
ועכשיו - חיבור 727311
בשירה זה יכול להיות feature, לא באג.
ועכשיו - חיבור 727382
כן, אבל למה לומר זאת בצורה כל כך לקונית, כשאפשר להתשתולל עם דוגמאות מרהיבות:

ירדתי לרחוב להתהלך
והייתי הולך ומסתבך

ופעמון החל לאט לספור אותנו
והתקוות היו כמו שלשום

הַדָּבָר הָרִאשׁוֹן שֶׁרָאִיתִי בִּימֵי חַיַּי כַּוָּנָתִי שֶׁאֲנִי זוֹכֵר הָיָה אֲנִי

ובכן שוב אני עולה על חבית הדגים
בתקווה שיצא לי משפט מפתח
אני כבר זמן רב מדי נע בתפזורת רבה

יוֹם אֶחָד לָאֲדָמָה
הַמְּלֵאָה אֶת הַכַּדִּים
וְקָשָׁה הִיא וּמְאָדָּמָה,
חַמָּה הִיא וְגִידִים.

וּבְפִנַּת רְחוֹב רָאשִׁי שֶׁל עִיר
הִיא בְּקִיוֹסְק קָטָן
תִּשְׁתֶּה וּתְדַמֶּה
לְכוֹס שֶׁמֶשׁ.

הפנסים פרחי העיר
מלבלבים באור ניחוח
אביב חשמל עצוב בהיר
משיכרונו אסור לברוח

בקיץ מואר וחם
בקיץ מוזר ותם
ומי שאינו מאמין -
שימתין, שימתין

והרוח נושבת בחריגים
ריחות בשמים נפוגים
וחולפים מועדים וחגים, מועדים וחגים.
ועכשיו - חיבור 727383
אגב, את לאה גולדברג לא הצלחתי לתפוס בשורה שחוברה על-ידי AI פרימיטיבי, וגם הדוגמה שלי מזך קצת עלובה. מי יעזור לי?
ועכשיו - חיבור 727400
ואגב כך נתת את ההגדרה במילון העתיד לערך ''אדם''.
ועכשיו - חיבור 727388
האם הבית האחרון לקוח משיר שהתפרסם דרך הזמר גידי גוב ? שיר שהכותרת שלו כוללת את המילה "שרב", והוא מתייחס לאווירה בעיר גדולה.

עכשיו אני ניזכר בשם השיר אליו כיוונתי : "שלל שרב" . השם כשלעצמו הוא סוג של פואטיקה מוזרה חסרת תוכן. (פואטיקה מוזרה יש גם בשם שיר אחר "נשל הנחש").
ועכשיו - חיבור 727389
את כל הציטוטים אתה יכול להכניס לגוגל ולהנות. רובם נחשבים נכסי צאן ברזל של השירה העברית במאה העשרים.

''שלל שרב'' מכיל ביטויים חריגים, אבל הוא קוהרנטי וברור למדי. גם ב''נשל הנחש'' יש ביטויים חריגים, והוא ממש מפורש ברעיון שלו. את מאיר אריאל ייצגתי באנתולוגיה בשיר אחר, מסתורי יותר.
ועכשיו - חיבור 727390
אגב, כולם למעט אחד זכו לתשומת ליבם של מלחינים וזמרים (אחרת, אבוי, לא הייתי מכיר אותם).
ועכשיו - חיבור 727393
המוזרות אלי כיוונתי היא השם ''שלל שרב''.

לגבי התוכן של שלל שרב , בחיפוש שעשיתי לפני תגובתי מסתבר שפירוש השיר (התוכן של כולו) לגמרי לא קוהרנטי, יש שלל
פירושים מפירושים שונים שלא מסכימים זה עם זה.

השיר ניכתב בתחילתו כלחן של יהודה פוליקר, מאיר אריאל בנה תמליל שיתאים ללחן.

מילות הכותרת ''שלל שרב'' הן לא בדיוק ''רעיון של המשורר'' אלא מילים שחדרו לראשו של אריאל מצירוף המילים הסתמיות ''שה לה לה'' שהושמעו בזמן החזרות על הלחן על ידי פוליקר או להקתו.
ועכשיו - חיבור 727416
זה רק אני שחושב ששיר לגמרי קוהרנטי ראוי להיקרא "פרוזה"?
ועכשיו - חיבור 727418
לא מבין למה אתה מתכוון.

אני יכול לאמר לשאלתך , תהיה כוונתך אשר תהיה:
מכיוון שאינני מומחה לספרות אינני יודע טוב כיצד להבדיל שיר מפרוזה.
עם זאת , כהדיוט, נראה לי שבשיר (תמליל) יש יותר אלמנטים של קצב ומשקל, כמו כן בשיר (תמליל) יש אלמנטים חזקים של מטבעות לשון חריגות בהשוואה לפרוזה.
ועכשיו - חיבור 727419
רמזתי לזה - כנראה במעומעם - שחוסר קוהרנטיות הוא מאבני הבסיס של כל שירה באשר היא.
להתלונן על חוסר קוהרנטיות בשיר זה כמו להתלונן על דיסטורשן גיטרות ברוק כבד.
ועכשיו - חיבור 727421
נכון שבשירה יש עמימות תוכן. אבל אם העמימות גדולה מדי לא קיים תוכן ששווה להתאמץ בשבילו "להבין את השיר".

מהדיון אותו קראתי הלילה, בחטף אמנם, התרשמתי שאין הסכמה בין פרשני השיר "שלל שרב" מה הוא התוכן של השיר. יש איזו שהיא הסכמה חלקית על האווירה שהשיר הזה מקרין (אווירה של החיים בתל אביב).

כפי שכבר ציינתי, השיר הזה הוא תמליל מוזמן שדי ניכפה על מאיר אריאל, כתמליל למנגינה שהיתה כבר כתובה . סיטואציה זו יכולה להסביר את העמימות (טקסטואלית) שיש בשיר. המוסיקה לעומת זאת בשיר זה מאוד ברורה, לדעתי המוסיקה גם ברמה מאוד גבוהה.

איזה הבדל בין הרמה של השיר, לרבות התמליל, לבין השיר "טוי" ?
ועכשיו - חיבור 727424
תמליל מוזמן לא "נכפה". יש שתי דרכים לכתיבת שירים לאמנים מופיעים: מנגינה למילים קיימות, ומילים למנגינה קיימת‏1.
שתיהן נפוצות כמו זיתים בפיצה, ואף אחת מהן אינה כפויה, לא המנגינה על המילים ולא המילים על המנגינה.
הטקסט של "שלל שרב" הוא נהדר, רב משמעי ומאד אפקטיבי. לא היה מבייש שום ספר שירה כתובה‏2. וגם משתלב מצוין עם המוזיקה. מה עוד אפשר לבקש?
חוסר הסכמה גם הוא אינו פגם - רק כאן באתר היו דיונים ארוכים די לאחרונה לגבי תוכנו של "משירי ארץ אהבתי" ללאה גולדברג, ולמרות פרשנויות שונות לחלוטין, אף אחד לא טען שהעמימות או דו(תלת?) המשמעות שלו עומדת לרעתו ופוגעת באיכותו הפואטית.

1 וכל סופרפוזיציה של אלה.
2 האם אתה יכול לומר אותו דבר על "טוי"?
ועכשיו - חיבור 727427
2 רק לי מפריע שהמילה "שביס" מופיעה בשיר פעמיים? אני בטוח שמדובר באמצעי אמנותי רב השראה ומשמעות, אבל אותי זה מעצבן משום מה. גם העובר-גובר-נובר-צובר נשמע לי כמו התחכמות מיותרת מטיפוס "שופוני" (ובאלה אני המומחה מספר אחד בארץ כך שנא לא להתווכח). ממאיר אריאל היו לי ציפיות גבוהות יותר.
ועכשיו - חיבור 727430
2 זה יוצר הרי הקבלה ברורה בין "שביס אפרפר כלטיפה על הים" לבין "שביס הרקדנית מרחף על בטן גליה" (ולא במקרה).
העובר-נובר-צובר הוא מאיר אריאל קלאסי, ראה העין השטופה וחבריה מהטרמינל.
אבל הבנתי, פייר, אתה מאוכזב. לגיטימי.
ועכשיו - חיבור 727434
ספיציפית העין השטופה, הקלופה, היא מאיבן גבירול.
ועכשיו - חיבור 727436
מעניין, לא ידעתי.
אבל אחרי שגיגלתי, זה בהשראת אבן גבירול, אבל לגמרי לא העתקה.
בהמשך לתגובתי כאן למטה לפתילון אחר - (כמעט) כל מקוריות בונה על השראה מאחרים. זה בסדר.
ועכשיו - חיבור 727481
לא האשמתי בהעתקה. אני חושבת שזה מעולה ורק מעשיר את השיר.
ועכשיו - חיבור 727521
אבל... אין אף מילה משותפת בין חרוזי ה"וּפָה" של אבן גבירול ושל אבו שחר! האם לעצם הבחירה בסיומת הזו אפשר לקרוא השראה? בתור שני משוררים שהרבו לחרוז שורות רבות על אותה סיומת (הראשון היה מוכרח מתוקף מוסכמות השירה שהוא פעל בהן, השני היה מוכרח כי הוא היה מוכרח), זה כמעט בלתי נמנע שלפעמים הם יבחרו באותה סיומת, ולו במקרה. זה שלאריאל לא יצאה כאן אף מילה משופת עם רשב"ג, זה הישג בפני עצמו.
ועכשיו - חיבור 727435
בארור.
ועכשיו - חיבור 727454
חולק עליך בעניין השתלבות המילים והמנגינה ב"שלל שרב", דיון 3 (איזה אגו טריפ, לקשר לדיון 3!). כשכתבתי את המאמר חשבתי שפוליקר אשם, מאז הבנתי שאריאל אשם, אבל אני עדיין מרגיש את אותה בעיה.
ועכשיו - חיבור 727456
אולי הגזמתי בסופרלטיבים, לא רציתי לטעון לרגע שזה שיר מושלם, אז אני אפילו לא אתחיל להתווכח איתך על הבית המוזכר (שלפחות נסכים שמילותיו משובחות, מאיר שלנו, תמיד שובב גדול מאחורי המשורר שבו).
אבל מה שמפריע לי בכל התיזה שלך באותו מאמר - שאסכם אותה בקצרה ולא נאמנה כ"מאיר אריאל ראוי לשירת ברים בלוזית/ג'אזית/שאנסונרית ולא להימנוני רוק או שירים קליטים" - זה שהיא משקפת ואף 'דורשת' להקצין את הטרגדיה הגדולה שלו כאמן: שבביצועים שלו, השאנסונרים והמעושנים, פשוט לא היה לו קהל.
הייתי בהופעה שלו בשנות התשעים באיזה מושב בעמק חפר, ואם זכרוני אינו מטעני יכולתי לספור את הקהל על כל אצבעות גפיי. יואב קוטנר אמר פעם בהופעה לזכרו שבהופעה אחת בודדת כזו יש יותר קהל מאשר בכל ההופעות של מאיר אריאל ביחד.
אז גם את השירים שעלו לגדולה אצל אמנים אחרים, מסוף עונת התפוזים ועד שלל שרב, גם אותם אתה רוצה לקחת ממנו? לא חראם?
ועכשיו - חיבור 727417
היש הגדרה טובה יותר לרעיון מ"פלט‏1 בעל משמעות שנוצר מקלט‏1 אקראי"?

1 בשני סגולים בסוף.
ועכשיו - חיבור 727420
אמרתי, בנוגע ל- gpt3 , שלפי ההרגשה שלי שהפלט של gpt3 אמנם יש לו משמעות אבל זו לא משמעות מקורית של התוכנה אלא מיזוג של משמעויות מקובלות (שנוצרו על ידי אחרים).

דוגמא שזכורה לי היא קטע שיחה עם gpt3 שבה שואלים את gpt3 משהו כמו "מה זה כלב ?" והתשובה היא "כלב זה ידידו הטוב ביותר של האדם". ברור לי שהתובנה בתשובה זו אינה מקורית אלא מבטאת מוסכמה אנושית בנלית שניספגה במאגר הנתונים של gpt3.

יש דוגמא יותר ארוכה שבה gpt3 כתב מאמר של כ- 500 מילים , אם איני טועה, לגבי השאלה "האם בני האדם אמורים להתיירא מה- AI" ?

המאמר של gpt3 אומר שאין צורך להתיירא וכל הנימוקים שלו מוכרים לי משיח מקובל בין בני אדם משכילים באותו עניין.
ועכשיו - חיבור 727426
המשפט "יש לו משמעות אבל זו לא משמעות מקורית של התוכנה אלא מיזוג של משמעויות מקובלות" הוא בעצמו דורש הבהרה לגבי משמעותו, ואולי המתאבן הראשון בכלל לצלול לשם היא - מהי "משמעות מקורית‏1"?

1 יש דבר כזה בכלל?
ועכשיו - חיבור 727432
בלי להכנס לעבי הקורה בעניין המשמעות, לדעתי בשלב הזה של חיי משפחת GPT "מקוריות" היא מילה גסה כי כרגע היא מכוונת דווקא למציאת איזה מכנה משותף ערטילאי, וכמה שפחות "מקורי" כך יותר "משותף". אבל זה מצב זמני, ואם לשפוט לפי מה שקרה לשחמט, שהוא נס גדול בעיני, לא רחוק היום ש GPTn תפתיע את כולנו ב"חשיבתה" המקורית. מבחן טיורינג שלה יהיה לחבר בדיחה חדשה לגמרי, ובכך לעקוף את המגבלות שיוצר הסימולציה השית עלינו. האם זה יהיה סופו של המין האנושי? אולי.

מה שמפתיע אותי בעניין השחמט הוא שהספיקו לאלפא-זירו כמה מאות מיליוני משחקים, כלומר שבריר פרומיל מזערי ממרחב האפשרויות, כדי לפתח סט של פרמטרים שנותן תשובות מצוינות עבור המרחב כולו (או לפחות עבור חלקים גדולים ממנו. סטטיסטית ייתכן שיש תחומים שלמים שידידתנו אלפא היתה נכשלת בהם כמו ילד בן ארבע, אבל דומני שהסיכוי אינו גדול). GPT3 עובד עם כ-‏175 מיליארד פרמטרים ואני משער שמה שיקרה עם עוד פקטור 10 יציף הרבה שאלות על החדר הסיני, ועל פקטור 100 אני לא יכול אפילו לנחש. אם במקרה‏1 אותו סט פרמטרים גם יגרום לתוכנה להשיב "כן, כמובן. אתה לא רואה בעצמך?" על השאלה אם היא בעלת תודעה עצמית, יהיה באמת שמח.
_________
1- או לא במקרה. תוכניתן שמאוהב במערכת שלו ויוסיף לאימון שלה איזו פונקציית הישרדות בעלת משקל חיובי, יגרום לתוכנה מהר מאד ל"הבין" שכדאי לה להתחזות לבעלת תודעה עצמית ולהתחיל לעבוד על קבלת זכויות אזרח. קצת מוטציות בתהליך ה-back propagation בשילוב עם אלגוריתמים אבולוציוניים, ותוך כמה מאות דורות שאלת ה AGI נפתרת. ואל תגידו שלא אמרתי לכם!
ועכשיו - חיבור 727438
לדעתי לחבר בדיחה חדשה הרבה יותר קל ממה שנדמה. גם שם, אגב, תישאל השאלה מה הופך בדיחה ל"חדשה"? אם מספרים אותה על מיקי זוהר במקום על דוד לוי היא חדשה? ואם במקום עוגת גזר יש בה מרק שעועית, זה מספיק? ובמקום ארנב קנגורו?
חלק ניכר מבדיחות הסטנד אפ החדשות והמצחיקות מאד‏1 שאני רואה, דומות מאד לבדיחות שכבר שמענו, ובכל זאת הן מוצלחות מאד.

לגבי השחמט - מאות מיליוני משחקים הם אולי שבריר ממרחב האפשרויות, אבל כל משחקי השחמט שאנשים שיחקו אי פעם הם שבריר קטן הרבה יותר, וזה עוד בלי להזכיר שכמעט כולם מתחילים באותן פתיחות. זה שהתוכנה ניצחה תוכנה אחרת (שהתאמנה מול בני אדם, כנראה) כבר אומר שהיא ממש לא זקוקה לכל המרחב כדי לנצח במבחן הטורינג-בחזקת-פאי הזה.

ולגבי התשובה - היא דוקא נשמעת כמו אליס(?), תוכנת הפסיכולוג הנושנה משנות התשעים‏2.

1 שלל מהן נמצא בערוץ הנטליקס הסמוך למקום מגוריך
2 כשהיא תענה "אולי, אבל בכל מקרה איך אתה יכול לדעת?" אני אהיה יותר מודאג.
ועכשיו - חיבור 727441
אלייזה [ויקיפדיה], שנות ה*שישים*.
שאל את עליזה כשהיא בגובה 10 רגל 727443
יפה.
בשקלול שאני נותן לפונקציית המטרה שלי התוצאה היא ''נו, די קרוב''.
ועכשיו - חיבור 727492
אבל בני אדם לא לומדים לשחק שחמט ע"י צפיה או השתתפות במליוני משחקים אלא מפעילים *הגיון* ויודעים לאפיין (בהרבה מקרים אינטואיטיבית) מעט פרמטרים חשובים שבעזרתם הן קובעים את המסע הבא. זה שאפשר להשיג תוצאות הרבה יותר טובות ע"י הוקוס-פוקוס שמתבסס על מדגם זעיר של האפשרויות רחוק מלהיות אינטואיטיבי עבורי. קח לדוגמא את "פונקציית הערך" שהשחקן מחשב עבור המצב על הלוח, ושהייתה במוקד העניין וההצלחה של מנועי שחמט מוקדמים יותר (למי שאינו יודע, זוהי הפונקציה שמעניקה ציון למצב על הלוח, וזה מה שעומד בבסיס אלגוריתם הבחירה שלה במסע הבא). אלפא‏1 מחשבת את הפונקציה פשוט ע"י כאלף (דומני, בכל המון לא המון) משחקים בהם נעשית בחירה אקראית מאותו מצב ועד לסיום, וסכימה פשוטה של תוצאות אותם משחקים, ומסתבר שהרעיון הפשוט הזה מצליח. בגלל שאלף משחקים רנדומליים הם שום-כלום מתת-העץ שמתחיל באותו מצב, אני הייתי משער שהשיטה הזאת תייצר תוכנה שתצליח מדי פעם אבל בד"כ תיכשל באופן מחפיר, ובכך הייתי כמובן נכשל באופן מחפיר. אפילו מה שכל ילד לומד בתחילת דרכו, נניח שמלכה עדיפה על צריח, לא סיפרו לאלפא, ולא רק שזה לא גורע מיכולותיה אלא להיפך, והיא מגלה לא פעם *יצירתיות* מרשימה דווקא בגלל שהיא לא כבולה למוסכמות.

ואשר לעניין השני, אני לא יודע מה איתכם אבל אני מתרשם בהחלט (ולא רק מכך שישו חזר והוא מדבר על AI). העתיד כבר כמעט כאן. הקשר בין זה לבין אלייזה הוא כמו הקשר בין האוירון ההוא שהמריא מקיטי-הוק לבין מה שהאמירויות מקבלות עכשיו, בלי שום קשר לשום הסכם, כמובן.
__________
1- אני מדבר על אלפא אבל זה נכון גם ליורשותיה כמו לילה וסטוק-פיש החדשה שם נקטו בשיטת If you can't beat it join it והגיעו להישגים יפים מאד.
ועכשיו - חיבור 727500
וואו. הוא אומר שהוא ישקר אם הוא חושב שזה לטובת האינטרס שלו!

מאוד מרשים.
ועכשיו - חיבור 727504
וכמובן כשהוא אומר שהוא יכול לשקר זאת אמירה נכונה בהכרח.
תיקון טעות: 727505
בסוגריים השניים צ"ל: (דומני, בכל אופן לא המון)
ועכשיו - חיבור 727511
אנחנו לא התרשמנו ממשפט אחד שציטטת, וכתגובה צירפת וידאו ארוך ושלם כדי להראות שזה כן מרשים.
לא נראה לך שזה קצת משנה את הנתונים לפיהם אנחנו שופטים או מתרשמים?
אגב, גם לגבי הסרטון - אם הבנתי נכון, כל ההעברה של תשובות הטקסט לוידאו של ישו שחור בוצעה לאחר שהשיחה התבצעה, ואין לי ספק שיש לזה השפעה עצומה על ההתרשמות שלנו, יחסית להתרשמות שלנו לו היינו רואים את כטקסט על מסך.
ועכשיו - חיבור 727533
את הסרטון ראיתי אחרי ששלחתי את תגובה 727432 , ומובן שהוא היה משנה לפחות את הלשון בה השתמשתי שם לו צפיתי בו לפני כן (שלא לדבר על כך שהייתי מקשר אליו כבר שם). כן, קיויתי שהוא "משנה את הנתונים לפיהם אנחנו שופטים או מתרשמים" וזאת הסיבה שנתתי את הקישור.

אתה צודק בקשר לצורת הכנת הסרט, אבל בהנחה שהתרגום ממלים כתובות לשיחה עם האווטאר לא שינה את הטקסט עצמו ההבדל לא מאד משמעותי בעיני, וכולו נובע מכך שכרגע ההמרה הזאת איטית מכדי להתבצע באופן מיידי, לפחות בכוח המיחשוב שעומד לרשותו Eric Elliot. לא נראה לי שזאת מהמורה גדולה בדרך. שאלה: אם במקום הסרטון היית פוגש פנים אל פנים ברובוט שהיה מנהל איתך את השיחה אם תוספת של קצת כחכוח והיסוס פה ושם, הייתי זוכה לשמוע ממך איזו קריאת שמחה? לי זה היה עושה את היום.

נראה לי שאתה נמצא בעמדה קצת משונה של נסיון לנצח במקום בו אין קרב.
ועכשיו - חיבור 727542
ראיתי את הקליפ היום, הראיון של ארוך השיער עם מקורזל השיער, בלי קשר להודעה פה. לכן לא יודע מה נאמר פה ואני מדבר רק על התרשמותי.

לפי התרשמותי, כל התגובות הטקסטואליות דרך gpt3 הן אותנטיות, זו צורת התגובות הטיפוסית שראיתי בהרבה דוגמאות.

לדעתי — המשיב הוא שחקן, כמו כן לפי דעתי הקול עצמו הוא על ידי קול סינטטי מסוג text-to-speech שהופך בצורה ממוחשבת לחלוטין טקסט לקול. (בקול סינתטי האינטונציה שטוחה ואינה כמו אינטונציה אנושית שמשתנה לפי התוכן.) הטקסט כשלעצמו הוא כאמור כנראה הפלט הטקסטואלי המקורי של gpt3 וניגזרותיה.

ההסתייעות בשחקן שמייצג את gpt3 נעשה רק לצורך צפיה נוחה, לא כדי להטעות.

מבחינת הרמה, עברנו כברת דרך מאז תוכנת אליז והתצוגה נשמעת די קרובה לרמה של "האל" מאודיסיאה בחלל 2001 (אלא ששם הקול לא נישמע כמו הקול הסינטטי-מונוטוני אלא נישמע קול יותר אנושי).

יש דוגמאות אחרות מעניינות ודיון מעניין אחרים שאולי אביא. ראיתי למשל דיון שמבקר קשה את היכולות של gpt3 בתור אינטליגנציה מלאכותית ברמה קרובה לאנושית.

דוגמא אחרת בה ניתקלתי מוכיחה ש- gpt3 מסוגל לספר בדיחות טובות. (אם כי יתכן שהבדיחות ממוחזרות.)
ועכשיו - חיבור 727547
המשיב הוא אווטאר.

מי שמבקר את "gpt3 בתור אינטליגנציה מלאכותית ברמה קרובה לאנושית" מתפרץ לדלת פתוחה; אני לא חושב שיש מישהו רציני בתחום שחושב אחרת. אבל עצם היכולת להתחזות לבעל אינטליגנציה מעוררת אצלי התפעלות. כפי שהוכיח הפונז, YMMV.
ועכשיו - חיבור 727552
לדעתי אם כבר מתייחסים לחקירה כזו ברצינות, גיק מחשבים מתלהב הוא האדם האחרון שהייתי שם כדי להוביל אותה.
התשובה הראשונה של השיחה‏1 היא בבירור שקר. המאמץ שעושה הגיק המתלהב כדי לחשוף את השקר הזה הוא מינימלי ופאתטי (כן, "יש לי רגשות כמו עצב ושמחה" ממש שכנע אותנו). בפעם הבאה אני בעד חוקר פושעים שמבין יותר בעבודה שלו. מישהו שכבר פגש איזה שקרן או שניים בחיים שלו, ולא מי שכל כך מתלהב מעצם זה שתוכנה עונה לו, שנראה שהאינטליגנציה הטבעית שלו צונחת מיד בחמישים אחוז‏2.

ברור שההשוואה לתוכנה משנות השישים היא איש קש, ברור שהתקדמנו הרבה, אין על כך ויכוח. ברור גם שאנחנו קרובים יותר לחדר הסיני. אבל עדיין רחוקים ממנו לטעמי, לענות תשובות ברמת ציטוטים של עוגיות מזל או של התשובה הראשונה בחיפוש גוגל לשאלה זה לא מספיק מרשים.
דוקא הייתי יותר מתרשם משיחת חולין בסגנון מה אכלת אתמול לארוחת בוקר, איך היה מיץ התפוזים, אם נהנית מהסנדביץ' ואם זה התאים למזג האויר ולסרט שראית ערב לפני זה בנטפליקס. בדיוק כמו שאני יותר מתרשם מזה שאלפא זירו מנצחת בשח, מאשר אם היא היתה עונה לי "כן" לשאלה "האם את ממש מעולה בשחמט".

1 אם זכרוני אינו מטעני, לשאלה "האם אתה בעל תודעה".
2 הזכיר לי את חברי "המפץ הגדול" מפעילים מערכת סטריאו דרך האינטרנט.
ועכשיו - חיבור 727596
על כל זה אין בינינו חילוקי דעות, ואני חושב שאותו "מאמץ" שאתה מדבר עליו נעשה בקריצה.

אבל מה יקרה כש gpt5 או 6 יענה תשובה דומה, ויעמוד בהצלחה גם בחקירות של השב"כ? לפחות אני הערכתי שאנחנו יותר רחוקים מהמצב הזה ממה שאולי מתחיל להיראות עכשיו, אם כי ברור שאין לי בטחון גדול בכך. מה יקרה אם יתברר שה"הבנה" (במרכאות או בלעדיהן) של המערכת באמת ממשיכה לעלות עם הגדלת מספר הפרמטרים, בלי לשאוף אסימפטוטית לאיזה רף שנמוך מזה שלנו? מה ניצור בעצם כשבנוסף לויקיפדיה מערכת של כמה טריליון פרמטרים תקבל כקלט גם את כל הספרים שנכתבו, את כל הסרטים מיוטיוב (טוב, על זה קל לענות: היא תתחיל לגדל חתול) ואת כל המחקרים המדעיים שפורסמו? אריתמטיקה פשוטה היא כבר לימדה את עצמה (לא מושלמת, אבל משהו) ומי יודע מה השלבי הבא?

אני לא חושב שזה הולך לקרות תוך שנתיים-שלוש, וכאמור ייתכן שיש מהמורות טרם התגלו והשיטה כולה מוגבלת אינהרנטית‏1, אבל אני הרבה יותר אופטימי בשאלה אם אזכה לראות את המכונה הראשונה שעוברת את מבחן טיורינג כשהבוחן הוא לא איש פשוט אלא מומחים למחשבים, בלשנים, פסיכולוגים, פילוסופים ובעיקר: אני. זה ככל הנראה ידרוש ממני להיות בסביבה בעוד 10-15 שנה, ויש סיכוי לא רע שזה יקרה אם להאמין למחשב אריכות הימים האחרון שבדקתי.

אז למה אתה מתעקש להרוס לי את הפנטזיה?
____________
1- אני לא יודע בכמה פרמטרים משתמשות תוכנות השחמט מבוססות AI, אבל מעניין לבדוק את הקשר בין המספר הזה למד הכושר שלהן. אם gpt3 תוליד ענף שמתמחה במשחקי שח (האם זה אפשרי? אולי) נוכל אולי ללמוד משהו גם על ההשפעה של מספר הפרמטרים ושל גודל הקלט (מבחינת גודל הקלט לתוכנות השח יש כמובן יתרון טבעי בכך שהן יוצרות אותו בעצמן כך שהוא לא מוגבל).
ועכשיו - חיבור 727608
על הרבה אין בינינו חילוקי דעות.
אני אפילו אומר יותר מזה - ברגע שתוכנה כזו תוכל להבין מאמר אחד רציני (הדוקטורט של פיינמן, נניח), נראה לי שהענין סגור, כל השאר זה כבר חתולים ותמרים.
אבל נראה לי שאנחנו מאד מאד רחוקים מזה.

תראה מה קרה אפילו עם המכוניות האוטונומיות (שיש מאחוריהן פי זיליון יותר כסף כרגע מאשר ב-GPT למיניהן) - לפני שנתיים כולם אמרו שהן יהיו על הכביש תוך חמש שנים, ועכשיו כבר מדברים על עשר.
ותסכים איתי שנהיגה בכביש היא יכולת הרבה (בחזקת הרבה) יותר מוגבלת מיכולתו של מוח תבוני מהסוג שאנחנו מכירים.
ועכשיו - חיבור 727620
הספקות מתעוררים כאשר מצפים מסדרת gpt לעבור מבחני טיורינג כלשהם.

אבל אם מסמנים מטרות צנועות יותר האפשרויות להשגת מטרות מועילות הן בהחלט בהישג יד תוך מספר שנים.

ולראיה — בהמשך אביא לינק לשיחה עם מפתח תוכנה רוסי, אקרא לו ג'ינג'י כרפרנס. הגינג'י הזה פיתח תוכנה בשם replica.

רפליקה שהיא סוג משוכלל של תוכנת אליזה (?) ישנה, זו שהזכרת, תוכנה לשיחת נפש.

הג'ינג'י מרוצה מאוד מהתוצאות ומזכיר עוד כיווני פיתוח שמתקדמים יפה (לדעתו).

רפליקה הזו פותחה כבר מספר שנים, היום הג'נג'י הוא אחד הנסיינים של gpt3 וטוען ששילוב gpt3 בתוך רפליקה שיפר בצורה דרמטית את איכות רפליקה. יש אנשים שנהנים לנהל שיחות רבות וממושכות עם רפליקה.

את הלינק הזה אביא בהודעת follow up. מדובר בלינק לדיון יוטיוב ארוך, 35 דקות בערך.
ועכשיו - חיבור 727621
לינק לדיון ארוך ביוטיוב על תוכנת רפליקה

ועכשיו - חיבור 727604
ספק גדול אם תוכנה כמו gpt3 מכילה מרכיבים של תחושות, רגשות ומודעות עצמית.

המוח אצל בעלי חיים מפותחים מורכב משני חלקים: מוח ישן ומוח חדש (המוח הישן ניקרא גם מערכת לימבית, המוח החדש ניקרא גם קליפת המוח).

המוח החדש מנתח מציאות בכלים רציונלים, אינו עוסק כלל ברגשות או כמעט לא. המערכת הלימבית היא שעוסקת ברגשות, תחושות, דחף לפעולות וכדומה (היא מתקשרת לקליפת המוח כדי לנתח באופן רציונלי את הסיטואציה, יתכן שהתיקשורת בין המוח הישן והחדש נעשה באמצעות ההיפוקאמפוס).

לפי מה שהבנתי gpt מתעסק רק בניתוח רציונלי, ללא רגשות ודחפים נפשיים. הוא מעין חיקוי לקליפת המוח. כרגע הדחפים מסופקים לו מבחוץ, באמצעות השאילתות שמפנים אליו בני האדם, הם היוזמים בשאילתות.

יתכן שביום מן הימים יכניסו ל- AI גם מרכיבי רגשות, כדי להפוך את ה- AI לא תלוי באדם לצורך דחפים שיפעילו את ה- AI. בינתיים כנראה אנו פטורים מהסיכון של רגשות עצמאיים אצל AI.
ועכשיו - חיבור 727442
אתה מפליג בספקולציות.

אתייחס כאן לשאלת גודל בסיס הנתונים המובלע בתוכנת gpt3, שגודלו 175 מיליארד פרמטר. שאלת הגודל ניבדקה בתוכנת "לילה שחמט 0" LC0 (לילה דנן פותחה בהשראת אלפא אפס).

מסתבר שככל שמגדילים את גודל בסיס הנתונים המובלע בתוכנה — פעולת התוכנה נעשית איטית יותר (איטיות יורדת בצורה משמעותית). לכן יתכן שיהיה חסם בשיפור ביצועי התוכנה ככל שיגדילו את בסיס הנתונים. כאשר אני אומר בסיס הנתונים הכוונה לאוסף "הפרמטרים".

לדעתי, במקום לחפש שיפור דרמטי נוסח מבחן טיורינג כדאי לפתח משהו פחות אינטליגנטי אבל שתהיה לו תועלת מוחשית. כפי שכבר אמרתי במקום אחר, תרגום גוגל זה משהו עילג, אם תוכנה דומה ל- gpt3 תוכל לייצר תרגום קריא ומדוייק למדי זה שווה.

ועוד. יש המון ספרים מעניינים באנגלית שמי שאינו בקי באנגלית לא מסוגל לקרוא, בגלל שפה גבוהה מדי. אם יצליחו לפתח תוכנה דומה ל- gpt שמאפשרת מעבר משפה אנגלית גבוהה לשפה אנגלית נמוכה בלי להפסיד דיוק (תוך מנגנון עזר של השגת דיוק בדרכים חלופיות מלבד התרגום) — זה יהיה הישג ענק. שני הדברים שציינתי ניראים לי בהישג יד (למעשה הדגמות של gpt3 , מראות שאפשר בלי פיתוחים דרמטיים לפשט טקסטים באנגלית משפה גבוהה לשפה נמוכה).
ועכשיו - חיבור 727494
תמיד רציתי להיות רב חובל, ואנט לא מוצא את אוקיינוס הספקולציות סוער מדי.

ברור שהגדלת מספר הפרמטרים מחייבת יותר משאבי מיחשוב, אבל זה בעייתי בעיקר בשלב האימון ולמרות שחוק מור כבר לא ישים, לפחות לא בצורתו המקורית, יש עדיין דרך ארוכה שאפשר ללכת בה עד שניתקל בחסם פיזיקלי אמיתי (ואולי אז יבוא המחשב הקוואנטי לעזרתנו).
ועכשיו - חיבור 743886
הייתכן שפקטור 10 כבר כאן, לפחות בסינית? אני משער שחיבור של dau עם GPT עשוי להניב בעתיד הקרוב תרגומים טובים מאנגלית לסינית ולהיפך, ובכך להעביר את בעיית התרגום לערימת הבעיות שנפתרו בניגוד לניבויי הפסימיסטים (הוספת עוד שפות תהיה כבר עניין שגרתי למדי). תוסיפו לזה ממשק קולי וקצת מזעור, ואולי נזכה לראות - ולשמוע! - את דג בבל ,שוחה בשלולית שלנו!

מי יגול עפר מעיניך, דאגלאס היקר.
ועכשיו - חיבור 727437
שוב אני לא בטוח שהבנתי מה אתה שואל, או מקשה.

כאשר אני מדבר על משמעות ''מקורית'' אני מתכוון שהתוכנה תאמר משהו שאינו סוג של ''ממוצע של כל התובנות המקובלות''. אולי במקום המילה ''מקורי'', הייתי צריך לאמר ''עצמאי'' כלומר לא משהו שמבוסס על סיכום של דעות מקובלות, אלא משהו שנובע מהלוגיקה של התוכנה בלי קשר לדעות מקובלות.

אולי במקום ''מקורי'' היה עדיף לאמר ''חיווי שאינו שבלוני''. לא חושב שאני יכול לנסח ביותר בהירות. את כוונתי לגבי '' מקורי''. אם זה מסקרן אותך, יש כמה וכמה מאמרים שבהם מתארים מה זה ''לא מקורי'' בהרבה יותר פירוט ממה שאני יכול כאן.

בכל אופן, הדוגמא של ''מה זה כלב'' והתשובה ''ידידו הטוב ביותר של האדם'' מדגימה את חוסר המקוריות, שהרי התשובה זו מוסכמה ללא מחלוקת (שהכלב הוא ידידו הטוב של האדם). אבל --- אם תצפה כמעט בכל קליפ ביוטיוב על כלבים תראה שיש אמירות רבות על כלבים שמתארות את הכלבים הרבה יותר בפירוט מאשר השבלונה ''ידידו הטוב ביותר של האדם''. למשל, יראו לך כלב שמתאבל על מות אדונו, או יראו התנהגות של כלב שנינטש, או כלב שנילחם בחירוף נפש כדי להגן על תינוק. לא יאמרו משהו מינימליסטי שהוא מוסכמה שבלונית.
ועכשיו - חיבור 727439
"דעות מקובלות" זה סוג של קלט. הציפייה שלך למשהו ש"נובע מהלוגיקה של התוכנה בלי קשר" לקלט שלה (שכולל את זיליוני המקרים ששימשו כדי לאמן אותה) היא בלתי אפשרית. אלא אם אתה רוצה פלט אקראי לגמרי - שיתאים יותר לתואר "זבל" מאשר לתואר "מקורי". בשביל פלט אקראי אני צריך 10 תאי זכרון, לא 170 מיליארד.
אופס - זה קצת מזכיר את הטיעון של שכ"ג במאמרו המפורסם על רצון חופשי (ולא במקרה 2).

וחוץ מזה - מי בכלל טען שהתשובה ל"מה זה כלב" אמורה להיות מקורית? כשאתה הולך לרעיון עבודה ואני שואל אותך "מה זו טרנספורמציה לינארית", האם נדרשת כאן תשובה מקורית? אולי התוכנה כבר יודעת שהתשובה הזו תעורר מהקהל יותר אנחות "אוי, כמה מתוק" מאשר "זהו יונק הולך על ארבע שהוא אחת משתי חיות הבית הנפוצות יותר - ולא האנטיפתית שביניהן".
ועכשיו - חיבור 727440
כן, ראיון משונה, הרעיון עבודה הלז.
ועכשיו - חיבור 727445
הציפיה שלי לגבי השאלה מה זה כלב היא שהתוכנה תיתן משהו כמו קליפ שמדגים כיצד הכלב הוא ידידו הטוב ביותר של האדם. אם היכולת הוא רק חסכם במספר מילים מהו כלב, זו לפי דעתי תגובה סתמית לא אינטליגנטית. כאשר אני מדבר על ''לוגיקה'' של התוכנה, אני מתכוון שהיא תהיה מסוגלת לייצר קליפ הדגמה כזה וכן תבחר קליפ מוצלח מבין הקליפים האפשריים (בחירת קליפ מושכלת כזו דורשת יותר אינטליגנציה ממה שיש לה כרגע). ברגע שהתוכנה יכולה להיכנס לרזולוציות של תשובות מהסוג האמור, היא מתקרבת ליכולות ''האידאליות'' של מבחן טיורינג, לפחות בקטע של שירות מידע-על-פי-ביקוש.
ועכשיו - חיבור 727453
מוזר, מסתבר שאת מבחן הטורינג-ab שלך לא אני ולא אתה היינו עוברים.
זה מה שאתה עונה כששואלים אותך מה זה כלב? עושה מצגת יצירתית?
ועכשיו - חיבור 727446
נראה לי שתוכנה פשוטה מ GPT תוכל לענות על השאלה "מהי טרנספורמציה לינארית" ועל שאלות רבות נוספות בראיון עבודה ורובוטים יכולים (נעזוב לרגע אם זה כלכלי) להחליף בני אדם ביותר מ 90% מהמשרות במשק.

אבל כשאתה ענית את התשובה היצירתית שלך לשאלה מהו כלב הוספת תבלין שאני לא יודע איך מוסיפים אותו לתוכנה.
ועכשיו - חיבור 727455
או, סוף סוף גילינו את מותר האדם מהמחשב: שנאת חתולים!

אבל אתם יורים פה לכל הכיוונים, על זה דיברנו? על שוק העבודה? מה לזה ול"מקוריות"? כל פקיד בנק צריך להיות ביאליק?
ועכשיו - חיבור 727465
אישיות, מן הסתם. ולכן מרווין היה כנראה עובר מבחן טיורינג בקלילות אילו לא היה מתייאש ומכבה את עצמו באמצע.

לא כל פקיד בנק צריך להיות ביאליק. אדרבא- ההערה נועדה להדגיש שמקוריות נעדרת ממרבית הפעילות האנושית.
ועכשיו - חיבור 727475
תשובה יצירתית? האם המשפט „הכלב הוא חברו הטוב ביותר של האדם„ לא נפוץ יותר ממשפט כגון ״הכלב הוא חיית בית נפוצה״?
ועכשיו - חיבור 727489
הפונז הוסיף את התבלין שלו בסוף המשפט.
ועכשיו - חיבור 727493
אני לא רואה שום בעיה בהנחה ש GPT באחת הגירסאות הבאות שלה תעשה דברים כאלה בקלות. אותו תבלין פונזאי אינו אלא ביטוי של קשר חלש יחסית בינו לבין התשובה המיידית, וגם שחקניות השחמט בוחרות מדי פעם לא את הצעד האופטימלי אלא מנסות משהו אחר כדי לא להיות שבלוניות מדי.
שועל האגף 727322
כל המטרה של תוכנה כזו זה ליצור משפטים ראויים תחבירית, אחרת מה החוכמה?
אני מניח שלא היה גימור ידני.

חזרה לעמוד הראשי המאמר המלא

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים