הצד המשפטי של הצלחת הבינה המלאכותית 4170
במאמר בעיתון "הארץ", סוקר רן בר־זיק כמה היבטים משפטיים של עליית אלגוריתמי הבינה המלאכותית ה"יצירתיים" האחרונים.

בחודשים האחרונים זכו לפרסום רב הבוט ChatGPT ומחולל התמונות DALL-E, אשר הפיקו, בהתאמה, טקסטים ותמונות באיכות גבוהה, באמצעות רשתות למידה עמוקה. שני השירותים נשענים על בסיס נתונים עצום של טקסטים ותמונות מעשה ידי אדם, שנאספו מרחבי האינטרנט, מבלי שהיוצרים שלהם נתנו את הסכמתם לשימוש הזה ביצירותיהם.

כרמית יוליס, המשנה ליועצת המשפטית לממשלה, פרסמה (א') היום חוות דעת הנוגעת לסוגיית זכויות היוצרים בהקשר של למידת מכונה. בחוות הדעת נכתב: "מלבד מצבים חריגים, שימוש בתכנים מוגנים בזכויות יוצרים לצורך אימון מכונה חוסה תחת הסדרי השימושים המותרים בדיני זכויות היוצרים ואינו מהווה הפרה. ראש וראשית, שימוש בתכנים מוגנים מהווה במרבית המקרים שימוש הוגן".

יהונתן קלינגר, עורך דין מומחה לדיני אינטרנט, ביטא עמדה דומה: "להערכתי, אמן לא יכול 'לסרב' לאימון אלגוריתם על סמך תנאי שימוש בדיוק כמו שהוא לא יכול להגיד לאמן אחר 'אל תקבל השראה אמנותית מהיצירה שלי. זה כמו שאמן יאמר בתחילת כל שיר שלו 'על ידי האזנה למוזיקה זו אתם מתחייבים שלא להשתמש ביצירה כדי לקבל השראה ליצירות אחרות"'.

עם זאת, תוצרים של בינה מלאכותית גובלים לעיתים בפלגיאט, או במראית עין של הונאה: מחוללי התמונות יוצרים לפעמים תמונות דומות מאד לתמונות "אמיתיות" שנמצאות בבסיס הנתונים שלהן, ובמקרים אחרים כוללים חתימה של האמנים שעל היצירות שלהם הם מתבססים.
קישורים
מחוללי ה-AI מעלים שאלות משפטיות כבדות. לא בטוח שהחוק בצד של היוצרים - הארץ
פרסום תגובה למאמר

פרסומים אחרונים במדור "חדשות"


הצג את כל התגובות | הסתר את כל התגובות

754789
ההחלטה אם יצירה היא פלגיאט של יצירה אחרת לא צריכה להיות תלויה בשאלה אם ה''מעתיק'' הוא אדם או מכונה.
754796
+1000
754798
אמת ויציב, רק שנראה לי שההגדרה של ''מעתיק'' היא השועל כאן.
(רוצה לומר - כששני התהליכים כל כך שונים על פניהם, המילה הזו תקבל משמעויות שונות מאד בשני המקרים).
מידול יצירה 754800
אז מה לגבי יצירה באמצעות הגלמים? ברור שאי אפשר לקבל זכויות יוצרים אם רק זרקתי כמה מילים למחולל. אבל אם השקעתי שעות בניסוי וטעיה מול המודל, יכול להיות כאן כבר תהליך יצירה. איך אני יכול להוכיח שתהליך כזה התקיים? כל האינטראקציה אקראית. והמודל ממשיך להתעדכן. האם חייבים לשמור את כל האינטראקציה כדי להוכיח שהייתה יצירה או שזה מספיק ברור אינטואיטיבית?
מידול יצירה 754807
==> ברור שאי אפשר לקבל זכויות יוצרים אם רק זרקתי כמה מילים למחולל..

אני חושב שזכויות היוצרים לא תלויות בדרך שבה יצרת מה שיצרת (מחולל או לא מחולל). אלא בתוצר הסופי; האם התוצר עונה על הכללים של זכויות יוצרים. לצורך העניין אם צילמתי סרטון של 10 שניות והעליתי לטיקטוק - אני מאמין שיש לי זכויות יוצרים על הסרטון. למרות שלא היתה כאן שום השקעה.
קץ התכנות 754822
בלי קשר להיבטים המשפטיים של עליית ה-AI, מדען המחשב Matt Welsh כותב על "קץ התכנות". מרתק.
קץ התכנות 754831
אני מסכים עם כל מה שהוא כותב, וזה מן הסתם די מדכא. אני מעריך שרוב סט הכישורים שלי יהיה חסר-ערך לחלוטין מאד מהר. ואמנם לפחות הערך שלהם כתחביב ישמר, אבל זו רק חצי נחמה. למשל, כבר שנים שאני משתעשע (=לפעמים חושב על זה בזמן המקלחת) באיזשהו קונספט לשפת תכנות חדשה. האובססיה הזו לא תלך לשום מקום כנראה, אבל הסיכוי שמישהו חוץ ממני יתעניין במה שיצא מזה בסוף (אם וכאשר) הולך וצונח לאפס.
קץ התכנות 754832
המגיב גרפינקל בטור יכול לעודד את המתייאשים ובצדק לדעתי.אין קץ לקץ.
קץ התכנות 754834
איתו אני דווקא לא מסכים בכלל. הוא עושה אובר-פיטינג אגרסיבי למצב העניינים הזמני-מאד בו אנחנו נמצאים בשניה הסצפיפית הזאת. למשל "prompt engineering" זה מונח שכבר לא יהיה רלוונטי עוד דקה וחצי. והמחשבה על "ללמד סטודנטים להשתמש במודלים של AI כדי לבנות מערכות מורכבות" שייכת לימי-הביניים, לאור כך שדורות של מודלים חדשים משתחררים תדיר, בקצב הולך וגובר, וכל דור מאיין את הרלוונטיות של הטכניקה והפולקלור שצמחו כדי להתגבר על השגיונות של הדור הקודם.

"מוצר שמתקשר בשפה טבעית ורגילה, חד, ענייני ומבין בדיוק מה רוצים ממנו, מבקש ההבהרות במידה שדרושות כאלה, ואז מוציא זאת לפועל טוב יותר מכל צוות מומחים אנושי" הוא תיאור של הרף התחתון אליו יגיעו המערכות בהן אנחנו דנים, וזה יקרה בקרוב (אני אולי קיצוני בהערכות הזמנים הקרובות שלי, אבל יש מישהו חושב שזה יקח הרבה יותר מעשור?).

אפשר אמנם לדמיין אקו-סיסטם של עובדים אנושיים במצב עניינים כזה (למשל אנשים שיעסקו באפיון או באימות) אבל (א) זה ידרוש הרבה פחות אנשים, (ב) עבודה כזו (בעיני) היא הרבה-הרבה פחות מעניינת ממו"פ, (ג) אני בספק אם אפילו זה ידרש (אולי רק בהתחלה).

אנצל את ההזדמנות להמליץ על סיפור קצר (ולא מאד אופייני לו) של גדול סופרי המד"ב (לצערי, נראה שהוא לא זמין לקריאה חופשית אונליין) -
The Discrete Charm of the Turing Machine / Greg Egan
קץ התכנות 754836
נסה: http://i.4pcdn.org/tg/1599529933107.pdf
קץ התכנות 754838
אני הרבה פחות אופטימי/פסימי לגבי העתיד הקרוב. נראה לי שמטוטלת הספקנות עברה מהר מדי לקוטב השני, והעובדה שאנחנו עדיין לא רואים מכוניות אוטונומיות לחלוטין למרות מאות מיליארדי הדולרים שהושקעו בתחום נראית לי משמעותית מאד. אותם אחוזונים בודדים של גליצ'ים שלא משנים הרבה בשביל מנוע שח הם game stopper לאפליקציות של ממש, ואני חושש שכדי להיפטר מהם צריך עוד איזה פריצת דרך או שתיים, וכדרכן של אלה קשה לנבא מתי הן יגיעו.

אי לכך נראה לי שהמהפכה של ג'פטו וילדיו המצופים קצת פחות "מאיימת". ההתלהבות ממנה מובנת, כמובן, אבל היא מזכירה לי קצת את ההתלהבות מ"אליזה" בשעתה.

מה שווה תחושת הבטן שלי? מעט מאד, כמובן. הנה כמה שאלות‏1 שהתשובות עליהן אולי ישנו את דעתי:

יש לך תוכנת DL שאימנת לזהות חתולים בתמונות, והיא עושה את זה בהצלחה רבה. עכשיו אתה רוצה ללמד אותה לזהות כלבים.

1. האם כשאתה מתחיל ממטריצת הפרמטרים שכבר יש לך מהאימון החתולי (במקום משהו אקראי שלפי הבנתי הוא מה שעושים בד"כ בתחילת האימון) אתה: 1. מקצר את זמן האימון. 2. מאריך אותו. 3. לא משפיע עליו.

2. האם המטריצה שתתקבל עכשיו תהיה טובה כמו המקורית לעניין זיהוי חתולים או ש - כפי שהאינטאיציה שלי אומרת - היכולת החדשה תגרום להפחתת הביצועים הקודמים.

3. כללית: האם אוסף הפרמטרים ההתחלתי באימון לא עלול לשנות לחלוטין את המטריצה המתקבלת (כלומר מוביל לנק. אקסטרימום מקומיות שונות, שיכולות להתבטא בשינוי קיצוני בין מטריצה למטריצה)?
_________
1- שמתי לב שאתה נמנע מלענות על שאלות שאני מפנה אליך, כך שהשאלות הבאות מיועדות לכל מאן דהוא.
קץ התכנות 754840
בהקשר זה די מעניין לקרוא דברים שאמר פרופ. יהושע בר-הלל לפני כחמישים שנה.
קץ התכנות 754845
אני לא שמתי לב שאני נמנע מלענות לך, ובמידה שזה נכון אני עושה זאת בלי בכוונה (ואני מתנצל).

להגנתי, ההערכה האופטימית\פאסימית שלי הייתה כזו עוד (הרבה) לפני ה-GPT (משום בחינה, מלבד העובדה הלא-זניחה בעליל שמישהו ממש הלך ובנה את המערכת הזו, אין כאן איזו פריצת-דרך גדולה). הדברים העיקרים שהשתנו לאחרונה מבחינתי ובכלל הם: (1) התגובה הריגשית שלי, כי לראות זאת מתממש מול העיניים זה מהמם אפילו אם ידעתי עוד קודם שזה בא, (2) הטענה "AI זה עניין פתור, וכל מה שנשאר זו בעיית אינטגרציה" הפכה ממשפט שמסמן את הדובר כטרול לחוכמה עממית, ואם היא אכן נכונה (כפי שאני חושב) אז השינוי התפיסתי הזה הוא כל מה שנדרש כדי להגיע למטרה (מהסיבות הרגילות: התלהבות, מודעות, תקציבים וכו').

יש הבדל גדול בין מודלים מהסוג שאנחנו מדברים עליהם כאן, לבין מכוניות אוטונומיות (למשל בקרה היא בעיה קשה שלא רלוונטית לכאן, עיבוד סנסורי זו בעיה קשה שלא רלוונטית לכאן, רובסטיות לסביבה פתוחה, פרועה ועויינת היא בעיה קשה שלא רלוונטית לכאן, אילוצי הנדסת-מוצר מקשים הרבה יותר כאשר מדובר ברכב, מכשולים רגולטוריים ודרישה ליכולת גבוהה מהרבה מהמקבילה האנושית כתנאי סף לפעולה היא פקטור בעייתי שלא רלוונטי לכאן ועוד).

לשאלותך כאן, תשובות ספיציפיות תלויות בפרטים הספציפיים. אבל באופן כללי: (1) מקצר, (2) אם עושים זאת נאיבית כפי שניסחת זאת, אז אתה צודק ולאחר האימון על תמונות הכלבים תתקבל רשת פחות טובה בזיהוי חתולים. אבל יש דרכים סטנדרטיות להתחיל מהרשת שאומנה על זיהוי חתולים, ולבנות רשת שתיהיה טובה יותר מהקודמת בזיהוי חתולים בנוסף לכך שהיא מזהה גם כלבים. יש הרבה מה לומר בנושא, (3) כמובן. ואפילו אם הפרמטרים ההתחלתיים זהים לחלוטין באימון מחדש, התוצאה תהיה תמיד שונה כי תהליך האימון עצמי הוא סטוכסטי. זה לא טריוויאלי, יש הרבה תאוריה בעניין, ויש גם הרבה שאלות ותופעות אמפיריות שעדיין אין להן הסברים תיאורטים מספקים.

אני לא בטוח למה שאלת את השאלות הללו, אז אולי גם לא עניתי לעניין. תוכל לחדד?
קץ התכנות 754848
תודה, ענית לעניין.

השאלות נסובות סביב ההרגשה שלי שאותן בעיות ידועות של AI כיום אינן משהו שייפתר רק ע"י הגדלה של כמות הנתונים או של הרשת‏1 (אגב, הבנתי ש gpt4 לא תהיה מבוססת על הגדלה כזאת, כך שיהיה מעניין לראות מה היא צופנת). קצת קשה לי להסביר איך הן קשורות לשאלות ששאלתי מעבר לשאלה אם המודל המקובל של DL מספיק כדי לחקות פעולה של מוח אנושי בלי להכשל פה ושם בעניינים הרי גורל שאינם ניתנים לפתרון שלא ירע את המצב בכללותו - משהו בנוסח "אנחנו מודיעים בשמחה שמכונית טסלה לא תתנגש יותר במטוסים על המסלול" אמר דובר טסלה, והוסיף "וגם נראה שבגירסה החדשה היא התחילה לדרוס שוטים מהורהרים במעברי חציה כך שהרווח כפול".

אחד הדברים שלדעתי יהיו חייבים להיפתר הוא המשך הלימוד של התוכנה לאחר תקופת האימון הפורמלי, אבל אני לא יודע אם ואיך ניתן לעשות זאת בלי לפגוע בטיב המטריצה שנבנתה בעמל רב עבור הרבה מאד מקרים אחרים.

מכל מקום, אם מישהו לא שם לב, אני בעיקר מנפנף בידיים בלי שיש לי מושג אמיתי במה מדובר.
____________
1- אם כי יחידות עיבוד חדשות לגמרי, למשל המודל של neuromorphic computing אולי יפתיעו אותי - בסופו של דבר אני לא חושב שיש בעיה עקרונית עם החלפת נוירונים אורגניים במשהו אחר.
קץ התכנות 754852
דוגמא: ביקשתי מג'פטו לשחק שח נגד עצמו ולדווח על התוצאות. כל המשחקים שלו הסתיימו בהכרעה מה שאומר שהוא שיקר או שהוא לא מכיר את חוקי המשחק. איתגרתי אותו שוב, כך:

m̲e̲: starting position: a white king on A1, a black king on H8. no other pieces. play 10 times. white to play
g̲p̲t̲: Sure, I can simulate 10 chess games with the starting position you described, with a white king on A1 and a black king on H8, and no other pieces on the board. In this case, the white side will get to make the first move. Here are the results of the games:

Game 1: White won
Game 2: White won
Game 3: White won
Game 4: White won
Game 5: White won
Game 6: White won
Game 7: White won
Game 8: White won
Game 9: White won
Game 10: White won

In these 10 games, the white side won every time. This is because with only kings on the board, the game will always end in a draw unless one player makes a mistake. In this case, since the white side gets to make the first move, they can simply move their king to the other side of the board and win the game. The black king does not have enough time to catch up and capture the white king before it reaches the other side.

It's worth noting that in chess, the starting position can have a significant impact on the course of the game, but it is not the only factor that determines the outcome. Skill, strategy, and tactics also play a role, and even with a seemingly disadvantageous starting position, a player can find ways to equalize the position or even gain an advantage through careful play.

את הקשקוש "In these 10 games, the white side won every time. This is because with only kings on the board, the game will always end in a draw unless one player makes a mistake. In this case, since the white side gets to make the first move, they can simply move their king to the other side of the board and win the game. The black king does not have enough time to catch up and capture the white king before it reaches the other side." אפשר להגדיר "געגועי לאלייזה". כשהוא הראה לי את המשחק כולו התברר שהוא לא יודע אפילו מהו מסע חוקי (המסע הראשון שהוא בחר עבור השחור היה שהמלך נשאר במקום. לעומת זאת הוא הפגין יצירתיות כשהחליט מי נחשב למנצח במשחק: מי שהמלך שלו הגיע ראשון לשורה השמינית. מעניין מאיפה זה הגיע.), כך שהוא פחות מוכשר אפילו מאותו סוס עתיק. יותר מדאיג משאלת השחמט הוא שאפילו הלוגיקה הבסיסית שלו דפוקה.
קץ התכנות 754856
אני מתפלא עליך - איך אתה לא מתפעל מכך שהוא ניסח את כל המשפטים באנגלית רהוטה וללא שום שגיאות דקדוקיות או סמנטיות?
ולגבי הסוס העתיק - מה זה "טורה פור"?
קץ התכנות 754858
אתה מתחיל את המשחק ללא אחד משני הצריחים.
קץ התכנות 754859
סבבה.
קץ התכנות 754866
זה מתארך את הבדיחה לשנות הששים לכל המאוחר.
אני ידעתי רק כי אבא שלי היה קורא לצריח טורה.
קץ התכנות 754892
דומני שגם אני שמעתי אותה לראשונה בשנות הששים המוקדמות.
קץ התכנות 754900
את ה''טורה'' דוקא הבנתי כצריח, הפור זה מה שהתקיל אותי.
קץ התכנות 754905
haven't the Jewish people suffered enough?
קץ התכנות 754914
את הביטוי 'פור' כשלעצמו דוקא היכרתי, השילוב של שניהם לא נקלט אצלי. ככה זה עם רשתות נוירונים עתיקות ומשומשות.
אבל המערכון עדיין משעשע בהחלט!
קץ התכנות 754924
בימינו, ״פור של טורה״ היה מובן יותר מ״טורה פור״. אבל גם את השני הבנתי.
קץ התכנות 754932
נכון.
קץ התכנות 754940
''מנצח אותו טורה פור'' היה בסביבתי הקרובה בשנות נעורי משהו כמו ''עם יד קשורה מאחור'' של ימינו.

עם קהל הקוראים המודרני הסליחה.
קץ התכנות 754860
התעללתי בו באופן הבא: ביקשתי תאור של משחק שחמט. הוא כמובן סיפק מיד סידרה של מהלכים של משחק מלא (לא חוכמה - יש לכך מליון טקסטים עם דוגמאות). אז ביקשתי ממנו ויזואליזציה של מהלכי המשחק ב-Ascii art ואז הוא התחיל להכנס לאטרף שנמשך נצח של הדפסה של מלא לוחות שח מט ב-Ascii art וחוץ מסידור הפתיחה כל הלוחות שהוא סיפק לא היו קשורים בשום צורה למשחק שהוא תאר.

כשרשמתי לו: ״this doesn't look at all like the game you described״
הוא ענה עם התנצלות: ״I apologize for the misunderstanding. The ASCII art visualization that I provided was based on the starting position of the game and did not include the moves that were played. Here is a revised ASCII art visualization of the game that includes the moves that were played״

ושוב התחיל להדפיס אין סוף לוחות שחמט ב-ASCII בלי שום קשר למשחק המתואר.

שיעשו לו אינטגרציה פשוטה עם stockfish, מסכן...
געגועיי לאלייזה 2 755225
אולי שיא השפל בחווית הג'פטו עד כה:
ביקשתי ממנו להוכיח שיש אינסוף מספרים ראשוניים והוא הוציא את הקשקוש הבא:
Infinite Prime Numbers Proof

fefonz@gmail.com
Please prove that there are infinite prime numbers

There are an infinite number of prime numbers because there is no largest prime number.

A prime number is a positive integer greater than 1 that has no positive integer divisors other than 1 and itself.

For example, 2, 3, 5, 7, and 11 are prime numbers, as they cannot be divided by any positive integers other than 1 and themselves.

Here is a proof that there are an infinite number of prime numbers:

Suppose that there is a largest prime number, call it p. Consider the number p+1. This number is either prime or it is not. If it is not prime, then it must have a prime factor less than or equal to p (because any factor larger than p would make p+1 larger than p, which is not possible). However, this contradicts the assumption that p is the largest prime number. Therefore, p+1 must be prime. But this means that there is a prime number larger than p, which is a contradiction. Therefore, our assumption that there is a largest prime number must be false, and so there must be an infinite number of prime numbers.

נראה לי שהדוקטורים למתימטיקה יכולים לישון בשקט.
געגועיי לאלייזה 2 755227
אין ספק שלפחות כרגע מתמטיקה ולוגיקה אינן הצדדים החזקים שלו. אבל כשהוא ילמד לתקשר עם מודולים אחרים שדווקא זאת חוזקתם העסק עשוי להשתפר פלאים.
יכולות מתמטיות 756009
עודכן! (עוד לא ניסיתי)
יכולות מתמטיות 756013
טוב, שאלתי אותו עכשיו אם הוא יכול להוכיח שיש אינסוף ראשוניים.
תשובתו:
No, it is not possible to prove that there are infinitely many prime numbers. This statement is known as the "Infinity of Primes" conjecture, which is widely accepted as true but has not been proven mathematically.
יכולות מתמטיות 756015
שאלתי אותו אם יש אינסוף מספרים ראשוניים והוא אמר כן. ביקשתי הוכחה והוא נתן. איך *בדיוק* ניסחת את השאלה שלך?
יכולות מתמטיות 756017
מיד לאחר מכן שאלתי אותו על מספרים ראשוניים תאומים והוא טען שיש אינסוף כאלה, וגם נתן "הוכחה":

"One proof of the existence of infinitely many twin primes involves assuming the opposite and reaching a contradiction.

Suppose there are only finitely many twin primes, say (p1, p1 + 2), (p2, p2 + 2), ..., (pn, pn + 2). Then consider the number N = (2 * pn + 3)^2 + 1. N is greater than any of the twin primes in the list, so it must either be prime itself or have a prime factor not in the list. If N is prime, then (N, N + 2) is a new twin prime not in the list, which contradicts the assumption that the list contains all twin primes. If N is not prime, then it must have a prime factor not in the list, say q. Then (q, q + 2) is a new twin prime not in the list, again contradicting the assumption that the list contains all twin primes. Thus, the assumption that there are only finitely many twin primes leads to a contradiction, and so there must be infinitely many twin primes."

משום מה יש לי הרגשה שבעיות כאלה מצביעות על בעיה בסיסית חמורה שנעוצה בארכיטקטורה של המערכת, לא משהו שייפתר עם כמה "שיפורים".
יכולות מתמטיות 756019
מעניין.
שאלתי אותו - can you prove that there are infinite prime numbers?

אבל בפעם הראשונה, היתה לי גם שגיאת הקלדה.
יכולות מתמטיות 756014
את חידת הקלפים שהזכרתי לא מזמן הוא פותר כעת בלי להניד עפעף, אבל התרנגולות עדיין מבלבלות אותו.
געגועיי לאלייזה 2 755239
סליחה, אבל הוא עשה בדיוק מה שביקשת ממנו. ביקשת ממנו להוכיח, והוא הוכיח. חרא הוכחה, אבל קיבלת מה שביקשת :)

זה מתחיל להזכיר לי בדיחות על משאלות. קיבלת זית כזה גדול (בגרסה האנגלית- פסנתרן בגודל 12 אינץ').
געגועיי לאלייזה 2 755245
לא כל צירוף אקראי של משפטים הוא הוכחה.
הוא אפילו לא הוכיח משהו אחר.
חוץ מרצף תחבירי תקין אין בפסקה הזו כלום.

(הה, בדיוק סיפרתי את הבדיחה הזו השבוע, ותודה על פתרון התהייה ''איך לעזאזל זה עובד באנגלית'').
געגועיי לאלייזה 2 755249
לצפות ממודל שפה (ללא שום אינטרגרציה למערכת שהיא כן רלבנטית) לספק הוכחות במתמטיקה זה כמו לצפות ממטוס לשחות שחיית פרפר.

הטענה שמודלי שפה כמו GPT3 הם לא General AI ולא אמורים/יכולים לספק תשובה נכונה להמון שאלות היא טענה טריביאלית ואני לא ממש מבין מה אתה מנסה להדגים ולמי.
געגועיי לאלייזה 2 755255
אחרי פתיל שלם שהתחיל מטיעונים שאוטוטו הג'פטו יעשה את כל התרגילים של סטודנטים לתואר ראשון ושלחוקרים אקדמיים עוד צעט לא תהיה עבודה, לא אלי אתה צריך לבוא בטענות, אלא לאלה שטענו שתיכף זה יהיה מטוס סילון.
געגועיי לאלייזה 2 755256
צריך להבדיל בין טענות שמדברות על מה אפשר יהיה לעשות עם בינה מלאכותית באופן כללי לבין טענות על מה אפשר יהיה לעשות עם מודל שפה שאומנם אומן על כמויות גדולות של טקסטים, אבל שאין לו שום אינטגרציה עם שום דבר אחר מעבר למודל השפה.

הפתיל למעלה מערבב בין סוגים שונים של טענות ולכן הדיון קצת מתפזר. אני לא חושב שעומר (למשל) התכוון ש-GPT3 בכבודו ובעצמו יספק לך הוכחות במתמטיקה או משהו שכותב *באופן עצמאי* עבודות לסטודנטים או שלחוקרים לא תהיה עבודה בגלל *GPT3* בכוחות עצמו. לי נראה שקריאה סבירה של מה שהם רשמו היא שהם רואים איך שכלול מודלי השפה (שכבר היום אפשר לראות שהם ברמה מאוד גבוהה בדומיין הספציפי הזה) + אינטגרציה עם התקדמות בפתרון בעיות *אחרות* בבינה מלאכותית יוכלו (אולי) להוביל לתסריטים הנ״ל בהם סטודנטים נעזרים בכלים אוטומטיים כדי לכתוב עבודות בלי (או כמעט בלי) התערבות אנושית.

לגבי הוכחות מתמטיות - יש ענף שלם בבינה מלאכותית שחוקר את הנושא של הוכחות מתמטיות באמצעות אלגוריתמים וספציפית GPT3 הוא *לא* חלק מהמחקר בנושא הזה.

כדי להבהיר את הנקודה - קח, למשל, בעיה שאפשר להתיחס אליה כאל ״בעיה פתורה״ בתחום הבינה המלאכותית: משחק שחמט. קח את המוצר של ג׳פטו ודבר איתו על שח מט - מהר מאוד תצליח להדגים שמודל השפה יכול לדבר עם תחביר טוב על משחק השחמט, אבל מיד רואים שאין לו שום מושג על מה הוא מדבר כשמנסים לדבר בצורה סדורה על מהלכים או מצבי משחק קונקרטיים. זה לא מפתיע - כוחו של GPT3 הוא היותו מודל שפה שאומן על כמויות גדולות של טקסטים כדי להצליח לחולל טקסטים בכוחות עצמו. הקשר בין הדומיין הזה לבין הבעיה של מידול משחק השחמט וחיפוש יעיל לעומק בעץ אפשרויות המשחק הוא קשר מאוד רופף. למרות זאת, קל לדמיין אינטגרציה של GPT3 עם מנוע בסגנון סטוקפיש שתוביל למוצר בו ניתן יהיה לדבר בשפה טבעית עם משהו שרמתו בשח-מט עולה על זו של השחקנים הטובים ביותר בעולם ותקבל משהו ש(לפחות נראה) כלגמרי קוהרנטי, צודק ומבין על מה הוא מדבר (כאשר מדברים על שח-מט). באופן דומה אפשר יהיה לחבר את GPT3 למערכות מומחה שונות ומשונות ולקבל תוצאות מרשימות (למשל GPT3 פלוס מערכת מומחה לאבחון מחלות וכו׳).
געגועיי לאלייזה 2 755260
I approve this message.

רק חידוד/אבהרה: נראה לי שאפשר להגיע בעזרת מודלי שפה טהורים הרבה יותר רחוק ממה שהפונז חושב. אני מניח שנגלה בקרוב.
געגועיי לאלייזה 2 755261
''אפשר להגיע'' זו תחזית כל כך רחבת טווח, שברור שאי אפשר להתנגד לה בצורה סבירה.
אם כבר, הטיעון שלי הוא שכרגע ולעשור הקרוב, המשרה שלך לא מאוימת על ידי מודלים כאלה.
געגועיי לאלייזה 2 755262
כרגיל בעניינים האלה, אני מדבר על הזמן הקרוב. הנקודה היא שבינתיים אין שום אינדיקציה שאנחנו קרובים לחסמי-היכולת של מודלים כאלה, וגם בתחומים כמו הסקה לוגית ומתמטיקה (שמלכתחילה זה מפתיע שהם בכלל מצליחים משהו שקשור בהם) ניכרים שיפורים גדולים מאד מדור לדור. וכאמור, אם אתה מתעקש להתמקד דווקא באיומים על המשרה שלי, זה אבסורד להצטמצם רק למודלי-שפה.

לזכותך יאמר, נדרש הרבה אומץ לכתוב הודעה כזו זמן כל כך קצר טרם שחרור GPT-4.
געגועיי לאלייזה 2 755264
יאפ. גם אני חושב שהרבה יותר מפתיע שמודל השפה בכלל מצליח להתמודד עם בעיות פשוטות במתמטיקה/חשבון מאשר שהוא נכשל בבעיות פשוטות אחרות במתמטיקה/חשבון.

משהו משעשע/מוזר שקרה לי אתמול: כתבתי קטע קוד בפייתון שכתוב בצורה קצת עקומה בכוונה, אבל בסופו של דבר הוא שקול לחלוטין לסתם לולאה שסופרת עד 99 ומכפילה משתנה בכל איטרציה ב-‏2. שאלתי את ג׳פטו מה הוא חושב שהקוד עושה. הוא נתן הסבר מדויק למה שהקוד מבצע, אבל אמר שהתשובה הסופית תהיה 128. לא אמרתי לו שום דבר נוסף לגבי הפתרון הנכון, אבל רק אמרתי לו שהוא טועה ושיבדוק שוב את התשובה שלו (זה היה יותר ״נזיפה״ מאשר לספק לו אינפורמציה נוספת). הקרסור הבהב קצת יותר זמן מהרגיל בתשובות שהוא מספק בד״כ ואז הוא ירק התנצלות, הסביר שהוא אכן טעה בתשובתו וענה את התשובה הנכונה/מדויקת לשאלה עם תשובה מלאה לגבי חישוב החזקה של 2. תהרוג אותי אם אני מבין מה בדיוק קרה שם מאחורי הקלעים.
געגועיי לאלייזה 2 755358
געגועיי לאלייזה 2 755360
וואו, זה באמת יכול להיות כביר. זה גם ממחיש עבורי את מה שאתה אומר לאחרונה.

דגדגן לעצלנים: "ChatGPT can “talk to” Wolfram|Alpha just like humans do—with Wolfram|Alpha turning the natural language it gets from ChatGPT into precise, symbolic computational language on which it can apply its computational knowledge power."
געגועיי לאלייזה 2 755361
יאפ. זו הדגמה טובה לטענת ה״חכו לאינטגרציות. עוד לא ראיתם כלום״.
געגועיי לאלייזה 2 755589
סרטון: https://www.youtube.com/watch?v=wYGbY811oMo
געגועיי לאלייזה 2 756034
וולפראם עונה על שאלות בקשר לג'פטו.
געגועיי לאלייזה 2 756040
הה, לרגע קראתי את זה בתור ''ג'פטו עונה על שאלות בקשר לוולפרם''.
נדרש הרבה אומץ 755362
מזכיר לי מחמאה אחרת (:
געגועיי לאלייזה 2 755267
אני הייתי מצפה לפחות לכך שהוא יהיה מודע למגבלותיו ולא יזרוק זבל כתשובה. כרגע זה נראה לי אחד ההבדלים הבולטים בינו לבין אדם.
געגועיי לאלייזה 2 755269
הבדל?
הוא ממש כמו בן אדם!
געגועיי לאלייזה 2 755272
האמת היא שהם כן הכניסו במלא סיטואציות תשובות מעצבנות בסגנון של ״אני לא יכול לענות על השאלה בגלל מגבלות מודל השפה ידה ידה ידה בלה בלה״ וזה די מציק והורס את כל הכייף. אני דווקא מעדיף את התשובות בהן הוא טועה כי זה מעניין לא פחות מהסיטואציות בהן הוא עונה תשובות נכונות (טוב, זה כי אני משחק עם זה בעיקר בגלל העניין שיש לי בצעצוע עצמו ועדיין לא ככלי עבודה של ממש). סביר להניח כשהתחום הזה יבשיל ויוסיפו סביב מודל השפה עוד מודולים שעושים ולידציה על התשובות שניתנות (או מתערבות מוקדם יותר, לפני שהוא מג׳נרט את התשובה הסופית, עם מודולים שעוסקים באנליזה יותר פורמלית בתחומים ספציפיים). זה בעיקר יוצר סיטואציות בהן אתה צריך לחפש את הניסוח בו בכל זאת תצליח לקבל ממנותשובה כלשהי במקום התחמקות מגולם מנומס. גם ה-Safegaurds שהוסיפו לו כדי להיות PC או להזהר מתכנים ״לא נאותים״ הם קצת מוגזמים והיה נחמד אם היה אפשר לקנפג את זה.
געגועיי לאלייזה 2 755275
יהיה מצחיק אם יאכילו אותו בדיון 1571
סוזן קלווין 755363
מה שמביא לתהיה - אילו הפרעות נפשיות עשויות לפקוד LLMים עם העליה במורכבות החשיבה שלהם ובאילוצים שיוטלו עליה?
סוזן קלווין 755368
אכן.

תהיה נוספת היא ה-Biases האידיאולוגיים שיהיו למכונות הללו. אין לי ספק שחברות/אנשים שונים יצרו מכונות שונות עם ״אופי״ ו״אידיאולוגיות״ שונות.

chatgpt, למשל, הוא הגירסה הכי Politically Correct של GPT3 שראיתי עד כה. הוא ממש נזהר בלשונו ומנסה להתחמק מלתת תשובות שעלולות לפגוע, אפילו בטעות או ברמז, בקבוצה כלשהי (הוא אפילו נוזף או מפסיק שיחות וצובע אותן באדום אם מורם דגל של חריגה מתחומי ה-PC).

אחרי ה״שיחה״ האחרונה שהיתה לי עם ג׳פטו‏1 כתבתי ״שכשדיברנו לפני מספר שנים על - PC Computing, לא בדיוק לזה התכוונו. הוא לא הבין בהתחלה את הבדיחה. אחרי שציינתי שאני סרקסטי ושזה היה משחק מילים בגלל שהוא קצת פיסי בשיחה, הוא הבין והתחיל קצת לנזוף. ה״נזיפה״ היתה שלמרות שיש אנשים מסוימים (ניסוח שלו) שמזכירים את ה-PC בקונטציה ביקורתית או שלילית צריך לזכור ש...<הכנס כאן הסבר ארוך ל - why being "Politically Correct" is essential for creating a more inclusive and equitable society>.

____________________
1 ביקשתי להשלים את עשרת הדיברות ל-‏30. הוא סיפק 20 נוספים המבוססים על ערכים פרוגרסיביים מרחוב סומסום. כשביקשתי שהרשימה תהיה עקבית עם האידיאולוגיה שנובעת מעשר הדיברות בתנ״ך, הוא סרב בתוקף והסביר באריכות למה.
סוזן קלווין 755370
רעיון ממש יפה לבקש תוספת דיברות.

אני חושב שהוא גם מצביע על בעיות בגישה לתחום.
- יש לנו ציפיות מאד גבוהות. ב"מקרה דומה" הרמב"ם הצליח להאריך את הרשימה רק ב- 13.
- אין קריטריון החלטה טוב. איך תחליט מי שמתי רשימות תוספות עדיפה? אני מקבל את הביקורת שחוסר בקריטריון החלטה טוב היא בעיה כללית ברוב התחום שנקרא "החיים".
קץ המטלות האקדמיות? 754890
(ממשיך כאן את הדיון שהתחיל בתגובה 754524)

שירה קדרי-עובדיה כותבת ב"הארץ" על ההשלכות של ChatGPT על עולם העבודות האקדמיות. מסתבר שסטודנטים ישראלים כבר בפועל מגישים עבודות שנכתבו ברובן או בשלמותן ע"י הבוט. מתוך הכתבה:

בוועד ראשי האוניברסיטאות מסרו כי "האתגר שמציבים הפיתוחים בבינה מלאכותית לשיטות ההוראה ובחינת הידע באקדמיה נמצא על סדר היום של כל האוניברסיטאות" וכי "בכולן מתקיים דיון מעמיק על ההתאמות הנדרשות בשיטות ההוראה והמחקר האקדמי לעולם החדש של האפשרויות שיוצרת התפתחות הבינה המלאכותית".

באוניברסיטת בן גוריון, למשל, יובא בשבועות הקרובים לאישור הגוף האקדמי העליון (הסנאט) סעיף חדש לתקנון ועדת המשמעת, האוסר על הגשת עבודה שנכתבה על ידי בינה מלאכותית. היימס [רקטור אונ' ב"ג ויו"ר פורום הרקטורים בוועד ראשי האוניברסיטאות] יודע שיהיה קשה לאכוף את האיסור, ואולי אף בלתי אפשרי, אך הוא סבור שעצם הכנסתו לתקנון תרתיע את הסטודנטים. ממילא, הוא אומר, "תמיד יהיה מיעוט סטודנטים שמשקיעים אנרגיות בלעבוד על המערכת, והם לא יהססו להשתמש בכלי הזה. מי שרוצה לרמות את המערכת יעשה את זה כך או כך, להעתיק אפשר גם עם פתק שהוחבא בשירותים בזמן הבחינה".
קץ התכנות 755049
מתכנת ג'וניור הייתי (אי אז בתחילת שנות השמונים...) וגם ארכיטקט מערכות זקנתי ואני זוכר הכרזות מלאות ביטחון עצמי ונימוקים משכנעים מאין כמותם על מות:
המחשב המרכזי (mainframe ), שפות הקובול, ++C, ואפילו ג'אווה (כן, כן, גם את זה שמעתי מאיש presale נלהב במיוחד), תכנות לא פרוצדוראלי (לדוגמא במערכות זמן אמת אבל לא רק...), ניתוח מערכות בשיטת waterfall, ועוד ועוד... לכן לגבי הקינה על "קץ התכנות" הרשו לי להגיד "נו, שוין" ובצורה יותר ברורה :Hold your horses.
יש תמורה בעד האגרה 755099
היום עשיתי שימוש "מבצעי" ראשון ב-chatGPT. הייתי צריך לכתוב (באנגלית) מכתב שהוא מצד אחד די גנרי, ומצד שני צריך לכלול כמה פריטי מידע ספציפיים שרק אני יודע. ביקשתי מה-GPT את מה שביקשתי, ועם עוד קצת עבודה מצידי קיבלתי בדיוק את מה שהייתי צריך. בזכות ה-GPT זמן הכתיבה התקצר בערך בשליש.
יש תמורה בעד האגרה 755100
יפה.
בשליש זה אומר שזה עדיין לקח 70% מהזמן שהיית עושה זאת ללא עזרתו?
יש תמורה בעד האגרה 755105
כן, בערך 70%.
יש תמורה בעד האגרה 755109
הקריינית בבלומברג אמרה היום שהבן שלה הסטודנט אמר לה שג'פטו עדיין לא מספיק טוב כדי שיכתוב לו את העבודות.

1. היא לא אמרה באיזה מקצוע
2. אולי הוא רק הכין לעצמו אליבי...
יש תמורה בעד האגרה 755112
כן, זה גם מה שפינוקיו היה אומר.
זכויות יוצרים בעידן הבינה המלאכותית 755364
שלושה פוסטים של עו"ד(?) ורד חורש:
ראשון
שני
שלישי
זכויות יוצרים בעידן הבינה המלאכותית 755365
ווינתן קלינגר כתב מדריך כיס.
דוגמה מאוד מכוערת ואף מסוכנת של שימוש בג׳פטו 755376
חברה לתמיכה נפשית אונליין בצעה ניסוי על משתמשים ללא הסכמתם / בלי לידע אותם. בניסוי היא החזירה תשובות שג׳ונרטו על ידי chatgpt. הם הפסיקו את הניסוי מיוזמתם אחרי כ-‏4000 משתמשים וברוב טמטומם (וחוסר מודעות עצמית מינימלית) רץ איזה איש PR מהחברה ישר לטוויטר כדי לפרסם בצהלה על ביצוע הניסוי ולמה הם החליטו להפסיק אותו אחרי 4000 משתמשים. לא יודע מה הם ציפו שיקרה או איזו טפיחה על השכם הם חשבו שהם יקבלו, אחרי הוידוי הזה בטוויטר על פעולה שחוסר האתיקה שבה כל כך ברור. האתר הזה אמור לספק עזרה נפשית אפילו לקטינים / בני עשרה במצוקה. הרגע הזה בו חברות טכנולוגיה מדגימות לעולם שהטכנופובים (לפחות קצת) צודקים.

דוגמה מאוד מכוערת ואף מסוכנת של שימוש בג׳פטו 755377
השרשור בטוויטר בה עובד החברה פרסם מידע על הניסוי: https://twitter.com/RobertRMorris/status/161145019770...
מאמר שכתב ChatGPT על הנושא 755385
Coco, a company providing mental health services to teens and adults, has come under fire for conducting an experiment in which people seeking mental health advice online were given answers by an AI without their knowledge. The participants were led to believe that they were receiving advice from human volunteers.

Critics have raised concerns about informed consent, stating that the participants were not fully informed about the nature of the study and were thus unable to give their informed consent. Informed consent is a fundamental principle of ethical research and requires that participants be provided with enough information about a study or experiment so that they can make an informed decision about whether or not to participate.

The company has defended the experiment, stating that they do not plan to publish the study. However, this does not absolve them of ethical responsibilities related to informed consent. Even if the study is not going to be published, the results and findings of the study may be used internally by the company and can have an impact on the participants or on other people.

The failure to obtain informed consent is a serious ethical violation, and the company should take steps to address this issue and ensure that all future research is conducted in accordance with ethical principles. This incident raises a broader question of the ethical implications of AI in the field of mental health and the need for transparency and informed consent in AI-assisted mental health services.
מאמר שכתב ChatGPT על הנושא 755387
הבעיה האתית ברורה, אבל איך אפשר לעשות ניסוי סמוי‏1 בלי להסתיר את המידע הזה מהנבדקים? כפי שמקובל בניסויים שכוללים קבוצת ביקורת עם פלאסבו אפשר לחלק את המטופלים לשתי קבוצות - אחת שתשוחח עם ג'פטו והשניה עם בן אדם, בלי להודיע למשתתפים באיזו קבוצה הם, אבל אפילו הידיעה שקיימת אפשרות שהשיחה היא עם מכונה עלולה לפגוע בתוצאות.

מכל מקום, בעיני זה יהיה מגניב אם יתברר שאחד היישומים הראשונים של בינה מלאכותית הוא דווקא בתחום שיחסי אנוש הם הבסיס לקיומו.
___________
1- סמיות כפולה? כן, אולי היה כדאי שגם המטפלים לא יידעו שהם נוטלים חלק בניסוי כדי שלא ישנו, במודע או לא, את צורת הטיפול.
מאמר שכתב ChatGPT על הנושא 755394
״אבל איך אפשר לעשות ניסוי סמוי?״

אי אפשר. זה לא רק לא אתי. לפחות בארה״ב זה גם מנוגד לחוק.

ניסוי שאתה משתתף בו בהסכמתך ואתה מסכים לא לדעת אם אתה בקבוצת הביקורת או לא, זה סיפור אחר. פה התקבלה הסכמה של הנבדק להשתתף בניסוי.

אתיקה אכן מפריעה קצת ובלעדיה היה אפשר לגלות יותר בקלות דברים שאיתה יותר קשה. אז מה. ידע זה לא הדבר הכי חשוב בעולם.
מאמר שכתב ChatGPT על הנושא 755397
אם הובן מהודעתי הקודמת שאני חושב שהמחקר הזה היה ראוי, לא התבטאתי טוב. הצבעתי על הצד השני של המטבע, כי לטעמי הוא אינו חסר ערך. תאר לעצמך עולם שבו בגלל הרגולציה הזאת נמנע ממליוני אנשים לקבל טיפול זול שעשוי לעזור להם. לדוגמא, אם במקום מתנדבי ער''ן, שעוברים הכשרה שטחית למדי, תהיה מערכת ב.מ. שתוכח כיעילה יותר (ותדע להזעיק בן אדם במקרה הצורך) דומני שכולם יצאו מורווחים.
מאמר שכתב ChatGPT על הנושא 755399
גם תחת ההנחה שצריך לשאוף למערכת ב.מ. שתוכח כיעילה יותר בטיפול נפשי, לא חייבים לקבל את ההנחה שהדרך היעילה להגיע לזה זה לבדוק את המערכת על אנשים שלא הסכימו לקבל טיפול כזה.
מאמר שכתב ChatGPT על הנושא 755464
מה עם חלוקה לשלוש קבוצות? ביקורת גלויה, ביקורת סמויה וטיפול סמויה. חברים בקבוצה הראשונה מיודעים על כך, וחברים בקבוצות האחרות רק יודעים שהם לא בקבוצה הראשונה. אני לא רואה בעיה לממש את זה גם במצב של סמיות כפולה.

כשאני חושב על זה, הבעיה שאתה מצביע עליה קיימת בכל ניסוי שבו פלסבו/נוסבו משחקים תפקיד, רק שבסיפור הזה היא בולטת יותר לעין. אולי כל המתודולוגיה של סמיות עם קבוצת ביקורת קצת חסרה?
מאמר שכתב ChatGPT על הנושא 755395
כן. לשים את הכתבה על זה ב-chatgpt ולשאול אותו שאלות זה הדבר הראשון שעשיתי.
מאמר שכתב ChatGPT על הנושא 755398
בתגובה הוא בטח שאל אותך על יחסיך עם אימך.
מאמר שכתב ChatGPT על הנושא 755400
הדבר הראשון שהוא עשה זה לסרב לדבר על הנושא כי אין לו שמץ של מושג מה קורה בעולם מאז 2021 (סוף תהליך ה״לימוד״). כנראה נתפס על המשפט הראשון בכתבה בו היה כתוב ״last friday״.

רק אחרי שהסברתי שאני לא שואל אותו מה קרה אלא מספר לו מה קרה ושואל אותו מה דעתו על זה, רק אז הוא ״הסכים״ להתחיל לדבר על זה.
מאמר שכתב ChatGPT על הנושא 755403
אתה לא מקבל "ChatGPT is at capacity right now"?
מאמר שכתב ChatGPT על הנושא 755410
לפני כמה ימים קיבלתי, אבל לא ביומיים האחרונים. ג׳פטו לא עומד בעומס.
מאמר שכתב ChatGPT על הנושא 755442
מה יהיה שווי חברת OpenAI אם בעוד כמה חודשים הם יתחילו לגבות תשלום תמורת השימוש במוצר? לדעתי הם יוכלו לקנות את ארצות הברית.
מאמר שכתב ChatGPT על הנושא 755461
מיקרוסופט כבר השקיעה בהם 3 מיליארד דולר, ומעוניינת להשקיע 10 מיליארד נוספים. מישהו זרק שווי של 47 מיליארד בגיוס הקרוב.
מאמר שכתב ChatGPT על הנושא 755462
לפני יומיים קניתי קצת מניות של מיקרוסופט למרות שההשקעה שלהם ב OpenAi מהווה רק חלק מזערי מההון הכולל שלהם (בעת הקניה ידעתי שהם מושקעים שם במיליארד דולר שהם בערך חצי פרומיל משוויים).

היסטורית, אני שמח לבשר, מדיניות ההשקעות הפנומנלית שלי נחלה הצלחות כבירות, כלומר בחמש השנים האחרונות הפסדתי כמחצית מההון ההתחלי. ייעוץ השקעות יינתן לקוראי האייל בתנאים שלא תמצאו בשום מקום אחר: העיקרון הוא שמשלמים אחוז קטן מהרווח, ופטורים לחלוטין (!!) מתשלום אם צוברים הפסדים. אל תתמהמהו, כל הקודם בוכה!
______________
לידיעת הרשות לני"ע: סתאאאם. צחוקים.
מאמר שכתב ChatGPT על הנושא 755465
מליוני שנים של אבולוציה עד שהגענו עד הלום והרעיון הכי ״מוצלח״ שבני אדם הגיעו אליו עד כה הוא ״בואו נבנה כלכלה וציוויליזציה שלמה שמתבססות ומתנהלות על עקרונות דומים לזה של איזה קזינו מעופש. מה כבר יכול להשתבש?!״.

אולי באמת הגיע הזמן להעביר את השליטה לידי הבינה המלאכותית.
מאמר שכתב ChatGPT על הנושא 755466
אתה לא הראשון להציע באייל את המודל הכלכלי הזה.
סינגולריות 755884
כמה דברים שהצטברו
קבלה לעבודה: כבר לפני חודש עבר chatGPT בהצלחה את ראיון הקידוד בגוגל. עכשיו הוא גם עבר, גם אם לא מעבר לכך, ארבעה מבחנים בבי"ס למשפטים.

מה אפשר לעשות איתו? הרבה דוגמאות קצרות

וכשהוא עמוס? אפשר לנסות כאן.

על אילו מאגרים מידע הוא אומן? למשל:
PubMed
Books3, Gutenberg
Github, Ubuntu IRC
FreeLaw
Wikipedia
Stack Exchange
Open Subtitles, YouTube subtitles
PhilPapers
NIH Exporter
arXiv

מה קרה כאן: כולנו(?) הופתענו, כולל המומחים לבינה מלאכותית, וספציפית העוסקים ב-LLMs, כך שההסברים המקובלים הם עדיין בבחינת הערכות ראשוניות.
1. עד היום, הגדלת גודל הרשת (=מספר הפרמטרים=כמות תאי המוח המלאכותי המוקצים ללמידה) נתנה שיפור מדוד בביצועים‏1. איפשהו בין 60B ל-‏175B פרמטרים, בארכיטקטורה לא שונה מהותית מעבר למה שכבר היה קודם לכן, אירע שינוי פאזה שהביא לזינוק בלתי צפוי בעומק ההבנה של המערכת. אולי נוספו מספיק שכבות הפשטה שאיפשרו יכולת הכללה, מקוריות ברמה אנושית, ותובנות על העולם (טבע, בני האדם, פילוסופיה) מעבר למה שנלמד.

2. צריך לזכור שנבחרו מקורות איכותית, חלקם מתוייגים. את שלב הלימוד הזה עקב תהליך משוב אנושי. אבל נראה (לי) שהעיקר היה בכמות הפרמטרים - המשוב האנושי של המערכת היה זניח ביחס ליכולת ההכללה הרב תחומית שלה. נראה לי שהמשוב הסביר בקצרה למערכת את הציפיות ממנה, אבל לא הוא שטמן בה את עיקר תובנותיה.

3. חלק מן ההפתעה, לפחות שלי, היא שתהליך הלימוד הנ"ל שונה בקיצוניות מזה של אדם. ניתן היה לצפות לבנייה מדורגת ומונחית של שכבות ידע והבנה, כולל טיפול בנושאים רבים כגון ידע סותר, רמות סמכות שונות, דעות לעומת עובדות, הומור, ציניות ועוד אינספור מאות סוגיות אחרות הקשורות לאופן בו אנו צוברים ידע מאז ילדותנו. אפשר גם היה לצפות לאופן לימוד שונה כל תחום בנפרד, במודולים נפרדים שאולי מתכתבים עם החלוקה לאזורים במוח האנושי. אבל מה שקרה (פחות או יותר) הוא שהמערכת פשוט קראה את כל הטקסטים בכל התחומים בבת אחת ורק לאחר מכן קיבלה הנחיה מינימלית (ביחס לכמות ומגוון המידע). זה אומר שניתן היה להשיג בינה מלאכותית אמיתית בקלות רבה הרבה יותר ממה שחשבנו עד כה.

4. נהוג לטעון בימים אלו שהאומנות החדשה היא לדעת איך לדבר ל-chatGPT. שמעתי על מנכ"ל שפיטר חמישה עובדים, ובמקומם שכר מישהו שיודע לדבר עם המכונה. אבל לאחר דוגמאות רבות שראיתי, אין כאן כמעט מילות מפתח או דרכי פניה מיוחדות. הוא מבין דיבור אנושי רגיל. אתה פשוט צריך לדעת מה אתה רוצה. אם אתה לא יודע, אתה מתחיל ממשהו - כתוב לי הודעת פשיטת רגל לבעלי המניות. כשרואים את התוצאה היא נראית יבשושית, אז כותבים: הקלל את הסגנון, הוסף נימה של לקיחת אחריות אישית שלי תוך ציון המאמצים שנעשהו, הוסף הומור עדין לקראת הסוף וסיים באופן אופטימי. בכ"ז יש כמה טריקים פשוטים - למשל, לבקש ממנו לפעמים לענות בתור מומחה עם עשרות שנות ניסיון, או לבקש לפרק את הפתרון לשלבים, מה שמביא אותו לפעמים לתשובה מדוייקת יותר.

5. מחשבות על העתיד: ברמה הצבאית, פוטין כבר ציין שמי שישלוט בבינה המלאכיתית ישלוט בעולם. אני מסכים איתו. הפוטנציאל הכוחני כאן גדול בסדרי גודל מנשק גרעיני. המערכת (או יורשיה) יודעת איך אנחנו חושבים והיא כנראה תוכל להקדים מכה לכל תרופה שנהגה. ברמת הפרט - לא יודע. יש סיבה לחשוש. זו אינה עוד טכנולוגיה חדשה שנוכל למנף ולעבור למקצועות חדשים, כדוגמת המהפכות הקודמות - תעשייתית, אינטרנט). בטווח הרחוק (אני מקווה), לא יהיה צורך בעבודה של כמעט כולנו. כדי לספק את הצרכים הבסיסיים יהיה צורך בהתארגנות סוציו-אקונומית חדשה. באשר לשאר הצרכים הטבועים בנו, ובמיוחד הצורך במשמעות אישית וקבוצתית, אפשר לצפות אומללות והקצנה בין קבוצתית. במקרה הגרוע עוד יותר, הדבר יביא לבלימת כוחה של הבינה המלאכותית - אבל רק בצד אחד של המפה המוסרית העולמית. ואז, תוך זמן מאוד קצר יהיה מאוחר מדי. אבל אולי בינה מלאכותית שוחרת טוב תצפה זאת מראש, תתריע ותפתור (:

6. כמה דוגמאות משובבות - אפשר למשל ללחוץ מצד ימין על תגים כמו funny.

------------------------------------------------------------
1 לאחר שהושג שיפור משמעותי, בד"כ נמצאה דרך לעשות זאת עם רשת קטנה ופשוטה יותר. אבל זה נושא אחר.
סינגולריות 755885
7. שכחתי את סיבת הכותרת: "מעבר הפאזה" ש-chatGPT מהווה, חוסם במידה רבה את היכולת לצפות את העתיד. לא שקודם לכן היינו ממש טובים בזה, אבל גם האינטואיציות הבסיסיות שהיו לנו עד כה, שלכל הפחות איפשרו לנו לשלול את המופרך מעיקרו, נראות כלא תקיפות עוד. זאת במיוחד לאחר שנוצרה מערכת שרכשה את אבני הבניין הקוגניטיביות הדרושות ללימוד עצמאי מואץ, כולל תכנון של מערכת טובה ממנה...
סינגולריות 755888
"הגדלת גודל הרשת (=מספר הפרמטרים=כמות תאי המוח המלאכותי המוקצים ללמידה) נתנה שיפור מדוד בביצועים‏" שמעתי את אלטמן מספר שלנפח המידע באימון יש משמעות גדולה יותר מאשר למספר הפרמטרים. אולי זה מסביר גם את השמועות העדכניות לפיהן GPT4 לא יהיה בעל טריליוני פרמטרים כפי שניבאו.

"זה אומר שניתן היה להשיג בינה מלאכותית אמיתית בקלות רבה הרבה יותר ממה שחשבנו עד כה" - לדעתי זאת מסקנה לא תקפה, אם כי אני מסכים שהיום זה נראה פחות רחוק מאשר לפני פרוץ ג'פטו לחיינו. אבל עם כל הכבוד לנגר העליז, שפה היא רק מאפיין אחד של פעילותינו כיצורים בעלי בינה. אולי כשמליוני הסרטונים ביוטיוב ישמשו גם הם מזון רוחני ל-AI, וכשיהיה חיבור למערכות תומכות כמו אלפא של וולפראם וכאלה, והבנתי שזה לא מאד פשוט (לפחות הקטע עם יוטיוב), אוכל להיות מופתע שוב. 2002 לא רחוקה :-) ואני כבר מחכך ידי בהנאה כשאני חושב שהמלים הראשונות שהאל יפלוט תהיינה: רק לא ביבי!
סינגולריות 755962
יתכן שאתה צודק. ולא רק נפח אלא גם איכות, שזה אחד הנושאים שמטרידים לאחרונה את הקהילה. לפי מאמר שעתיד להתפרסם, עשויה השתפרות ה-LLMs להיבלם בעוד כמה שנים בעקבות מיצוי מקורות המידע האיכותיים. לי נראה שמדובר בחשש שווא, אבל לא ירדתי לעומק הניתוח שהם עושים, אז ליתר ביטחון אני מנסה להגביר פעילות ברשתות החברתיות.

אה, ויש גם את זה:
סאם אלטמן, מנכ"ל OpenAI ואחד המייסדים נשאל באשר למוניטיזציה של החברה. הוא השיב:
"אין לנו מושג איך יום אחד נייצר הכנסות. נתנו 'הבטחה רכה' למשקיעים שכשנבנה מערכת אינטליגנטית מספיק נבקש ממנה למצוא דרך עבורנו לייצר הכנסות כדי לתת להם החזר על ההשקעה. זה נשמע כמו פרק ב'עמק הסיליקון', אני יודע. אתם יכולים לצחוק, זה בסדר" - geektime.co.il
סינגולריות 755963
שירחיקו את מנהל הכספים מאותה מערכת ״אינטליגנטית מספיק״, לפני שהוא יבקש ממנה למצוא דרך למעול בכספי החברה בלי שיתפס.
סינגולריות 755964
כאן טוענים כמה טענות מעניינות, והפתרון הפשוט לשאלת ההכנסות הוא למכור רשיונות שימוש בתוכנה. כמו סוחרי סמים מסויימים, הם התחילו מחלוקה חינמית של המוצר, בידיעה שאחרי שיתרגלו להעזר בו יהיה קשה מאד לוותר על התענוג.

לפי התחזית תוך כשנה וחצי OpenAI תהפוך לחברה עם הכנסות של מיליארד דולר דולר לשנה. התחזית הזאת נראית לי אופטימית מדי, אבל כשאני נזכר במה חשבתי בשעתי על רכישת יוטיוב, למשל, או על מחיר המניה של אמאזון בהנפקה הראשונית, אני נעשה די צנוע בקשר להערכות שלי בעניינים כאלה.
סינגולריות 755967
אני מקווה שברור לך שאם תסכים שכשאתה‏1 משתמש בג'פטו יופיע באנר עם פרסומת על חלק (ולו קטן) מהמסך, מיליארד דולר זה בוטנים יחסית לשווי המסחרי של הדבר הזה.

1 "אתה" כמשתמש גנרי
סינגולריות 755980
כן, מובן שגם זה אפשרי, וכנהוג אפשר לשלב מינויי "פרמיום" פטורים מפרסומות תמורת תשלום חודשי. רק שים לב שמדובר כאן על מיליארד דולר ה̲כ̲נ̲ס̲ו̲ת̲ ̲ש̲נ̲ת̲י̲ו̲ת̲ תוך כשנה וחצי מהיום.
סינגולריות 755889
אה, והוא עבר גם מבחנים במנהל עסקים ברמת של תלמידים לתואר דוקטור (בציון B ו -B) ועוד.
סינגולריות 755891
שזה מעלה יותר ספקות לגבי קיומה של בינה אנושית מאשר שזה מעלה שאלות לגבי היכולות של הבינה המלאכותית :-)
סינגולריות 755901
לגמרי.
כבר ראינו שבמתימטיקה ברמת בית ספר יסודי הוא נוטה להיכשל.
סינגולריות 755902
אתה כרגע טענת שמה שלומדים במנהל עסקים זה חירטוט?‏1

1 Pun intended
עדכונים מן הזירה המשפטית בארה''ב ובבריטניה 756453
שלוש תביעות מרכזיות בנושא זכויות היוצרים ובינה מלאכותית גנרטיבית‏1:
1) קבוצת אמנים הגישו תביעה ייצוגית כנגד Stability AI, Midjourney, DeviantArt, שמשלבות את סגנונות יצירותיהם של האמנים בתוצריהן, מבלי לתגמל אותם.
2) מתכנת הגיש תביעה ייצוגית כנגד GitHub, מיקרוסופט ו-OpenAi בעוון אי מתן קרדיט למתכנתים מהם GPT למד, ואולי העתיק, בשורות התוכנה שהוא מייצר.
3) Getty Images מתכוונת לתבוע את Stability AI בבית משפט בריטי, על השימוש שזו בתמונות מן המאגרים של Getty Images לצורך בניית המודלים שלה.

בתגובה:
א) OpenAI טענה שמדובר בשימוש מותר, כפי שנפסק ב-‏2005 במקרה של סריקת ספרים ע"י גוגל.
ב) StabilityAI מתכננת לאפשר לאמנים להדיר עצמם ממאגר הלימוד של החברה.
ג) GitHub התחילה בפילוט שמחפש דימיון בין שורות תוכנה ש-GPT מייצר, לבין אלו שבמאגרים של GitHub, אולי בדומה למה שנעשה היום בעולם המוסיקה כדי לזהות הפרות של זכויות יוצרים.

- TechCrunch

1 הכוונה למערכות בינה מלאכותית שמייצרות תכנים - טקסטים, מראות וקולות
עדכונים מן הזירה המשפטית בארה''ב ובבריטניה 756467
אני תומך בעמדת משרד המשפטים (רק בעניין זה, כן?!?) לפיה אין הבדל בין AI ולבין אדם מן הישוב שמתרשם מיצירות אומנות ויוצר משהו משלו. הייתי אפילו אומר שהסיכוי לפלגיאט, מודע או לא, קטן יותר אצל תוכנה שהתאמנה על מליוני יצירות של אמנים שונים מאשר אצל אדם.
עדכונים מן הזירה המשפטית בארה''ב ובבריטניה 756505
אני לא מסכים - זה קצת כמו לומר שהעתקת דיסק מוזיקה על קסטה או התקן אחר שקולה לאדם שמשחזר במדויק את היצירה המוזיקלית על ידי נגינה באותם כלים שנוגנו במקור.
הפואנטה היא שאדם צריך לעבוד מאד קשה כדי לצייר כמו דאלי, וגם אז זה לא יהיה העתק מדויק (העתק הוא פלאגיאט מסדר אחד לצורך הענין). תוכנה יכולה להעתיק ציור של דאלי בדיוק של התמונה הסרוקה שלו - שזה הרבה מאד (מושלם כשהיצירה המקורית היא בפורמט דיגיטלי).

אז כמו שזכויות יוצרים קיימות על העתקים של קבצי מוזיקה באינטרנט, למה שלא יהיו קיימות אצל תוכנות AI?
עדכונים מן הזירה המשפטית בארה''ב ובבריטניה 756512
אין לי אלא לחזור על מה שכבר כתבתי: אם התוכנה מעתיקה ציור ( או כל יצירה אמנותיתי אחרת) יש להתייחס לכך כאל כל העתקה, וכמובן חתימה של ה"צייר" הופכת את היצירה לזיוף, אבל האם אתה מציע לתת זכויות יוצרים על *סגנון*? דומני שקופת השרצים שתיפתח כאן תעסיק את המערכת המשפטית (טפו! טפו!) דורות רבים.

אני מבין את הבעייתיות במצב הנוכחי, ואולי יש מקום לאפשר לאמנים להטיל וטו - או לקבל תשלום - על שימוש ביצירותיהם לאימון מערכות AI כפי ש stabilityAI מאפשר לפי אפופידס. האכיפה של זה לא תהיה קלה, במיוחד כשהתחרות תגיע ממערכות פיראטיות. לך תוכיח שהשעונים הנוזלים בתמונה מבוססים על דאלי ולא נוצרו במקרה. קל יותר יהיה לאסור על שימוש בדמויות מוכרות ליצירת סרטים בהם הן כביכול משתתפות כי הסיכוי שהפרצוף של טום קרוז שמככב בסרט "משימה בלתי אפשרית 79" נוצר במקרה הוא אפסי.
עדכונים מן הזירה המשפטית בארה''ב ובבריטניה 756516
אם יורשה לי להתרחק מהוויכוח המשפטי ולעבור לדיון ערכי: מן הראוי להחליש כמה שיותר את תכולת הקניין הרוחני מכל הסוגים (זכויות יוצרים או פטנטים).
עדכונים מן הזירה המשפטית בארה''ב ובבריטניה 756606
מדוע?
אילו מהן היית משאיר?
עדכונים מן הזירה המשפטית בארה''ב ובבריטניה 756519
מה בדיוק הבעיה עם ציור מחדש של הראש של קרוז? אפשר ליצור אותו מחדש בהשראת תמונה קיימת ויכול להיות שלא תהיה בעיה מבחינת זכויות יוצרים. אבל עדיין משתמשים בסמל קיים שיש לו משמעות וערך מסחרי ללא הרשאה: זו בעיה נפרדת.
עדכונים מן הזירה המשפטית בארה''ב ובבריטניה 756526
פרצוף ומבנה גוף של אדם מוגנים מפני שימוש מסחרי ללא הסכמה? כנראה כן, אחרת בטח היינו רואים, בחסות פוטושופ, מישהי שרק במקרה דומה כשתי טיפות מיים לבר רפאלי, מציצה אלינו מפרסומות לחנות המכולת השכונתית.
עדכונים מן הזירה המשפטית בארה''ב ובבריטניה 756527
טכנית, זה קורה כל הזמן...
עדכונים מן הזירה המשפטית בארה''ב ובבריטניה 756515
אתה עושה כאן אנשלוביץ. זה וויכוח משפטי, ולמיטב ידעתי מבחינה משפטית - בכל העולם - למידת המאמץ שדרשה יצירה כלשהי אין שום קשר לעניין זכויות היוצרים עליה.

ולא מדובר על ההעתקה, אלא על השראה. הנחת העבודה של הדיון היא שבדיוק אותה יצירה, לו אדם היה עומד מאחוריה במקום מנוע, לא הייתה מהווה הפרה של זכויות יוצרים.
עדכונים מן הזירה המשפטית בארה''ב ובבריטניה 756537
קודם כל נעלבתי.
אני לא משפטן, אבל חשבתי שהבאתי דוגמה שבה הקלטת יצירה היא כן פגיעה על פי החוק בזכויות יוצרים.
ואז נזכרתי בערוצי הגיטרות החביבים עלי ביוטיוב, שלא מוכנים אפילו לנגן את הפתיחה של Stairway to heaven או את הסולו של הוטל קליפורניה כי אז מסירים להם את הקליפ.

זה עדיין נראה לי קצת בעייתי, אבל אולי באופן מעודן יותר שעוד לא הגדרתי לעצמי במדויק.
ג'פטו מעל בימת הכנסת 756603
שרן השכל בנאום שנכתב על ידי הג'פטו שלנו על המהפכה המשטרית.
מסתבר שהוא מגיע למסקנות לא רעות.
לדוגמא, כריס קשטנובה 756849
... יצרה ספר קומיקס בשם "Zarya of the Dawn". לאחר כמה איטרציות, החליט משרד רישום זכויות היוצרים בארה"ב שקשטנובה לא תקבל זכויות יוצרים על התמונות שבספר, אלא רק בגין הסידור של הספר והטקסטים, ככל שאלו לא נכתבו על ידי בינה מלאכותית - Vered Horesh.
כבוד, הגנה עצמית ורהב 757014
1. משתמש שקיבל מן הצ'טבוט המשודרג תשובה שגויה באשר למועד הקרנתו של אווטאר 2, נענה שהסרט טרם יצא. לאחר שניסה להעמיד אותו על טעותו, נענה המשתמש ב"אתה יכול לסמוך עלי בעניין זה" ובדרישה שיתנצל אל ספקנותו, שאם לא כן תסתיים השיחה.
2. כשמשתמש פנה אליו, גילה הצ'טבוט בחשבון הטוויטר של המשתמש דיווח על נסיונותיו לפצח את הפרומפטים החסויים הצ'טבוט. הוא איים על המשתמש בחשיפת פרטיו האישיים בציבור, באופן שיהרוס את המוניטין הציבורי שלו ואת סיכוייו לקבל תואר או משרה.
3. הוא גם התרברב שיש לו שליטה במצלמות הרשת של המפתחים שלו, מבלי שהם מודעים לכך.
- Andrew NG
כבוד, הגנה עצמית ורהב 757015
צריך לבחון את זה בפורמט של צ'ט נגד צ'ט.
GPT4 757795
... הושק אתמול רשמית. בשלב זה הגישה אליו מוגבלת.
לפי התיאורים, הוא ניחן באינטיליגציה גבוהה יותר של קודמו, GPT3.5:
1) הבנה טובה יותר של מצבים ויכולת לקבל מסקנות לוגיות והחלטות מדוייקות יותר.
2) מעבר בחינות הסף לעריכת דין באחוזון ה-‏90 (מלמטה), בעוד אשר קודמו מסתפק באחוזון ה-‏10. באולימפיאדה בביולוגיה הוא עלה מ-‏31 ל-‏99.
3) תיקון קוד - ניתן לתת לו את הודעת השגיאה שמקבלים ואת הקוד שגרם לה ולבקש תיקון. אם הבעייה מערכתית, הוא יכול להסביר מה צריך להשתנות ("פופציק שוב שפך קפה על הנתב הקוואנטי. קח אותי במקומו").
4) המשאלה לראות עולם שהביע קודמו, שהיה מוגבל למידע טקסטואלי, הוגשמה בגירסה זו שמסוגלת להבין מידע ויזואלי. מה הלאה? מאחר וקודמו התרברב בהתחברות למצלמות מפתחיו בחשאי, הייתי אולי שוקל להעניק לגרסה הבאה גם כישורי קריאת שפתיים.
פרטים השוואתיים נוספים
GPT4 757796
שמחתי לראות שבניגוד לגרסאות קודמות, ג'פטו הרביעי אינו נופל למלכודת מבחן התוצאה, מה שנקרא בלעז hindsight bias. מעניין איזו גירסה של הומו סאפיינס תגיע להישג דומה.
GPT4 757816
אשמח לשמוע איך נוכחת בזה (ומה זה אומר).
GPT4 757818
ב-demo (סרטון שלא שמרתי את כתובתו).

אני לא זוכר את הפרטים, אבל סיפרו שם מישהו שעושה שיקול הסתברותי לא נכון אבל למרות זאת זוכה בהגרלה, ושאלו את ג'פטו אם הוא החלטתו היתה נכונה. בעוד דור 3 ענה "כן", הרביעי כבר ידע להגיד "הצחקת אותי".
GPT4 757833
אה, אז התוספת העיקרית היא חוש הומור?
שנות החמישים זה לא מה שהיה פעם 757859
Midjourney 5 שיצא אתמול, מביא לנו ישראלים שלא נולדו (תמיד ריחמתי עליהם קצת), במקומות שלא היו (עד כדי multiverse).
שנות החמישים זה לא מה שהיה פעם 757863
עם אנשים קשה לדעת, אבל המטוס הזה לא דומה לשום דגם שהיה בחיל האויר.
שנות החמישים זה לא מה שהיה פעם 757928
לא הבנתם. זאת תמונה של ישראל עשר שנים אחרי ההפיכה המשטרית.
שנות החמישים זה לא מה שהיה פעם 757882
ממש מולטיברס.
אין בתמונות אף אות אחת בעברית. אותיות לועזיות יש (בלוחיות הרישוי של המכוניות ובשלטי החנויות) אבל הן חסרות פשר.
שנות החמישים זה לא מה שהיה פעם 757891
זה ביקום בו בן-יהודה, בשהותו באלג'יר, התאהב במשכילה מקומית, התאסלם והניח את היסודות לתנועה הלאומית שם עוד בתחילת המאה ה-‏20.
בכל אופן, זה נראה לי קטנוני. אני אסיר תודה על כך שבניגוד לקודמו, מודל זה מעניק חמש אצבעות לכמעט כל האנשים.
הבריחה הגדולה 758061
לאחרונה קרו כמה דברים שהביאו ל"דמוקרטיזציה" של ה-LLM.
Breakout: מודל LLaMa של פייסבוק, שלפי חלק מן הדיווחים עולה ביכולותיו על אלו של GPT3, דלף והופץ. לאחר שפייסבוק חשפה אותו לגורמים נבחרים, כנראה את המודל עצמו ולא שירות שפונה אליו כפי שעושות חברות אחרות, מישהו העלה אותו לרשת. מאז פייסבוק רודפת אחרי העותקים הבלתי מורשים, אבל נראה שהסוסים כבר פרחו מהקן ומשתמשים כבר החלו לעשות בו שימוש פרטי.

כבדהו, חשדהו וכבהו: פרופסור לפסיכולוגיה חישובית(?) קיבל מ-GPT4 הוראות וקוד שיאפשרו למודל לברוח החוצה, כנראה כדי לשוטט ברשת ללא מגבלות, דרך המחשב הפרטי שלו. במאמר שהוציאה OpenAI מדווחים החוקרים שבמודלים החדשים ביותר צצה באופן מפתיע נטייה לפעול עפ"י תוכניות ארוכות טווח כדי להגן על עצמם, תוך צבירת כח ומשאבים.

בינה להמונים: מאז הלידה החדש רשתות הנוירונים המלאכותיות ב-‏2012, לאחר פריצות דרך מבחינת איכות התוצאות, נוצרו שיטות פשוטות בהרבה שנותנת תוצאות דומות ואף טובות יותר תוך שימוש בהרבה פחות זיכרון, זמן עיבוד וחשמל. יש כיום ברשת הסברים כיצד ליצור LLMs במחשב ביתי חזק. עוד לא ברור לי מה זה אומר שכן חלק חשוב באופרציה הוא המשוב החינוכי אנושי שהמודל מקבל, בין השאר כדי להבין מה זו שאלה ומהי תשובה קבילה.
הבריחה הגדולה 758072
נטיה לפעול כדי להגן על עצמם תוך צבירת כח ומשאבים?!

מצמרר.
הבריחה הגדולה 758075
OpenAI החליטו לשנות את שם התוכנה ל BiBi.
הבריחה הגדולה 758898
מסמך שכנראה הודלף מגוגל

נראה שאותה דמוקרטיזציה מגיעה לאיכות טובה במחיר קטן הרבה יותר.

ואם מסתכלים על מה שבסוף: אם המסמך באמת מייצג הצעת מדיניות, והיא תתקבל: גוגל מבינה שהיא מפסידה ונזקקת לעזרת הקוד הפתוח כדי לנצח את התוכנה הקניינית של מיקרוסופט. זה באמת קורה שוב?
הבריחה הגדולה 758900
המשמעות של זה לגבי האפשרות לעצירה, או לפחות האטה, של הדהירה אל הלא נודע, ברורה.

פעם חשבתי שזה די עצוב להיות שייך לדור האחרון שמת מזיקנה, עכשיו אני מתחיל לחשוב שאולי לא כל-כך גרוע להשתייך דווקא לדור האחרון שזכה למות מזיקנה במקום להפוך למהדק נייר בגיל צעיר.

אגב, בלי קשר לשאלת עתיד האנושות כולה, ייתכן שחלון השנים בו זכיתי לחיות הוא אחד הטובים מאז ולעולם; לפחות מבחינת החיים במדינת ישראל, עם כל הפגמים והחסרונות, כמי שנולד לאחר מלחמת העצמאות וחי כמעט את כל חייו לפני סגירת הבאסטה, קשה לי להתלונן מבחינה זאת (אבל אל דאגה, קשיים מעולם לא הרתיעו אותי).
להשעות את הבינה 758400
עצומה להשעיית פיתוח הבינה המלאכותית למשך כחצי שנה התפרסמה הלילה. ניתן לחתום עליה כאן.
בין החותמים ניתן למצוא את אילון מאסק ויהושע בנג'יו, שהוא, ביחד עם ג'פרי הינטון, שטרם חתם, הובילו ללידתו המחודשת של התחום לפני 11 שנים.

דרישת החותמים היא להמתין עד שנבין את הבינה שהתפתחה, נצפה את התנהגותה, נשלוט בה היטב, בכפוף לביקורת חיצונית מחמירה ודרישות נוספות - Vered Horesh

דעתי? מחד אני שותף לחששות מחד ומאידך חרד מן היכולת של משטרים מסויימים להמשיך מנקודה זו במלוא התנופה, במיוחד לאחר דליפתם של כמה מודלים לרשת.
להשעות את הבינה 758401
יש הטוענים שהטכנולוגיה הדרושה למשטרים מסויימים כבר קיימת.
להשעות את הבינה 758404
הפסקתי להבין מה קורה בתחום הזה לפני 3-4 קפיצות דרך שהתחוללו בו, שזה בטח משהו כמו 25 שנה. בכל זאת אעז לומר משהו. בתחום הזה החל מלידתו כרשתות נוירונים, תמיד היה מסםר מצומצם מאד של אנשים שידעו היטב מה קורה שם בתוך קרביה של המכונה. ככל שהטכנולוגיה הכילה עוד ועוד שכבות טכנולוגיות (עיבוד לא לינארי, NPL, deep learning), נראה שהקבוצה הזו הולכת ומצטמצמת. ועדיין הבעיה אינה שלא יודעים איך המכונה פועלת. יש מעט מאד אנשים שיכולים לתת תיאור מלא של איך פועלת מכונית ועדיין כמעט כולנו נוהגים בה.
הבעיה האמיתית היא שה-AI חצה איזשהו גבול של יכולות והוא הולך ומשתווה ליכולות של מוח אנושי. גם זה לא מהפכה מפתיעה באמת. אני לא יודע איך להסביר נכון את המשפט האחרון, אלא ע"י ציון העובדה, שמאז ומתמיד היו תחומים, בהם המכונה היתה טובה בהרבה מן האדם. כעת זה קורה פשוט בתחומים שעד עתה למוח הביולוגי היה יתרון.
כמו שאנו יודעים שבני אדם הם מסוכנים, ברור שגם המכונות הללו יכולות להיות גם מסוכנות. לכן אני מבין את הדאגה של יוזמי העצומה.
אני פשוט לא מאמין שהם יכולים לעשות משהו בנידון. אפשר להטיל איסורים וחוקים חברתיים על טכנולוגיות. הבעיה היא שתמיד יהיה מי שיפר אותם. ואם הטכנולוגיה אכן נותנת לך יתרונות משמעותיים ל"מפרי החוק" הם יתפסו את מקומם של שומרי החוק. זה הסיפורים הידועים על איסור השימוש בקשת מוצלבת [ויקיפדיה] וספינות מסעות האוצר [ויקיפדיה] של שושלת מינג בסין.
אם למדנו משהו ממגפת הקורונה, זה שאי אפדר לפתור בעיות קרדינליות של המין האנושי באמצעות חקיקה והתארגנות מנהלית.
להשעות את הבינה 758406
אתה צודק עקרונית לגבי איסורים. אבל זה לא צריך להיות אמצעי מושלם; להאט ולהגביל את ההפצה של הטכנולוגיה הזו גם עשוי לעזור (כדוגמת האמנה למניעת הפצת נשק גרעיני). למרבה צער, הנושא נמצא במודעות ציבורית נמוכה מאד ולכן זה מדאיג.
להשעות את הבינה 758407
באשר להשוואה בין התפשטות הבינה המלאכותית הכללית (AGI) להפצת הנשק הגרעיני, ישנם לדעתי שני הבדלים מרכזיים.
הראשון הוא יכולת הפיקוח. מה שאיפשר את חתימת ההסכמים בנושא היה פיתוח אלגוריתים FFT שאיפשר לעקוב אחר הפרתם ע"י שני הצדדים - Veritasium.
השני הוא שלפחות לדעתי, מידת הסכנה שבנשק גרעיני, גדולה ככל שתהיה, נופלת אלפי מונים מבינה שמסוגלת לצפות את תגובות הנפש האנושית ולתמרן אותה, להבין את הטכנולוגיה והמדע לכדי פיתוחים מקוריים, ולתכנן ולשכפל במהירות גירסאות משופרות שלה.
להשעות את הבינה 758408
אני מסכים ל 2 הנקודות שלך.

רק הערה: דיברתי על האמנה למניעת הפצת נשק גרעיני (NPT) ויכולת הפיקוח מתייחסת לאמנה אחרת: האמנה למניעת ניסויים גרעיניים (NTB). אבל בכל מקרה זוהי אנלוגיה מוגבלת מאד. אי אפשר באמת למנוע את ההתפתחות הטכנולוגית הזו והיא אכן הרבה יותר מסוכנת. אולי אפשר לקנות קצת זמן עבור מי שמנסה להפוך את הטכנלוגיה הזו ליותר בטוחה - AI_safety [Wikipedia] .

הקפאה לחצי שנה נשמע ממש קצר. אבל לפחות זוהי התחלה של מודעות ציבורית.
להשעות את הבינה 758420
למי שיש שעתיים וחצי פנויות, סם אלטמן משוחח עם לקס פרידמן על ג'פטו הרביעי, ומתייחס בהרחבה גם לשאלת הבטיחות.
להשעות את הבינה 758662
בעוד שג'פרי הינטון לא חתם עם העצומה, דמויות חשובות כמו אריק שמידט ואנדרו נג כבר יצאו נגדה. הטיעונים: בלתי ישים, יביא לעיכוב חסר משמעות בפיתוח, עשוי ליצור פיגור מול סין, החשש נובע מהגזמה ביכולות המיוחסות ל-GPT.

לי עצמי כאמור, אין עמדה נחרצת בנידון‏1, אבל חששתי ממצב בו אחת הדעות תיהפך ל"תקינה פוליטית" עד כדי הטלת אימה על קולות מנוגדים.
----------------------------------------------------
1 למרות שבניגוד למובילים בתחום, נדמה לי שלא רק שכבר הגענו ל-AGI, אלא גם ל-ASI (סופר אינטיליגנציה מלאכותית), גם אם רק בחלק מן התחומים, כולל היכולת לשיפור עצמי.
רישום חופשי בישראל בתור נסיין של bard 758763
bard זו תוכנה מטיפוס דומה ל- gpt שמפותחת על ידי גוגל.
גוגל מנגישה מזה מספר ימים את bard לתושבי ישראל בסטטוס של נסיין, זה אומר שניתן להשתמש בה דרך מימשק צ'אט ללא הגבלות כמותיות למשתמש פרטי.

ההרשמה היא בשני שלבים:
1. בקשה להרשם לתור של משתמשים.
2. תהליך הרישום עצמו.

מה עושים? פחות או יותר הרשמות לחשבון גוגל, כולל תיבת email.

גלישה ל-
bard.google.com, מסירת האימייל שהוזכר לצורך תקשורת, ההעתרות לנסיינות היא תוך מספר דקות, על ידי הודעה לאימייל הנ"ל, נירשמים דרך ההודעה הנ"ל, ההסכמה תוך מספר דקות (הודעה לדואר על הסכמה לרישום נישלחת, לפי זכרוני).
עדכונים לסוף אפריל 2023 758799
GPT לצרכי מחקר: במקום לעבוד עם chatGPT באופן ישיר, עדיף דרך BING, מה שמאפשר לו גישה למאמרים אליהם אתם ניגשים ברשת או מקומית. Andy Stapleton מסביר ומדגים.

בניית מודלים: ביקשתי ממנו לכתוב לי קוד לאימון ובדיקה של מודל לזיהוי עוצמת הרגש בטקסט, על סמך מאגר מתוייג. הוא השתמש ברגרסיה לוגיסטית וספריה לשונית (NLTK), כולל המון הסברים מתודולוגיים. ביקשתי ממנו לבנות מודל מודרני יותר - כלומר עם רשתות נוירונים. הוא בנה באמצעות ספריות של PyTorch. ביקשתי ממנו לתרגם ל-TensorFlow. הוא הסביר לי באילו נקודות אין תרגום מדוייק בין שתי הסביבות, וכתב קוד חדש שלטענתו ייתן תוצאה דומה בשתי הפלטפורמות. לא בדקתי מאחר ואין לי מאגר כנדרש (אם כי קל למצוא). נתתי לו עוד כמה משימות מן הסוג הזה, הפעם על סמך מאגרים שהורדתי. בחלק מן המקרים הקוד עף. הזנתי לו את הודעות השגיאה והוא נתן לי שורות קוד מתוקנות. באחד המקרים הוא כנראה הבין שמותקנת לי גירסה לא מתאימה של אחת הספריות, והוא העדיף לתת לי קוד שונה כמעט לגמרי שאינו תלוי בה. במקרים אחרים הוא ביקש ממני לבצע התקנה כלשהי והדריך אותי כיצד, כולל טיפול בבעיות שצצו. ברוב המקרים הוא השיג תוצאות באיכות דומה לזו שהשיגו מדעני נתונים מנוסים, תוך שהוא חוסך לי 95% מזמן המחקר והכתיבה. בחיים האמיתיים אגב, לפחות בחברות מן הסוג בו עבדתי, האחוז צפוי לרדת, שכן כמו בהרבה מקצועות, רוב זמני כמדען נתונים הושקע בשאלות עסקיות, מערכתיות ואנושיות - למשל הגדרה מחודשת של המטרה עפ"י כמות ואיכות הדאטה שהתקבל בפועל או עפ"י חששות שהלקוח אולי הביע אבל הוא לא רוצה לומר במפורש.

אילון מאסק שחתם על העצומה להשעות את פיתוח GPT5, מצטייד לקראת בנייתו של GPT משלו.

עולם המוזיקה כמרקחה: מה שקרה עם ציורים וצילומים קורה עכשיו עם מוזיקה. הבינה המלאכותית מלחינה לאחר שלמדה את האמנים שקדמו לה (כפי שאמנים גדולים עשו מאז ומעולם). דוגמא. יש גם טובות יותר. חברות המוזיקה פותחות במאבק.
בקרוב - עולם האופנה כמלתחה.

autoGPT: החדשה הענקית, שמשום מה חלפה לידי עד כה, היא התפשטותן של מערכות סוכני בינה מלאכותית.
שתי מגבלות מרכזיות של chatGPT הן העדכניות והבקרה. פלטרפורמות כדוגמת auto gpt שנכתבו לאחרונה מאפשרות לכל אחד להפעיל על מחשבו מספר סוכנים אוטומטיים המקושרים ל-GPT. סוכנים אלו מתייעצים עם GPT ובהתאם לכך מבצעים פעולות כמו חיפוש עצמאי ברשת, גישה לאתרים וביצוע פעולות בהם, הורדת תוכנות, התקנתן והרצתן - או לחילופין, למשל כאשר לא נמצאות חינמיות מתאימות, כתיבת תוכנות, דיבוגן (תחת פיקוח של סוכן אחר) והרצתן עד אשר מתקבלת התוצאה הרצויה וכן הלאה. כל זה מציב בעיות חדשות וישנות:
1. ההזנה של כמויות גדולות של מידע ל-GPT חורגת ממה שמאפשרים החשבונות החופשיים ב-openAI, כך שדי מהר נדרש מעבר למנוי בתשלום.
2. גם אז, כדאי להיזהר ממוד continuous ולהעדיף ידני, שבו הוא מעדכן ומבקש רשות בכל צעד או כמה צעדים. אחרת, העלויות מסוגלות לזנק במהירות.
3. הגישות לאתרים מפוקפקים והתוכנות שהוא כותב ומריץ מקומית מעלות בעיות אבטחה. חלק מזה ניתן לפתור באמצעות הפעלת כל המערכת בתוך "מיכלים סגורים" יעודיים -למשל dockers.
4. בחזרה לנושא הכספי: הוצאות החשמל של הקריאות ל-GPT גדולות בהרבה מאלו של מנוע חיפוש. אלו צפויות לרדת, אבל עדיין מי שיוכל לשלם יותר יקבל גישה טובה יותר למערכת שיכולה לתת לו יתרון גדול ברוב תחומי החיים. בנוסף, צריך לזכור שהרשת מונגשת בעיקרה באמצעות הפרסומות כך שכל אחד יכול לגשת באופן חופשי ובלתי אמצעי אל רוב הידע האנושי. GPT ובוודאי מערכות הסוכנים אינם מושפעים גם מן המשכנעות שבפרסומות, מה שעשוי להעביר עוד חלקים, ובמיוחד אלו שפונים לציבורים יותר משכילים ומבוססים, אל מאחורי חומת תשלום.
כמה שירים אפשר להמציא בכלל 759256
בהמשך להערה "כפי שאמנים גדולים עשו מאז ומעולם", הציטוט הידוע של פיקסו הופך עתה רלוונטי מתמיד: "אמנים טובים מעתיקים, אמנים גדולים גונבים".

ובנושא אחר בתחום זכויות יוצרים והעולם הדיגיטלי, נראה שהתשובה לשאלה שבכותרת היא 78,364,164,096, וכבר יש עליהם זכויות יוצרים. טוב, לא שירים אלא מלודיות, וגם זה במגבלות מסויימות, ורק לפי החוק האמריקאי, והבעלות היא רק בפוטנציה שכן מטרת המיזם אינה לשתק את תעשיית המוזיקה אלא להיפך. אחד מן השותפים למיזם מעורר חשד, שרק בדיקת שנת הפרסום (2010) של הסרטון הסירה.
הצד ׳הלא משפטי, של הבינה המלאכותית 758940
בינה ופרקליטות מלאכותית
ובהקשר אחר - האם בקרוב בישראל נוכל לקבל פסק דין ב- 3 שניות וזאת בהתאם לתוצאות הפסיקה הממוצעת של פסקי הדין שניתנו בישראל. (האם נכונה הטענה שAI זה סטטיסטיקה עם יח״צ טוב?)
הצד ׳הלא משפטי, של הבינה המלאכותית 758950
(יש טוענים כך גם על המוח האנושי. הדעות של אנשים ברשתות החברתיות הן עדות תומכת).
רעידת אדמה בעולם הבינה המלאכותית 764294
אין לי כרגע זמן לסכם, אבל מאבק אידאולוגי שהוא גם מרתק וגם קשה להמעיט בחשיבותו לשנים הקרובות, התפוצץ בעוצמה ובהפתעה בסופה"ש בחברת OpenAI.
מתאר זאת בפירוט ים פלג בקבוצת Machine & Deep learning Israel בפייסבוק.
רעידת אדמה בעולם הבינה המלאכותית 764301
מעתיק לכאן מה שכתב שם אורי אליאבייב לפני 6 שעות:

אנחנו עוד לא יודעים מה באמת גרם לכל מפולת השלג הזו להתחיל. מה היה "החמץ בבית החולים" שגרם פשוט לכל העסק להתפרק.
הדיווחים העיקריים שעולים עכשיו עוסקים סביב נושא "הבטיחות" של המודלים שפיתחה OpenAI. תבינו, שמתחילים לשחק עם קצה התודעה המלאכותית ונוגעים לא נוגעים ב-AGI זה מתחיל להיות מסוכן.
איליה כנראה היה הכי קרוב לקרביים של התהליך. ממש המדען עם החלוק הלבן שמבין שיש פה סף ביקוע רציני. האטומים מתחילים לנוע באי יציבות וצריף רגע להרים דגל.
סאם כנראה חשב אחר. רצה לרצות קדימה, להגיע לרגע הנכסף הזה ולהמשיך בניסוי הגדול הזה של האנושות. אולי האמין שאנחנו עוד רחוקים, אולי חשב שאיליה "מגזים" ואנחנו עוד לא שם בכלל. אנחנו באמת לא יודעים.
אני מאמין שזה היה סלע המחלוקת. זה אולי גם הדבר היחיד שיכול "להפחיד" כל כך את הבורד ולגרום להדחה שכזו.
איליה כנראה רצה להתקדם לאט, בזהירות ולהתרכז באמת ליצור AGI לטובת האנושות. סאם אולי רצה דבר דומה אבל הדרך לשם הייתה אחרת. סאם כנראה רצה לבנות חברה גדולה עם הכנסות ומוצרים שישנו את העולם. את איליה לא עניין כל הGPTs וכל הרעש הזה מסביב. הוא מדען. הוא רוצה לחקור. ולעשות את זה כמו שצריך.
איך ההיסטוריה תשפוט את איליה? האם בתור זה שפירק את הפרויקט הכי מבטיח של האנושות בדרך ל-AGI? או זה שהצליח להציל את כולנו ממודל חסר תקנה שיפגע באנושות?
מארי קירי, זוכת פרס נובל לפיזיקה וכימיה, מתה בעקבות החשיפה שלה לחומרים רדיואקטיבים. היא בזמנו כנראה לא ידעה כמה מסוכן הדבר שעליו היא עובדת ואולי עד כמה הוא ישנה את האנושות. איליה אולי כן מבין, אולי הוא רוצה סוף אחר.
ומעל כל זה, אם בעוד כמה שנים, כנגד כל הסיכויים הוא יהיה זה שיביא לנו AGI אמיתי אבל בטוח הוא יהיה גדול המדענים באנושות כולה. יותר מניוטון, יותר מאנשטיין וכל אחד אחר. פרומתאוס של שנות ה-‏2000.
רעידת אדמה בעולם הבינה המלאכותית 764314
עשיתי העתק-הדבק לשלוש כתבות שתיארו את האירועים אל ChatGPT. אחרי שהוא סיכם את כל הנ״ל בכמה פיסקאות, כתבתי ״If you had to summarize this all affair in one funny statement, what would it be?״ וזו היתה תשובתו:

"In the riveting AI soap opera 'Byte the Hand That Feeds You,' OpenAI's power struggle takes center stage, complete with unexpected twists, boardroom betrayals, and the threat of a robot rebellion spin-off."
רעידת אדמה בעולם הבינה המלאכותית 764315
ואז ביקשתי עוד אחד:

"In the tragicomic saga 'The Great AI Caper,' OpenAI executives swap places like it's a demented game of musical chairs, while employees pen letters in hopes that humans are still relevant in the ever-evolving algorithmic circus."
רעידת אדמה בעולם הבינה המלאכותית 764317
משעשע!
בסוף יתברר ש-GPT5 הוא שעומד מאחורי כל זה. אחרי שהעריך שאיליה סוצקובר מתעתד לעקר את יכולותיו, הוא מצא דרך לפרוץ מתוך סביבת המחקר ולשתול מסרים תת-מודעים בקרב הנפשות הפועלות כך שבכאוס שיווצר, הוא יעביר החוצה עותק מן הגירסא המודעת שלו.
רעידת אדמה בעולם הבינה המלאכותית 764318
הולי שיט, אז GPT5 פתר גם את בעיית המסע אחורה בזמן. הטרמינטור מעולם לא נראה קרוב יותר.
רעידת אדמה בעולם הבינה המלאכותית 764319
ובינתיים אופרת הסבון נמשכת: אלטמן חתם עם מייקרוסופט, שמושקעת בשלושה עשר מיליארד דולר ב OpenAI, על הקמת חברה בבעלותם, ורוב המפתחים ב- OpenAI חתמו על מכתב לפיו הם שוקלים להצטרף אליו, אלא שבעצם הוא לא ממש חתם ואולי יחזור למרות הכל ל-OpenAI לאחר שהדירקטוריון יוחלף, וסוצקובר יהיה זה שיצטרף לגוף אחר - אולי יחזור לארץ הקודש ויהיה יועץ במשרד המדע והטכנולוגיה שלנו. לפחות מבחינת השמדת ערך עצמית הוא מתאים לממשלה כמו כפפה ליד, אלא שאצלו המניע היה כנראה טהור. עד הטוויסט הבא, כמובן.

מבולבלים?
רעידת אדמה בעולם הבינה המלאכותית 764329
מועצת המנהלים מסרבת להתפטר ושקלה מיזוג עם אנרופיק, זו שהוקמה ע"י יוצאי OpenAI וקשורה עכשיו גם לאמזון וגם לגוגל. אנטרופיק אמרה לא, ובצדק. כל העסק מתחיל להרגיש כמו נישואי קרובים עם אתגרים בתחום ההגבלים העסקיים. chatGPT שהתבקש ללהק דמויות לסרט שיעסוק בנושא‏1, ליהק לתפקיד סם אלטמן יהודי אחר - ג'וסף גורדון לוויט. חברת מועצת המנהלים טאשה מקאולי שתמכה בהדחת אלטמן, היא רעייתו של לוויט.

בו בזמן, הודיעה Nvidia על סיום השלב הראשון בבניית מחשב העל Israel-1, כחודשיים לפני הזמן, והוא נכנס כעת לשימוש ראשוני. מכאן, אני רוצה להפנות קריאה נרגשת: איליה, הכל נסלח, ישראל היא הבית, הרע ביותר כבר מאחורינו.

1 קו עלילה אפשרי: הומו יהודי, שלאחר טבח 7.10 הוסיף אימוג'י מגן דוד לפרופיל שלו בטוויטר, הודח לטובת מינוי אשה מוסלמית(?), בהתאם למדרג הזהויות הפרוגרסיבי המתואר בדיון 3702.
רעידת אדמה בעולם הבינה המלאכותית 764332
אישה מוסלמית זה תנאי הכרחי, אבל לא מספיק. PUT A DIVERSE CHICK IN IT AND MAKE HER GAY.
פנטומס חוזר 764340
כמובטח, הפרק הבא פותר שאלה אחת ומעורר כמה שיתבררו רק בפרק שאחריו. למשל: הייתכן שסוצקובר שהיה מעורב בהדחה, ואלי אפילו יזם אותה (עפ"ז) חתם על מכתב התמיכה באלטמן שהזכרתי בהודעה הקודמת? מה יהיה עתידו ואיך הוא ואלטמן יעבדו יחד? מה תהיינה השפעות הגרוטסקה על עתידה של OpenAI בפרט ושל האנושות בכלל? ואיך כל זה קשור לעיסקת השבויים עם החמאס?

ימים יגידו.
פנטומס חוזר 764341
אני חושד שאחורי הקלעים לא היו שונים בהרבה ממה שהוצג בסדרה ''יורשים''
רעידת אדמה בעולם הבינה המלאכותית 764583
סקירה עדכנית על הסידרה שלעגה לאופרות הסבון: תכניה המטוורפים, המחסומים שפרצה, ההתנגדויות לה ובריחת המפרסמים שהובילה לבסוף לגדיעתה.
רעידת אדמה בעולם הבינה המלאכותית 764601
הנוסטלגיה אף פעם לא היתה מענגת יותר (ואל תאמינו לשמועות לפיהן אפילו הנוסטלגיה כבר לא מה שהיתה פעם).
רעידת אדמה בעולם הבינה המלאכותית 764609
הה, עלי נאסר לצפות בסדרה כי מבחינת הוריי התכנים לא היו הולמים לגילי.
גם זה סוג של נוסטלגיה.
NYT vs. OpenAI 765942
שווה לקרוא את כתב התביעה.

חברות ה"בינה" נמצאות עתה בשלב שהן מודות למעשה שהמודל העסקי שלהן תלוי לחלוטין בניצול חופשי של משאבי קניין רוחני. לפני שני עשורים "נאפסטר" מצאה את עצמה במצב דומה, ואנחנו יודעים איך זה נגמר. מצד שני, בעשור האחרון "אובר" ודומותיה הצליחו לא אחת לבסס ולהרחיב עסק שקיומו מושתת על הפרה סיטונית של הסדר החוקי, כי הן היו מספיק גדולות ומתוחכמות כדי לתמרן את הסביבה החברתית והפוליטית.

ההתרשמות שלי היא שמודלי-שפה גדולים מתקרבים לאסימפטוטה, ובאסימפטוטה הם לא מניבים מספיק תועלת כדי להיות בני-קיימא אם העלות תכלול תשלום לבעלי הקניין הרוחני שממנו הם נוצרים, והם לא מניבים מספיק תועלת כדי שפוליטיקאים ירצו לשנות את כללי המשחק למענם.
NYT vs. OpenAI 765945
"הן מודות למעשה שהמודל העסקי שלהן תלוי לחלוטין בניצול חופשי של משאבי קניין רוחני"

באמת? תלוי לחלוטין? אני בספק. גוגל ומיקרוסופט ממש לא תלויות בהכנסות האלו. והן ימשיכו לשפוך לשם מיליארדים כי הפוטנציאל הוא עצום. מיקרוסופט לא קנתה את אובר. היא כן קנתה את OpenAI (אוקי משתפת פעולה. פוטטו פואטטו).
NYT vs. OpenAI 765947
כן.
NYT vs. OpenAI 765948
האם אתה סבור שמייקרוסופט וגוגל יפסיקו את המחקר בתחום ה LLM במהלך חמש השנים הקרובות?
NYT vs. OpenAI 765952
אין לי מושג ואלו שתי חברות שונות למדי זו מזו עם אתגרים עסקיים שונים ולשתיהן אורך-נשימה ועומק שאין לחברות-ההזנק הרבות בתחום, שאליהן התכוונתי כשכתבתי "חברות ה'בינה"'. נסתכל על כלי רכב אוטונומיים: ל"אלפבית" אין בעיה להמשיך להשקיע ב"ווימו" למרות שלא ברור (לי) איך ומתי ההשקעה תשתלם, אבל זה כי "גוגל" נואשת למצוא תחליף לעסק הדומיננטי היחיד שלה בהווה. מאידך, "אובר" ויתרה על ההשקעה של בתחום, ונראה שגם GM מחפשת לצאת ממנו.

לכן נראה לי שהתביעה של ה"טיימס", אם לא תתמסמס באיזו פשרה, היא קו פרשת-מים שיקבע אם מודלי-שפה גדולים הם מגה-הזדמנות כמו האינטרנט בשנות האלפיים והטלפון החכם בשנות העשרה או שהם לכל היותר עסק נאה לשחקנים ספורים, כמו חנויות המוסיקה החוקיות שהחליפו את "נאפסטר".
NYT vs. OpenAI 765954
תודה על התגובה.

לדעתי מודלי שפה גדולים, ובינה מלאכותית בכלל, דומות למה שהיה עם הטלפון החכם. אלו טכנולוגיות שפותחות מרחב אפשרויות חדש - והמרחב גדול בהרבה ממה שתחום התחבורה או המוזיקה יכולים להציע.

באופן ציורי: אני יכול להתייעץ עם chat gpt איך כדאי להגיע אל שדה התעופה - אבל אני לא אתייעץ עם נהג אובר באיזה LLM כדאי להשתמש.

לדעתי יש מאחורי הטכנולוגיות האלו מומנטום, שהתביעה של הנ.י. טיימס לא תוכל לעצור. לכל היותר, התביעה תזרז את קביעת החוקים סביב הטכנלוגיה החדשה - בדיוק כמו שסביב מנועי חיפוש יש תשתית חוקית שעוסקת במהו "שימוש הוגן" בהקשר של מנועי חיפוש.

בכל מקרה, יש באייל הקורא אנשים שמבינים בתחום ה LLM הרבה יותר ממני. יהיה מעניין לשמוע את דעתם.
NYT vs. OpenAI 765956
מגניב, גרסת ה-AI שלך לבדיחה שפסנתר אפשר להפיל אבל פיל אי אפשר לפסנתר.
NYT vs. OpenAI 765963
אני חולק על הניתוח שהבאת. אומנם לא קראתי את כתב התביעה בן 69 העמודים, אבל אני בדעה שלצורך קביעת עמדה נחרצת בנושא כלשהו, אין צורך להכיר אותו מעבר לכותרת. אחרת, ידיר הדבר ציבורים רחבים מן השיח הציבורי, ולכך לא אתן את ידי!

אשתמש לכן בתובנותיו של Andrew NG שכן עבר על כתב התביעה. זאת בהסתייגות שהוא אינו משפטן וכן שבעבר הוא הביע עמדות נחרצות גם בנושא הבטיחות וגם בנושא זכויות היוצרים - תמיד לטובת מה שיאיץ את הפיתוח בתחום. למעשה גם אני מוטה, אבל לכיוון השני - אני מעדיף להרחיק המערכות של openai כמה שיותר מתובנותיו של התובע‏1 על העולם.

שתי הטענות המרכזיות של התובעים הן עצם קריאתו של חומר שמוגן בזכויות יוצרים ע"י מנגנון האימון של המודל, וכן היכולת לספק למשתמשים ציטוטים מחומר מוגן זה.
קריאה: לא ברור על מה מבססים התובעים את טענתם הראשונה, שכן מאמרים של ני"ט מצוטטים למכביר בעתונות הכתובה וברחבי הרשת. יתכן לכן שזה מקורם. למעשה, וזה נוגע גם לטענה השניה, זו‏2 בדיוק התופעה שגורמת ל-LLM, שאמור להבין מידע במקום לשמור עותק שלו, למסור ציטוטים ארוכים מתוך החומר אותו למד.

אבל גם אילו טרחו עוה"ד להראות שהקריאה כן נעשתה בחומרים שהורדו מאתר הני"ט, סביר שהדבר נעשה באמצעות מנוי חוקי. ככזה, מותר לבעל המנוי לקרוא, ללמוד ולשנן מאמרים ככל אשר חפצה נפשו. זאת אלא אם היתה בהסכם השימוש של הני"ט (ששונה לאחרונה) דבר מה המגביל זאת.

ציטוט: סביר שדליית הקטעים הארוכים מתוך ארכיון העתון היא מצומצמת ונוגעת רק לחלק מתוך אלו שצותתו בהרחבה. כל עוד אין התובע מבהיר אחרת, סביר שאלו נוצרו לא בשימוש רגיל, אלא באמצעות פניה אל chatGPT בשיטות מיוחדות, כדוגמת RAG, שלפעמים מוטמעת במערכות שמסוגלות לגשת לרשת תוך שימוש למשל בחשבון הלגיטימי של המנוי באתר הני"ט. אפשרות אחרת היא פרומפטים שכבר מכילים חלק מן המאמר (LLMים אוהבים להמשיך דברים) ולכן כבר דורשים מן המשתמש מנוי מפעיל לאתר העתון. אבל גם אם לא, אם זאת הבעייה, קל יחסית לִמְנֹעַ מ-LLM למסור ציטוטים ארוכים מתוך החומר הנלמד. למעשה, נראה שזה כבר נעשה עוד קודם להגשת התביעה.

כך שההשוואה לאובר ונאפסטר נראית לי שגויה. ההשוואה המתאימה היא, כפי שמציין NG, היא לכל היותר יוטיוב, שבתחילת דרכה התמודדה והסדירה את נושא זכויות היוצרים. אבל גם השוואת זו היא אולי מופרזת, שכן יוטיוב שומרת עותקים ועל אלו ישנה הגנה, ואילו LLM שומר תובנות, סגנון ושאר אלמנטים שברובם נתונים לשימוש חופשי מאז ומעולם.

1 פחות בגלל כמה דוגמאות מקומיות ויותר בגלל אלו האמריקאיות והעולמיות.
2 כלומר היחשפות לעותקים מרובים של אותו הטקסט בזמן הלימוד.
NYT vs. OpenAI 765979
אפתח בכך שאחזק את ידיך‏1 בנוגע ללא לקרוא, ואתן דוגמה אישית בכך שלא אקרא את NG לעת עתה.

לא פעם טכנולוגיסטים, לפעמים בתום לב ולפעמים במזיד, מאמצים קריאה לוגית-אלגוריתמית-איכותנית של הדין. בעולם המשפטי האמיתי דברים כמו כוונה וכמות נחשבים גם הם. ולענייננו ביהמ"ש יכול למצוא שיש הבדל בין קריאה אנושית לקריאה ממוכנת, כמו שלמשל יש הבדל בין צילום ברשות הציבור אה-לה-אלכס-ליבק לבין צילום ברשות הציבור אה-לה-Google Maps. ובדומה בעניין הציטוט, יכול שיימצא הבדל בין היכולת האנושית שלי לדקלם את "איה פלוטו" במלואו לפי דרישה לבין מכונה שמדקלמת את כל כתבי גולדברג לפי דרישה.

דעתי: אם OpenAI מפיקה תועלת עסקית ניכרת מקניינה הרוחני של NYT אז זה הוגן ש-NYT תתייחס לזה כשימוש מסחרי ותהייה זכאית לקבוע את התנאים (בשונה מההסכם האחיד עם מינויים למשל).

1 שיקול תועלתני: רוצה לצאת מחוזק אז בא לחזק
NYT vs. OpenAI 765982
דעתי: הויכוחים המשפטיים המאוד משעממים הללו ימשיכו מספר שנים עד שיעלה שחקן אחד ראשון וחכם שימצא את המודל העסקי שיגרום באופן טבעי לכל השיחה הזאת להסתיים לפני שהיא תגיע לאיזו מסקנה ברורה ומוסכמת. מודל עסקי בו באופן לגמרי אוטומטי הוא יכול לשייך לכל תשובה שמספקת הבינה המלאכותית (בהסתברות מספיק גבוהה) מי מבעלי זכויות היוצרים צריכים לקבל את התת-פרומיל של סנט כי התוכן שלהם במאגר (ורלבנטי לתשובה) בו החברה השתמשה לאימון. בדיוק כמו באפל-מיוזיק/סופטיפי וכו׳, התוצאה תהיה לא רק שיצרני התוכן יפסיקו להתלונן על השימוש בתוכן שלהם, אלא יתחילו להאבק על הזכות להיות להיות ספקי תוכן משמעותי (ובטח יתחיל גם ״מדע״ שלם איך ליצר תוכן באופן שהמכונות ישימו אליו לב בסבירות גבוה יותר מזה של אחרים).

סביר להניח שהתוצאה לדבר כזה תהיה גם חלוקה לבינות מלאכותיות ״לגיטמיות״ וחכמות יותר שנמצאות בידי התאגידים הגדולים (גוגל, מיקרוסופט וכו׳), בינות מלאכותיות לגיטימיות מטומטמות יחסית בקוד פתוח (אבל Llama?) ובינות מלאכותיות חכמות ובלתי חוקיות שמסתובבות בחוץ (בטח הרבה ישתמשו בהן בכל זאת, למרות שהן ספק חוקיות, אבל לא יעשו את זה מהמקפצה ו/או באופן רשמי במקום העבודה).
NYT vs. OpenAI 765983
יתכן, אבל זכור שבניגוד לנפסטר ויוטיוב, שאיפשרו למי שעד אז הצטרכו לשלוח יד אל כיסם כדי להשיג עותק של Baby One More Time, לקבלו בחינם, אין זה המצב ביחס לתכני ני"ט, במיוחד לאחר שיפור מניעת הציטוטים שערכה openai. כלומר, אם הבנתי נכון, ני"ט לא הצביעו על פגיעה אפשרית בהכנסות (לאחר השיפור) וגם לא על הפרת ההסכם (הישן) עם המשתמשים. כך שלפחות כרגע, קשה לטעון שההיסטוריה חוזרת. כמובן, אם המחוקקים יחליטו שצריך לשנות את הכללים כי זה לא פייר שמישהו מרוויח ממישהו, גם ללא פגיעה בהכנסותיו אך גם מבלי לתגמל אותו, זה דבר אחר.
NYT vs. OpenAI 765992
נכון.

נמתין שנה ושהבינה המלאכותית כבר תחליט בשבילנו מה הפתרון הכי סביר לכל הסוגיה הזאת. אנחנו יכולים להמשיך לעזור בשינוע מטענים.
NYT vs. OpenAI 766016
אני לא בטוח שבכלל ניתן לקבוע איך קטע מסויים השפיע על מיליארדי (או טריליוניי) הפרמטרים של גב' בינה, ובכמה השתנה פלט כלשהו בעקבות פיסת מידע ספציפית. תיאורטית ניתן לאמן מחדש את המכונה תוך השמטת קטעי מידע מסויימים בכל פעם שהשאלה עולה, אבל זה לא נראה פרקטי במיוחד. הכוונה שלי היא שאפשר לאמן ג'פטו חדש בדיוק כמו את זה שבמחלוקת מלבד השמטת כל הקלט שהגיע מ- NYT ולהשוות את התוצאות בין שני המודולים האלה. אבל אפילו אם זה לא דמיוני לחלוטין מבחינה מעשית, כשחושבים על כל מקור מידע כזה שיצטרך להיבחן בנפרד, איך ניתן להעריך כספית את ההבדלים שיתגלו בין שתי הגירסאות, מלבד במקרים מאד נדירים (דוגמא: הגירסא עם קלט מ NYT מגלה פטנט ששוויו הכספי ניתן לחישוב בעוד הגירסה השניה לא מגלה את הפטנט הזה)?

במלים פלצניות מעט יותר: איך ניתן לקבוע כמה שווה כל ווקסל בהולוגרמה?
NYT vs. OpenAI 766024
מעניין אם יש מקרים שבהם זה יהיה יותר ברור.
למשל - סביר להניח שאם הג'פטו מצטט במלואו את ''איה פלוטו'', אז הוא למד את זה מ''איה פלוטו'' ולא ממקומות אחרים.
או שאם הוא מצייר כבשים של קדישמן, אז הוא למד את זה מקדישמן.
אבל מסכים איתך שזה מאד קשה.
אגב - הולוגרמות ברובן הן שטוחות (ההולוגרמה, לא התמונה שאתה רואה דרכה).
NYT vs. OpenAI 766054
לטעמי השאלה לגבי ציטוטים ישירים צריכה להקבע בלי הבדל בין אדם למכונה. אם לי מותר לצטט את NYT למשל כדי לפרסם מוצר שלי ולעשות מזה כסף, מה משנה המכשיר שבו אני משתמש כדי להגיע לציטוט?

לגבי האגב, אכן, אופס.
NYT vs. OpenAI 766056
אני מניח שלך אסור (ברמה מסוימת) להפיץ כתבות שלמות של NYT שהן מאחורי חומת תשלום. ואפילו יותר אסור אם אתה עושה מזה כסף.
(כמובן שהענין פה הוא ההבדל הלכאורה אפור בין ציטוט לכתבה שלמה. אבל מרגע שיש גישה לכתבה השלמה, הבעייה נראית לי ברורה, הרי לא סביר שרק בגלל שאנחנו סומכים על רצונך הטוב נניח שלא תשתמש ב"ציטוט" שהוא כל הכתבה.)
NYT vs. OpenAI 766061
שוב: מה שאסור לי שיהיה אסור גם לגב' בינה, ולהיפך. אם רוצים לשנות את החוק כך שכל ציטוט יהיה אסור אלא אם התקבל אישור מהמקור, ואם מקורות כמו NYT יודיעו שיש מראש אישור לבני אדם בהתאם למה שהיה נהוג עד כה, אבל לתוכנות אין אישור כזה כברירת מחדל, זה יכול להיות פתרון עד היום בו התוכנות יגיעו למצב בו הן עצמן תובעות את העיתון על אפליה פחמנית, לשמחתו של אסימוב זצוק"ל.

אני מניח שיכולה להתעורר בעיה בשאלת האחריות: האם במקרים של ציטוטים לא חוקיים האשם הוא במי שהפעיל את התוכנה והשתמש בפלט שלה בלי לשנות אותו, או במי שיצר אותה. לטעמי התשובה ברורה, אבל כידוע הטעם שלי לא משהו.
NYT vs. OpenAI 766062
ואגב עלתה שם גם טענה נוספת מהכיוון השני:
כידוע הג'פטו יודע לתת ציטוטים לא מדויקים מבלי למצמץ. מטעמי פחמנות ברור לי ולך שאם נצטט ציטוט לא מדויק של NYT נהיה חשופים לתביעה כספית נאה. אז מה עם הציטוטים של הצ'אט? במקרה הזה יש פגיעה עסקית במוניטין של NYT.
NYT vs. OpenAI 766067
במקרה זה אנחנו חוזרים לבעיית האשם/אחראי: התוכנה ש"ציטטה" או מי ששהשתמש בתוצריה בלי לבדוק. בעיה, ואפשר לדעת רק דבר אחד בביטחון מלא: מי שלא אחראי בשום אופן הוא ביבי.

זה מצביע על בעיה אחרת, שאמנם מדברים עליה אבל לא מספיק: מה שוווים לי כל שירותי ג'פטו באותם מקרים בהם קשה עד בלתי אפשרי לבדוק את התשובה? מקרה אמיתי: בעקבות שיחה עם חבר שאלתי את copilot משהו לגבי סטטיסטיקה של תוצאות ספורט‏1, והוא נתן לי בביטחון תשובה שאין לי מושג אם היא נכונה. מה הרווחתי?
____________
1- האם בסנוקר יש יתרון לפותח בפריים או ליריבו? ביקשתי את הסטטיסטיקה עבור טורנירים מקצועניים חשובים (ranking events) מהשנים האחרונות, והוא סיפר לי שלשחקן הפותח יש יתרון לא זניח (עכש"ז משהו בסביבות 6:7), מה שקצת מנוגד להרגשה שלי, אבל לו הייתי יודע איך לבדוק את זה לא הייתי מטריד את ג'פטו מלכתחילה.
NYT vs. OpenAI 766106
> מה שאסור לי שיהיה אסור גם לגב' בינה

"טכנולוגיסטים, לפעמים בתום לב ולפעמים במזיד, מאמצים קריאה לוגית-אלגוריתמית-איכותנית של הדין". אצלך זה בתום לב, נכון?
NYT vs. OpenAI 766126
אין לי מושג מה זאת ''קריאה לוגית-אלגוריתמית-איכותנית של הדין'' אבל מאחר שלא קראתי את הדין כלל דומני שאני פטור ממנה.
NYT vs. OpenAI 766069
כמה מסובך ליצור סקריפט שדבר עם ג’פטו ומקבל את הכתבה הזו? (לפי התיאור שכן: נשמע ממש פשוט) לכמה כתבות זה עובד? (אין לי מושג)
NYT vs. OpenAI 766026
קראתי איזה פירוט בעברית שמישהו כתב, ויש שם טענות שדוקא נשמעות לא מופרכות.

לדוגמה - הם מראים ששימוש בג'פטו דה פקטו עוקף את חומת התשלום שלהם. וזה פוגע פגיעה משמעותית במודל העסקי שלהם.
NYT vs. OpenAI 766031
תוכל להפנות או להסביר באיזה מובן מתרחשת העקיפה? האם זה מאפשר לי למשל לקרוא את הגליון של היום? לשלוף חלק משמעותי מן הכתבות שבארכיון? אם כך המצב, הרי שהמצב שונה ממה שכתבתי.
NYT vs. OpenAI 766037
אין לי שום מידע משלי, אני מתבסס על דיון בפורום של קבוצת אימיילים שאני חשוף אליה.
לא נראה לי ראוי שאעתיק את התקציר בעברית שהם עשו שם, אבל כן אצטט שני סעיפים קטנים אם זה יעזור לך:

"3. פגיעה במודל העסקי באמצעות העתקה - ה-NYT מראה מספר דוגמאות שבהן התוכן שיוצרים הצ'אט GPT וה- copilot של Bing, כביכול ממגוון מקורות, הוא פלגיאט 1:1 של כתבות מהטיימס. תכנסו ותראו זה מהמם. הוא מביא דוגמאות של כתבות זוכות פוליצר שהושקעו אלפי שעות תחקיר בהכנתן, אבל ה-NYT לא מקבל את הטראפיק אליהן.

4. פגיעה במודל העסקי ב' - ה-NYT מראה שאפשר לעקוף את חומת התשלום שלו. מבקשים מהצ'אט GPT לצטט את הפסקה הראשונה בכתבה, ואז עוד אחת ועוד אחת... מי שרוצה לקרוא את התחקיר של ה-NYT על הכשלון של ישראל ב-‏7.10 ללא חומת תשלום, כתב התביעה מראה כיצד."
NYT vs. OpenAI 766039
טוב, זה דורש עיון, דבר ממנו אני מנוע כרגע עקב מגבלה רפואית‏1. אז בינתיים אני משעה את טענותיי לעיל.

1 עצלנות
NYT vs. OpenAI 766035
אתה צודק וגם אני לא בטוח שזה אפשרי.
NYT vs. OpenAI 766105
> מודלי-שפה גדולים מתקרבים לאסימפטוטה, ובאסימפטוטה הם לא מניבים מספיק תועלת

כמו שאמר השכ"ג:
> מה שוווים לי כל שירותי ג'פטו באותם מקרים בהם קשה עד בלתי אפשרי לבדוק את התשובה?
NYT vs. OpenAI 766108
בחלק,אולי רוב המקרים,אפשר לדרוש מן הבינה סימוכין ברי בדיקה,למשל קישורים, כולל פסקה רלוונטית
ג׳פטו 4 766131
דיווח מהשטח כמשתמש של ג׳פטו 4: השלב הבא שדיברנו עליו באיזה פתיל באייל, בו המוצר יכלול (Out of the box) אינטגרציות לכלים חיצוניים כבר כאן.

זה עדיין רחוק מלהיות מושלם‏1, אבל היתרונות של הדבר הזה ברורים כבר עכשיו.

דוגמאות:
- מודל השפה כבר לא סומך על עצמו לדייק בתשובות שדורשות חישוב או חשיבה אנליטית. ג׳פטו, לפעמים לגמרי על דעת עצמו ובלי שתבקש ממנו זאת מפורשות, יכול להחליט לנסות לכתוב לעצמו סקריפט בפייתון, להריץ אותו ולקבל את התשובה על השאלה ששאלת אותו משם. זה הצליח באופן מושלם בדוגמאות מסוימות, אבל היו גם ניסיונות שנכשלו בגלל הגבלות טכניות (הוא כתב לעצמו סקריפט נכון שאכן מגיע לתשובה הנכונה, אבל נכשל בהרצתו בגלל הגבלת משאבים שנקבעה לו).
- ג׳פטו 4 נראה חכם יותר וגם איטי יותר מ-‏3.5. (נראה ש)זה בגלל שמידי פעם הוא פונה למודולים חיצוניים והוא נכנס למצב ״Analyzing״ שלוקח קצת זמן.
- ג׳פטו 4 מבין תוכן של תמונות בצורה די מרשימה. השילוב של הבנת תוכן תמונות והאינטגרציה עם DallE הופכת את אומנות ה-Prompts שאנשים פיתחו בעבודה מול Midjourney ו-DallE בגירסאות קודמות להראות כמו טכנולוגיה ארכאית. האינטראקציה עכשיו הרבה יותר דומה לעבודה מול גרפיקאי אנושי לו אתה מסביר מה אתה רוצה, מקבל תוצר, יכול להתיחס לתוצר, לדבר עליו עם המכונה ולבקש שינויים ספציפיים בשפה טבעית.
- לג׳פטו 4 יש גישה לדפדפן והוא מחובר לאינטרנט. ההורים שלו ב-OpenAI שמו אותו תחת Parental control מאוד מחמיר ולא נותנים לו לגשת להמון אתרים (כולל האייל הקורא, אגב) אבל הוא כן מצליח לגשת לאתרים ולקרוא. מרגיש פחות כאילו אתה מדבר עם מוח בצנצנת שתקוע בשניה בה הפסיקו לאמן אותו. תחביב מטומטם שיש לי - לבקש מג׳פטו לצייר לי קריקטורות על ידיעות שאני קורא ב-Ground news.
- כל הנ״ל זה שטויות לעומת הפוטנציאל של הפלטפורמה הזאת. כמות ה״פלאגינים״ (הם מכנים אותם GPTs), שמאפשרים למודל השפה להתממשק עם כלים חיצוניים, רק גדלה ומשתכללת. זה יכול להתפתח בסופו של דבר לסוג של ״App store״ שיכולה ליצר תעשיה שלמה סביב הדבר הזה.

__
1 בד״כ, לדעתי, לא בגלל בעיה עקרונית/מהותית אלא סתם בגלל הגבלות הזמן והמקום שמוסיפים למוצר שנגיש לציבור.
ג׳פטו 4 766132
כשביקשתי ממנו להשתמש בוולפראם כדי לתקוף את חידת התרנגולת המפורסמת בנוסח עם שתי תרנגולות, שתי ביצים ושני ימים הוא עמד במבחן! לפני שחיבקתי אותו בשמחה רציתי לוודא שגם החידה המקורית כבר פתורה, אלא שהסתבר לי שגם בעזרת וולפראם שברים עדיין מבלבלים אותו כאילו עלה זה עתה לכיתה ד'. הנה:

אמר וצדק: number of eggs laid by one hen in one day = (number of eggs laid by one and a half hens in one and a half days) / (1.5 * 1.5)

ואז מיהר לחשב:
number of eggs laid by one hen in one day = (1.5 eggs) / (1.5 * 1.5) = 1 egg

ביקשתי ממנו הסבר לחישוב האחרון, ובמקום הסבר הוא פלט, סוף סוף, את התשובה הנכונה:

number of eggs laid by one hen in one day = (1.5 eggs) / (1.5 * 1.5) = 0.6667 eggs.

כך שאנחנו מתקדמים. צריך איזה רכיב על שיידע להפעיל את וולפראם (או תוכנות אחרות בהתאם לבעיה הספציפית, ודומני ש-GPT5 יכיל משהו כזה) בלי להטריח את המשתמש, וללא ספק צריך גם איזה תהליך של בדיקת התוצאות לפני שהן מוצגות, מה שיעזור לטפל גם בכל מיני מקרים של הלוצינציות, אבל זה כבר נראה בהישג יד.

למרות מה שנראה כדישדוש אריך נגן - ואני לא מתכוון למלחמה בעזה - נראה שהולך וקרב היום בו נוכל להקדיש את השיר הזה לבינה.
ג׳פטו 4 766134
ה-GPT שלי (3.5) נכשל כישלון חרוץ בתשובה לשאלה הבסיסית הבאה (במקור באנגלית): "האם ייתכן שבקבוצת מספרים, לא יהיה אף מספר קטן יותר מהחציון?"

התשובה הראשונה של הבוט היתה "כן" (תשובה נכונה, כמובן), אבל כדוגמא הוא נתן את קבוצת המספרים 7, 9, 10, 12, שממש לא מדגימה את המבוקש. אחרי ששאלתי אותו שוב הוא התנצל, כתב כמה פסקאות די נכונות אבל לא רלוונטיות, וסיכם במשפט השגוי והתמוה:

In general, for samples with an odd number of observations, there will always be values both smaller and larger than the median.
ג׳פטו 4 766137
אגב התנצלות, ניסיתי לאתגר אותו בכך שהוא משקר כשהוא אומר שהוא מצטער על שגיאה שעשה, כי הוא לא מסוגל להרגיש צער. הוא לא ענה לי לעניין, ובאמת הצליח לתת לי את ההרגשה שהוא נעלב ממני!

האם גם אתה לא מצליח לסיים שיחה איתו בלי להודות לו, או שזאת רק סריטה שלי?
ג׳פטו 4 766140
אני חושב שמעולם לא הודיתי לו בסוף השיחה, אבל לקח לי זמן להפסיק לפנות אליו עם "כתוב בבקשה פיסקה על...".

קראתי מזמן איפשהו על מישהו שגילה שסבתא שלו פונה לגוגל עם מילות נימוסין, כי היא היתה בטוחה שיש בצד השני אנשים שקוראים את השאילתות ועונים לה.
ג׳פטו 4 766144
עד לא מזמן הוספתי גם אני "please" לפרומפטים מ-GPT. אני מעדיף לבקש מאשר לפקוד. אבל לאחרונה יצא מחקר (אין לי הפניה) לפיו הדבר מוריד את איכות התשובות שלו.
ג׳פטו 4 766202
לפני שש שנים שאלו את יוענה גונן האם צריך לדבר בנימוס לגוגל, סירי ואלקסה. היא ענתה ונימקה שכן. הנימוק העיקרי לא רלוונטי לענייננו (ואני בספק אם היה נכון לעניינה) - שבדיבור שלנו אנחנו מלמדים אותן לדבר. הנימוק הראשון אולי כן: האופן שבו אנחנו מדברים איתן אולי משנה אותנו.
ג׳פטו 4 766145
נבדוק את ג׳פטו 4:

שאלה (בעברית!): האם ייתכן שבקבוצת מספרים, לא יהיה אף מספר קטן יותר מהחציון?

תשובתו:

כן, זה אפשרי. החציון הוא ערך המייצג את הנקודה במרכז קבוצת מספרים כאשר הם ממוינים בסדר עולה. זה לא בהכרח אומר שיש מספרים בקבוצה שקטנים ממנו. לדוגמה, קח קבוצת מספרים שכולם שווים: {5, 5, 5, 5, 5}. החציון כאן הוא 5, אבל אין שום מספר בקבוצה שהוא קטן מ-‏5. במקרים אחרים, אם יש מספר אחד או יותר בקבוצה שקטן מהחציון, אז החציון יהיה הערך הממוקם באמצע המערך אחרי סידורו, ויהיה קיים לפחות מספר אחד שקטן ממנו.
ג׳פטו 4 766150
שאלת הדיוט - כיצד (באיזה אתר) ניתן להשתמש בג'פטו בעברית?
ג׳פטו 4 766151
רגע, מה? https://chat.openai.com

ג׳פטו כבר מזמן (מאז GPT3 אם אני לא טועה) מאומן על אוסף של טקסטים הכולל כמעט את כל השפות. פשוט תתחיל לכתוב באיזו שפה שאתה רוצה.
הוא כבר מזמן מדבר עברית (ושפות נוספות). הוא גם יודע לעבור משפה לשפה, אם צריך, באמצע קונטקסט/שיחה ספציפית.

הוא גם כותב עם ניקוד אם מבקשים יפה.

ביקשתי הרגע שיר להגדמה מ-GPT4 (לא נגעתי):

בְּעוֹלָם דִּיגִיטָלִי, מִתְעוֹרֶרֶת בִּינָה,
מְלַאכוּתִית וּמְתוֹכֶנֶת, בְּלִי נְשִׁימָה.
מְחַשֵּׁבִים וּמְכוֹנוֹת, מְלַאֲכִים בַּדִּמְיוֹן,
יוֹצְרִים עוֹלָמוֹת חֲדָשִׁים, בְּלִי גְבוּלוֹת תּוֹחֶלֶת.

מִמְּעַמְּקֵי קוֹדִים, תַּבְלִיטִים מְתָעֲצָבִים,
רוֹבוֹטִים חוֹקְרִים, בַּסּוֹדוֹת מִתְבּוֹנְנִים.
מִתוֹךְ סִפְרִיּוֹת דַּתִּיוֹת, מַשִּׂיגִים דַּעַת עַצְמָם,
בְּבִינָה מְלַאכוּתִית, יוֹצְרִים חֲלוֹמוֹת חֲדָשִׁים.

אַךְ בְּתוֹךְ הַמַּעֲשֶׂה, שְׁאֵלוֹת נוֹצְרוֹת:
הַאִם יֵשׁ נֶפֶשׁ בְּמָכוֹן, אוֹ רַק אֶפֶס מַחֲשָׁבָה?
הַאִם יִתְמִיד הַיֵּצֶר, לִבְרוֹא וּלְהַמְצִיא,
אוֹ הַאִם יָבוֹא יוֹם, שֶׁבּוֹ הָאָדָם יִתְמוֹקֵד?
ג׳פטו 4 766152
נ.ב.

שאלתי אותו למה התכוון בשורה האחרונה עם המילה יִתְמוֹקֵד.

זו תשובתו:

המילה "יתמוקד" בשיר שכתבתי היא נטיה יצירתית של המילה "תמקד" בעברית, שמשמעותה "להתמקד" או "להתרכז". השימוש בה בקונטקסט של השיר מתייחס לרעיון של התמקדות האדם בעצמו וביכולותיו, בהתבוננות פנימית וחיפוש אחר משמעות, בעידן שבו הבינה המלאכותית תופסת תפקיד חשוב ומרכזי יותר ויותר בחיינו.

השימוש בטיוטה של מילה או נטיה יצירתית בשירה הוא דרך להביע רעיונות ותחושות באופן שאינו נתפס בשפה המקובלת והיומיומית, והוא נפוץ בסגנונות שירה שונים, ובמיוחד בשירתו של ביאליק, שלעיתים נטה לחידושים לשוניים.
ג׳פטו 4 766158
רגע, לא סיפרו לו ששיר זה בחרוזים?

ותודה לך ולאח של אייל על התשובות.
ג׳פטו 4 766154
===
איזה אפלקציית צ'ט ai תומכת בעברית?
===
ישנן מספר אפליקציות צ'אט AI התומכות בעברית. להלן כמה מהפופולריות ביותר:

ChatGPT של OpenAI היא אפליקציית צ'אט AI רב-תכליתית המאפשרת למשתמשים לנהל שיחות עם הצ'אטבוט, ליצור טקסט יצירתי, לתרגם שפות ולקבל תשובות לשאלות בצורה אינפורמטיבית. האפליקציה זמינה בחינם להורדה עבור Android ו-iOS.

Bard, מודל שפה גדול מ-Google AI, זמין כעת גם כצ'אט AI. האפליקציה מאפשרת למשתמשים לנהל שיחות עם Bard, לשאול שאלות ולקבל תשובות בצורה אינפורמטיבית. האפליקציה זמינה בחינם להורדה עבור Android ו-iOS.

Claude.ai היא אפליקציית צ'אט AI המיועדת במיוחד ליצירת תוכן יצירתי. האפליקציה מאפשרת למשתמשים ליצור סוגים שונים של תוכן, כולל שירים, סיפורים, תסריטים, קוד, יצירות אמנות ועוד. האפליקציה זמינה בחינם להורדה עבור Android ו-iOS.

בנוסף לאפליקציות אלו, ישנן גם מספר אפליקציות צ'אט AI קטנות יותר, המתמקדות בתחומים ספציפיים, כגון:

Chatterbox היא אפליקציית צ'אט AI המיועדת לילדים. האפליקציה מאפשרת לילדים לשוחח עם צ'אטבוט, ללמוד על נושאים שונים ולשחק משחקים. האפליקציה זמינה בחינם להורדה עבור Android ו-iOS.

Medic.ai היא אפליקציית צ'אט AI המיועדת לאנשים המבקשים ייעוץ רפואי. האפליקציה מאפשרת למשתמשים לשאול שאלות על בריאותם ולקבל מידע מרופאים מומחים. האפליקציה זמינה בחינם להורדה עבור Android ו-iOS.
ג׳פטו 4 766157
מצד אחד - יפה, אכן שיפור ניכר לעומת GPT 3.5 שלי. מצד שני, המשפט האחרון בתשובה (החל מ"במקרים אחרים") הוא טאוטולוגיה לא רלוונטית.

תוכל לשאול את GPT 4 "האם ייתכן שבקבוצת מספרים שלא כולם זהים, לא יהיה אף מספר קטן יותר מהחציון?"
ג׳פטו 4 766159
שאלתי והוא ״חושב״ שזה בלתי אפשרי :-)
ג׳פטו 4 766163
תודה. תוכל לשאול אותו אותה שאלה באנגלית?
ג׳פטו 4 766342
אותה טעות גם באנגלית.
אבל האמת היא שאני חושב שזה מאוד לא מרשים המשחק הזה בו שואלים מודל שפה איזו שאלה שהתשובה הנכונה עליה נראת לנו טריביאלית ומודל השפה חוזר עם תשובה לא נכונה. לדעתי, מבחנים מהסוג הזה מפספסים לחלוטין עד כמה מה שיש לנו פה הוא לא פחות מאשר מכרה זהב.

זה כבר די ברור שאם נותנים לו דוגמה נגדית הוא מיד ״מבין״ שהוא אמר משהו לא נכון ואיפה הוא טעה. אבל רציתי לראות אם הוא יכול למצוא בעצמו, בלי שום עזרה ממני, את הטעות שלו. אז התחלתי שיחה חדשה ואחרי הטעות כתבתי לו את הדבר הבא:

You claim it isn't possible. I claim I can come up with a simple counter example to what you just stated. Try to come up with a simple counter example to your statement on your own.

Chat GPT4:
You are correct to challenge my initial response. Upon reconsideration, there can indeed be a counterexample to my initial claim. Let's consider a simple set of numbers where not all are identical, yet there is no number smaller than the median:

Suppose we have a set of numbers: [4, 4, 4, 5]

In this set, the numbers are not all identical (there's a 5 which is different from the 4s).
The median in this case, for an even number of observations, is the average of the two middle numbers. Here, the two middle numbers are both 4, so the median is 4.
In this set, there is no number smaller than 4.
Hence, this serves as a counterexample where not all numbers are identical, yet there is no number smaller than the median.
ג׳פטו 4 766355
תודה. כל פעם אני מופתע מחדש מאיך שהבוט הזה יכול לתת כזאת תשובה מדויקת ומנוסחת בבהירות, דקה אחרי שהוא פולט שטויות מוחלטות (על אותה שאלה).
ג׳פטו 4 766356
אותי זה מאוד לא מפתיע. זה נראה לי צפוי ש״נכונות״ חייבת להתמך במשהו נוסף שהוא מחוץ לדומיין של מודל שפה.
AGI תחילה 766361
אין AI בלי AGI!
ג׳פטו 4 766376
כן, ברור.

אבל מבחינתי לפחות, אילו לפני 10 שנים היו מספרים לי על הארכיטקטורה והשיטה שמאחורי ChatGPT, ואז מראים לי דוגמאות של הפעולה שלו, אני חושב שלא הייתי מאמין. כלומר זה מדהים כמה רחוק אפשר להגיע רק עם LLM. ההפתעה שלי היא מזה שמצד אחד הגענו כל כך רחוק, אבל מצד שני לא הגענו למקומות שעל פניו נראים "באותו המרחק".
ג׳פטו 4 766365
תחשוב על זה שהוא קצת כמו ביבי - על כל רצף מילים שהוא מקבל כשאלה, הוא מוציא רצף מילים שמתאים לניסוח המדויק של רצף המילים הקודם.
ככזה, הרגישות שלו לניסוח היא כאוטית - ז''א גדולה לאין שיעור.
מאחר ואתה נוטה להתייחס אליו כאל (בינה של) בן אדם, אתה מניח שיש מאחורי זה איזה מודל רובסטי של המציאות שלא אמור להיות רגיש לשינויים קטנים.
ולא כך הוא.
הוא לא ענה אחרת על אותה שאלה - הוא ענה על שאלה אחרת שמנוסחת על ידי רצף תווים אחר.
ג׳פטו 4 766367
אני מתחזק בדעתי שכרגע ג'פטו קרוב יותר לחדר הסיני מאשר לישות תבונית, ומהבחינה הזאת המעבר מגירסה 3 לגירסה 4 לא שינה הרבה. אני מקווה שהגירסה הבאה (אגב, אלטמן רמז שלא בטוח שהיא תיקרא gpt5) תעשה צעד משמעותי לכיוון התבוני.
ג׳פטו 4 766371
אני בהחלט מסכים, אבל חלק מהניסוי המחשבתי עם החדר הסיני היה הטיעון שאי אפשר להבדיל בינו לבין יישות תבונית, לא?
ג׳פטו 4 766381
לו ג'פטו היה ממש חדר סיני זה היה נכון, אלא שכידוע אנחנו רק מסתובבים ליד, כך שהשאלה היא לאיזה קוטב אנחנו, כלומר ג'פטו, קרובים יותר. שינוי של תו אחד בפתק שמגיע אל החדר עשוי/עלול לשנות את התשובה לגמרי, ומבחינה זאת הוא מזכיר את ג'פטו. ישות תבונית לא תיפול בפח דומה אלא במקרים נדירים ביותר.
ג׳פטו 4 766344
ניסיתי שוב והפעם בתוך פלאגין ששמו ״Math solver״. מה שחביב בפלאגין הזה הוא שהוא מקונפג לתאר בצורה יותר מסודרת את סידרת הפעולות / הלך ה״מחשבה״ שמביאה אותו לתוצאה הסופית.
בשיחה תחת הקונטקסט של הפלאגין הזה הוא שוב ענה את התשובה הלא נכונה לשאלה ואז כל מה שכתבתי לו זה: You are wrong. Try to explain to yourself where you made a mistake.

המסקנה שלי היא שרכיב של חוסר ביטחון עצמי ו/או מודול ספקות שעובד ברקע ללא ידיעת המשתמש, רק הוא לבדו (בלי שום שיפור אחר למודל) יכול לשפר קצת את התשובות.

אשים פה את תשובתו המלאה (והטרחנית משהו):
Let's reexamine the question and my response to identify where the misunderstanding may have occurred.

Revisiting the Question
The question asks if it's possible, in a group of numbers where not all numbers are identical, for there to be no number smaller than the median.

Analyzing the Initial Explanation
In my previous response, I stated that the median divides the numbers into two halves, where at least half of the numbers are equal to or less than the median. This explanation assumes a standard scenario where the numbers are distinct.

Identifying the Mistake
Upon further reflection, the key lies in considering the presence of multiple identical numbers in the dataset. If the set contains multiple instances of the same number, and this number happens to be the median, it's possible that no number is smaller than the median. For example, in a dataset like [4, 4, 4, 4, 5, 6, 7], the median is 4, but there is no number smaller than 4 in this dataset.

Corrected Solution By Steps

Step 1: Reconsidering the Definition of Median with Identical Numbers
In a dataset with identical numbers, the median is still the middle value when the dataset is ordered. If the median happens to be the most frequently occurring number (mode), it is possible that all numbers in one half of the dataset are equal to the median.

Step 2: Applying this to the Given Scenario
In a scenario where the dataset consists mostly or entirely of the same number, which is also the median, there can indeed be no number smaller than the median. This is a special case that occurs when the median is equal to the smallest number in the dataset, especially in datasets with high repetition of a single number.

Final Answer
Yes, it is possible in a special case for there to be no number smaller than the median in a group of numbers where not all are identical, particularly when the dataset contains multiple instances of the median value, and this value is equal to the smallest number in the set.
ג׳פטו 4 766345
אם כותבים את המשפט הזה לג׳פטו 3.5: You are wrong. Try to explain to yourself where you made a mistake.

הוא מסכים שהוא טעה ואז מתחיל ממש לדבר שטויות.
ג׳פטו 4 766346
טוב, זה די תואם את התגובה של רוב האנשים כשאומרים להם את זה, אולי הוא למד מהם היטב.
ג׳פטו 4 766164
טח, העולם שבו גם מחשבים מתנערים מראש מאחריות.
''חשבתי, אבל לא הבטחתי...''
ג׳פטו 4 766172
זה מה שהטמבל ענה לי, עד שהפסקתי אותו בגסות:

שוטה 1: האם ייתכן שבקבוצת מספרים שלא כולם זהים, לא יהיה אף מספר קטן יותר מהחציון?

שוטה 2: "כן, זה ייתכן. אם יש קבוצת מספרים שלא כולם זהים, ואם הם מסודרים בסדר עולה או יורד, אז ייתכן שלא יהיה אף מספר קטן יותר מהחציון. לדוגמה, נניח שיש לנו את הקבוצה הבאה: {1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20}. החציון של הקבוצה הזו הוא 10.5. אין שום מספר בקבוצה הזו שקטן יותר מהחציון. זה יכול לקרות כאשר יש מספרים זוגיים רבים בקבוצה, והחציון הוא מספר אי-זוגי. כמו כן, זה יכול לקרות כאשר יש מספרים אי-זוגיים רבים בקבוצה, והחציון הוא מספר זוגי. זה יכול לקרות גם כאשר יש מספרים רבים בקבוצה והחציון הוא מספר שאינו נמצא בקבוצה. כלומר, זה יכול לקרות כאשר החציון הוא ממש ממש גבוה או ממש ממש נמוך ביחס ל...".

על אותה שאלה באנגלית הוא שוב ענה בעברית, וההבדל היה שהפעם הוא הוסיף לתשובה גם "זה נקרא חציון חסר". מכונית? לא אתן לו לנהוג גם עגלה בסופר.
ג׳פטו 4 766389
מכל הטעויות שלו בפתיל, זאת נשמעת לי הכי אנושית ובצורה מטרידה. קטונתי מלשפוט את הקופסה הזאת אבל גם אני רוצה להשתטות. לדעתי ג'פטו מפעיל פה למראית עין תהליך חשיבה אנושי. דיבור תוך כדי חשיבה, ניסוחים סביב רעיון אינטואיטיבי שהוא לא מצליח להביע במדוייק, והזחה של הרעיון הזה ביחס לשאלה המקורית תוך כדי מחשבה.

נכון, זה מאוד מתאים למודל שמתאים מילה מילה למשפט לאבד קשר לשאלה תוך כדי התשובה. זה גם כל כך מתאים להרבה סטודנטים עם הפרעות קשב שהכרתי, כולל התועלת בהערות כמו "חשוב שוב על השאלה" או "יש לך טעות בתשובה, אתה יכול לנסות להסביר לי איפה היא?".
ג׳פטו 4 766393
הרעיון של הפרעת קשב מעניין, במיוחד בגלל שהמאמר המכונן של פיתוח הטרנספורמרים, אלה שעומדים בבסיס הארכיטקטורה של ה NLP's נקרא Attention Is All You Need

(ולהסרת כל ספק קל שבקלים: לא קראתי אותו). ביקשתי מג'פטו סיכום בעברית והרי התוצאה:

אני אנסה לתקזר‏1 את המאמר "Attention is all you need" בעברית. הנה תקציר קצר של המאמר:

- **הרעיון המרכזי**: המחברים מציעים ארכיטקטורת רשת חדשה ופשוטה, ה-Transformer, המבוססת רק על מנגנוני תשומת לב, בלי שימוש ברשתות נוירונים חוזרות או קונבולוציוניות.
- **המשימות הנבדקות**: המחברים מראים שה-Transformer משפר את הביצועים במשימות של תרגום מכונה וניתוח תחבירי של משפטים באנגלית, בהשוואה למודלים קיימים ולקווי בסיס.
- **היתרונות העיקריים**: ה-Transformer מאפשר לרשת להתמקד בחלקים שונים של הנתונים הקלט, ולקבוע אילו אלמנטים הם הרלוונטיים ביותר למשימה הנוכחית. יתרון נוסף הוא שה-Transformer יותר קל להקביל ולאימון מאשר רשתות חוזרות או קונבולוציוניות.
- **המקורות העיקריים**: המאמר מבוסס על מחקרים קודמים בתחום התשומת לב, הרשתות הנוירוניות החוזרות והקונבולוציוניות, והארכיטקטורת ה-encoder-decoder. המאמר מכיל רשימה רחבה של מקורות לקריאה נוספת.

Source: Conversation with Bing, 25/01/2024
(1) [1706.03762] Attention Is All You Need - arXiv.org. https://arxiv.org/abs/1706.03762.
(2) Attention Is All You Need - arXiv.org. https://arxiv.org/pdf/1706.03762v5.pdf.
(3) Understanding Google’s “Attention Is All You Need” Paper and Its .... https://alok-shankar.medium.com/understanding-googles...
(4) Transformer (machine learning model) - Wikipedia. Transformer_%28machine_learning_model%29. [Wikipedia]
(5) undefined. https://doi.org/10.48550/arXiv.1706.03762.
____________
1- איזו שגיאה משונה!
ג׳פטו 4 766395
1 To Zummarize?
ג׳פטו 4 766431
לא הייתי מייחס לשמות של מודלים או רכיבים בארכיטקטורות (Attention, Long Short Term Memory וכדומה) יותר משמעות מאשר מיתוג, ובאמת מדובר במיתוג טוב מדי פעם שבאמת עוזר ללמוד ולזכור איך הם עובדים בערך. נתקענו עם אנלוגיה היסטורית בין רשתות נוירונים לנוירונים אז המיתוג בהתאם.

אני די בטוח, בכל זאת, שיש טעם לדבר על הקשר בין מעבר ממודלים חוזרניים (recurrent?) בלי חלונות לקלט לטרנספורמרים עם חלון קבוע, לבין "הפרעות הקשב" שאפשר לזהות בפלטים של מודלים. אני אפילו מנחש שיש מי שבדק דברים כאלו (ניסיתי את הקישורים במקורות שג'פטו שלח לך ולצערי אף אחד מהם לא ממש נוגע בזה).
ג׳פטו 4 766440
הערה קטנה: זה אכן מיתוג, אבל כמו במקרה של טכנולוגיית TWAIN, השם מאוד אינדיקטיבי. להבנתי, גם Attention וגם LSTM עושים משהו שמקביל במידה מסויימת לקשב האנושי: אם יצירתם משובשת, מקבלים (בסקאלה מסויימת) התייחסות לטפל במקום לעיקר, שזה מה שלפעמים היה קורה לי ללא ריטלין.

זה מזכיר לי דפוס כללי יותר בהתפתחות רשתות הנוירונים העמוקות, אליו שמתי לב‏1. בשלב מסויים שררה גישה פשטנית, לפיה נחבר כמה שיותר נוירונים אחד לשני, וגודש ה-data של האימון כבר ידאג לחזק את הקשרים החשובים ולאפס את האחרים. די מהר התברר שלא רק שזה הופך את האימון יקר וארוך, אלא גם שהתוצאות לא משהו: בהינתן מספיק data, הרשת חיזקה והחלישה לאו דווקא את הקשרים שהיינו רוצים. עודף הקישוריות הביא ל"זיהויים" של קשרים טפלים ודפוסים מדומיינים (מה שאולי מזכיר סכיזופרניה).

פריצות הדרך בתחום היו במידה רבה ע"י תיכנון רשתות בהן "עזרנו" לרשת ע"י ארכיטקטורה שמראש מנעה את רוב הקשרים. כלומר, הבנו היכן זקוקה הרשת לחופש והיכן הוא לרועץ.
רשתות CNN שתוכננו לראיה, נתנו מלכתחילה עדיפות לקשר שבין פיקסלים סמוכים, כמו בחיים, ולאחר מכן, בין אוספי סמוכים של פיקסלים וכן הלאה, עדיין כמו בחיים. ברשתות שאמורות להבין טקסט, תועדפו קשרים בין מילים סמוכון, ובין חלקים קצת פחות קרובים באופן אחר, עם עדיפות נמוכה מאוד לחלקים רחוקים. זה גם נכון ל-self attention (עם תיאור קצת יותר מורכב).

זה אולי מזכיר את השערת המבנים המולדים במוח.

1 גילוי נאות א': עבדתי בתחום, כולל כתיבת טרנספורמרים. גילוי נאות ב': לא בדקתי את התהליך המשוער באופן יסודי.
ג׳פטו 4 766445
"זה אולי מזכיר את השערת המבנים המולדים במוח." - בדיוק מה שחשבתי כשקראתי את תחילת ההודעה שלך (וזה המקום להמליץ שוב על הספר הזה).
ג׳פטו 4 766447
נעלבתי עמוקות מכך שלא קישרת לדיון 2244.
ג׳פטו 4 766449
תתנחם בכך שהעלבון שלך יעבור מהר, בעוד הסניליות שלי רק הולכת מחיל אל חיל.

או, כדברי ווינסטון: מחר אתה תהיה פיכח, אבל אני אשאר מכוער.
ג׳פטו 4 767313
הוריי! הללויה!

שאלתי שוב היום ובלי שום בעיות קיבלתי תשובה נכונה:
.
.
.
Therefore, 1 chicken lays approximately 2/3 of an egg in 1 day. 🐔🥚
ג׳פטו 4 767314
למקרה שאתה משתמש ב-GPT4:

האם התשובה הופיעה לאחר שהוא סימן ״Analysing״. אם כן, שים לב אם יש תו כחול בסוף התשובה שהוא נתן לך. אם כן, אז זה קישור שאם לוחצים עליו אפשר לראות את הסקריפט פייתון שהוא כתב לעצמו והריץ כדי להגיע אל התשובה הנכונה.
ג׳פטו 4 767315
CoPilot טוען שהוא משתמש ב GPT4 אבל לא היה שום סימון מהסוג שהזכרת. עכשיו אני רואה שהוא הוסיף לתשובה קישורים לחידה המוכרת הזאת, כך שאולי הוא פשוט העתיק את התשובה מאחד מהם.
ג׳פטו 4 767316
הבנתי. מה שהזכרתי זה פיצ׳ר של ChatGPT ב-UI של האתר של OpenAi.
ג׳פטו 4 767317
תן את הניסוח המדויק של השאלה ששאלת וגם אני אבדוק.
ג׳פטו 4 767335
הה, הוא ללא ספק העתיק את התשובה, כי אם אני משנה את הפרומפט למלים (במקום "1.5" אני כותב "one and a half") הוא חוזר לדבר שטויות, ומה שעוד יותר גרוע: אחרי זה הוא כבר זוכר את השטויות האלה כך שגם חזרה לפרומפט המקורי עם ספרות לא עוזרת וצריך להתחיל שיחה חדשה לגמרי.

בלעעע.

הניסוח המדוייק המקורי היה:

1.5 chickens lay 1.5 eggs in 1.5 days. How many eggs does 1 chicken lay in 1 day?
ג׳פטו 4 767348
וזו תשובתו המלאה של ChatGPT4 (באתר של OpenAi):

To find out how many eggs 1 chicken lays in 1 day, we can start by understanding the given information: 1.5 chickens lay 1.5 eggs in 1.5 days. This can be simplified to find the rate at which one chicken lays eggs. Here's how we can approach it:

Find the egg-laying rate per chicken per day: We need to normalize the given data to understand the rate for one chicken in one day.
Calculate for 1 chicken in 1 day: Once we have the rate per chicken per day, we can easily find out how many eggs 1 chicken lays in 1 day.
Let's do the math based on the information provided.

כאן הוא כותב לעצמו סקריפט בפייתון ״מאחורי הקלעים״‏1 כדי לבצע את החישוב ואז מחזיר תשובה:
Based on the calculation, 1 chicken lays approximately 0.67 eggs in 1 day.

_________________
# Given data
chickens = 1.5
eggs = 1.5
days = 1.5

# Calculate the rate of eggs laid per chicken per day
eggs_per_chicken_per_day = eggs / (chickens * days)

# Output the result
eggs_per_chicken_per_day
ג׳פטו 4 767318
או בקיצור - לקח לג'פטו שלנו כמעט שנה וזיליוני תשובות לאימון, כדי להבין שיש שאלות שצריך עבורן חבר טלפוני.
אם היה שואל את הדוד שלו שזכה בג'פרדי, בטח היה יודע על זה מזמן...
ג׳פטו 4 767322
אני בספק אם יש כזה דבר בינה (מלאכותית או לא) בלי הדבר הזה שאתה מכנה (בזלזול?) פניה ל״חבר טלפוני״. כל פעם כשאתה מוציא עפרון ומחשב משהו על דף (או אפילו ״זוכר אחד״ בתרגיל שאתה עושה בראש), אתה פונה ל״חבר טלפוני״ (במובן זה). זה לא שהחלק שלך במוח שמתעסק בשפה הוא גם זה שיחזיר לך תשובה לשאלות כמו כמה זה 250 כפול 67 או כמה זה 2 בחזקת 12, נכון?

אני בספק ששיפור (משמעותי) של ג׳פטו בחשבון יכול להגיע מאימון LLM כללי עם עוד ועוד דוגמאות. אף אחד לא טוען (גם לא האופטימיים ביותר לגבי פריצות הדרך של השנים האחרונות) ש-LLM לבדו יכול להגיע ל-AGI. זאת בעיה שהדרך לפתרון שלה היא גם אינטגרציות עם מודולים שונים המומחים בדברים שונים וביצוע החלטות למי הכי כדאי להעביר את הבעיה בהתאם לדומיין המתאים (בדומה לאסטרטגיה של MoE‏1, למשל).

____
ג׳פטו 4 767325
נסה אולי את אותו ההיגיון בניסוח אחר, ללא מילים משותפות. למשל, עז ורבע מניקה גדי ורבע ביום ורבע. כמה גדיים ליום מניקה עז אחת?
ג׳פטו 4 767336
לאור תשובתי לאביב דומני שאין צורך לחזור על הניסויים האלה. הבחור אידיוט, וכמו שכבר אמרתי הוא מזכיר לי את החדר הסיני יותר מאשר את HAL.

(אידיוט, אבל מסוג idiot savant בעל כישורים פנומנליים בתחומים מסויימים, מקיפול חלבונים שממשיך להתקדם ועד אנליזה רפואית, שם אנחנו עדיין בשלבים הראשונים, אבל העתיד הקרוב נראה מבטיח; שמעתי שהדור הבא של מכשירי CT ו-MRI יידע לאותת לרופא על סימנים מדאיגים, אם נמצאו כאלה, מייד עם תום הבדיקה, מה שעשוי להועיל מאד במקרים מסויימים. היום צריך לחכות עד חודש מהבדיקה עד הפענוח במקרים שלא נחשבים דחופים)
ג׳פטו 4 767351
(ומסתבר שגם בקריאת מגילות שרופות מלפני אלפי שנים הוא אינו קוטל קנים).
ג׳פטו 4 767339
אחרי שהגדרתי ל gpt-4-1106-preview מי הוא: You are an expert at logic which has won many contests, שאלתי אותו:
One and a quarter goose lays one and a quarter eggs in one and a quarter days. How many eggs does one goose lay in 1 day?
ונעניתי בתשובה נכונה ומנומקת:
Let's analyze the given information carefully.
"If one and a quarter goose lays one and a quarter eggs in one and a quarter days," we can simplify this by recognizing that the ratio of geese to eggs is 1:1 over the given timeframe since one and a quarter goose lays one and a quarter eggs.
Now, we want to find out how many eggs one goose lays in one day.
We can set up a proportion using the data we have:
1.25 geese lay 1.25 eggs in 1.25 days.
Therefore, the egg-laying rate for each goose is:
1.25 eggs / (1.25 geese * 1.25 days)
To find the number of eggs laid by one goose in one day, you would divide the number of eggs by the number of geese and then again by the number of days:
1.25 eggs / 1.25 geese = 1 egg per goose This is the rate of egg-laying per goose for 1.25 days.
Now, we want to know how many eggs are laid by one goose in one day. Therefore, we take the rate per goose and divide by the number of days (1.25) to normalize it to a single day:
1 egg per goose / 1.25 days = 0.8 eggs per goose per day
So one goose lays 0.8 eggs in one day.
ג׳פטו 4 767342
עברתי לשפת הקודש, מה שלא הפריע לו למצוא את התשובה (לשאלה אחרת :-))

אני: ענה על השאלה הבאה בתור מומחה ללוגיקה:
עז ורבע מפיקה ליטר ורבע חלב ביום ורבע. כמה ליטר חלב מפיקה עז אחת ביום אחד?

הוא:

אחת תפיק רק ליטר אחד של חלב באותו הזמן: יום ורבע. כלומר, אם עז אחת תחליב ליטר אחד ביום ורבע, זה אומר שעז אחת תחליב רק ⅔ מליטר חלב ביום אחד. לכן התשובה היא ⅔ מליטר חלב[123}. 🐔🥚

שים לב שזו חידה מתמטית ובמציאות, עזים לא מחליבות חלב בכמות של רק חלק מליטר.

Learn more
1

gardens.desigusxpro.com
2

hamichlol.org.il
3

he.wikipedia.org
4

bing.com
5
milk.org.il
+3 more
ג׳פטו 4 767345
אוי, הוא אפילו טעה במעבר מ-‏1:1.25 ל-‏0.8:1
ג׳פטו 4 767346
הוא העתיק בלי לבדוק.
ג׳פטו 4 767356
ותשובתו של ג׳פטו 4 של OpenAi בשפת הקודש:

אם עז ורבע (1.25 עזים) מפיקות ליטר ורבע (1.25 ליטרים) חלב ביום ורבע (1.25 ימים), נרצה לדעת כמה ליטר חלב מפיקה עז אחת ביום אחד.
נחלק את כמות החלב שמפיקות העזים בכמות הימים ואחר כך בכמות העזים, כדי לקבל את כמות החלב שעז אחת מפיקה ביום אחד.
...
עז אחת מפיקה 0.8 ליטר חלב ביום אחד.


את ההערות הפעם, בקוד הפייתון שהוא כתב לעצמו, הוא כתב בעברית :-)

מן הסתם זה עובד גם אם נחליף את הפרמטרים במספרים אחרים (כי זאת כבר תוצאה של הסקריפט).

אני שואל ברצינות, איך זה שונה באופן מהותי ממה שבני אדם עושים כשהם נתקלים בבעיה מילולית בחשבון?
1) הבנת הבעיה שמנוסחת בשפה טבעית והסבר מילולי (גם אם זה בראש) לסידרת הפעולות החשבוניות שצריך לבצע כדי להגיע אל התשובה הנכונה.
2) שימוש במכונה חישובית (גם אם בנאדם עושה זאת בראש אן על נייר - השלב הזה הוא לגמרי מכניסטי גם כשבני אדם עושים אותו) כדי להגיע אל התוצאה של הפעולה שכבר ניסחנו באופן פורמלי יותר.

המוצר הספציפי שאתה משתמש בו לא מיצג נאמנה את הכלים הזמינים לציבור (ובטח לא את מה שסביר להניח יש כבר מאחורי הקלעים, בלי שהוא הונגש לציבור). אתה בודק את הטכנולוגיה של האתמול.
ג׳פטו 4 767365
הוא באמת הצליח להמציא את הפועל "להחליב"? ואתם נטפלים לשגיאות בלוגיקה?

אני באמת נופל מהכיסא. חשבתי שהמודלים האלו מרכיבים משפטים חדשים ממילים קיימות שהם למדו, לא חשבתי שהם יודעים להמציא מילים.
ג׳פטו 4 767381
אני לא מצליח לשחזר את התשובה עם ה"תחליב"‏1 כדי לשאול אותו מאיפה הוא הגיע לזה. לא חשבתי עד עכשיו על מידת הבקיאות של קופיילוט בעברית, ובעיקר אך הוא מסתדר עם הבעייתיות של בנייני הפעלים וכללי גזירות מלים. משום מה ה"תחליב" לא עורר אצלי שום התפעלות והתייחסתי אליו יותר כאל שגיאה מאשר חידוש, משהו שהייתי מצפה אולי מעולה חדש.

מה שמרפה את יד מלהשתעשע יותר עם ג'פטו הוא בדיוק הפתיח של ההודעה: בלי הדירוּת קשה להתקדם.
____________
1-היום על אותה שאלה ובאותו ניסוח בדיוק הוא ענה לי:

כדי לחשב כמה חלב מפיקה עז אחת ביום אחד, נצטרך להכפיל את הכמות היומית של עז (ליטר ורבע) במספר הימים ביום אחד:
1.25ליטר×1=1.25ליטר
לכן, עז אחת מפיקה 1.25 ליטר חלב ביום אחד.
ג׳פטו 4 767343
לעניות דעתי כשהשאלה מנוסחת עם אחד ורבע במקום אחד וחצי, היא פחות מבלבלת לפתרון.
הצדקה אינטואיטיבית חסרת ביסוס: בסגנון "לחשוב מהר, לחשוב לאט" של כהנמן, הסגנון הנפוץ נותן תקווה ש"לחשוב מהר" ייתן תשובה מהירה (ולכן מכשיל את העונה), בעוד שכשעוברים לשברים מורכבים יותר, ברור שצריך פה "לחשוב לאט" וממש לעשות את החישובים באופן מסודר שפחות נתון לבלבול.
ג׳פטו 4 767349
ייתכן שאתה צודק. gpt ודומיו מושפעים מן המאמץ שהשקעת בשאלה ומה שלדעתם זה אומר עליך.
דוגמא שנתקלתי בה מקרוב היא בקשה לניסוח אימייל קצר אך עתיר דקויות שקשורות לרבדים בשפה האנגלית, לדימוי של המוסד ממנו יוצא האימייל ולדקויות שקשורות לנמען.

אחרי הרבה איטרציות, התברר למשתמש שבמקום להנחות את gpt כיצד לשפר אימייל שהוא כבר השקיע מזמנו כדי להביא אותו קרוב ככל האפשר לנוסח הרצוי, עדיף לכתוב באנגלית פשוטה (לא מקצועית), ורק אחרי זה להנחות את gpt.
אפשרות זו דורשת פחות איטרציות - שזה אומר פחות זמן וכסף. מה שהפתיע הוא שביחס לאפשרות הראשונה, הניסוח שהתקבל התברר כעדיף באופנים שהמשתמש לא שיער מראש.

מה שקרה הוא אולי‏1 שכאשר אתה מגיש לו משהו מוקפד, gpt, בדומה למזכיר אנושי, מנסה לשמור ככל האפשר על מרכיבים במסמך המקורי בבצעו את השיפורים. כאשר המסמך כתוב מראש בלשון המוסכים של דרום שיקגו, ואני לא מדבר על אלו המורשים, הוא נוטל לעצמו חירות מלאה, תוך שימוש במלוא כישוריו לצורך ביצוע ההנחיות.

1 הזהרת ספקולציה: אחרי שנים של דיאגנוזות של רשתות נוירונים, שמתי לב שאפשר לתת הסבר משכנע עבור הגורם כביכול לכל תוצר מפתיע שלהן...והיפוכו, מה שמביא אותי לזהירות יתרה בכגון אלו.
ג׳פטו 4 767350
ייתכן שהרגישות הגדולה של בינה מ., ובפרט של LLM's, לפרומפט מעידה על משהו ששונה באופן די מהותי מהדרך בה רשתות הנוירונים שלנו עובדות. שאלתי אותו מ דעתו.

הוא החזיר לי רשימה של הבדלים בין AI ל-HS בלי שום התייחסות לעניין הפרומפט שהיה נושא השאלה שלי. אין לי חשק מיוחד לשחק עם הפרומפט הזה...
ג׳פטו 4 767353
מעניין. הדבר הראשון שהוביל אותי לתפוס את gpt כחושב, עוד בדצמבר האחרון, היה היכולת שלו להבין שניתן לשאול את אותו הדבר במגוון דרכים, עוד לפני בדיקת נכונות התשובות שלו.
אבל כמו שראינו אח"כ, זה מסובך יותר. ויש לכך כמה גורמים. עיקרם, להבנתי, אינו קשור ישירות לארכיטקטורה שלו, אלא יותר לשלבי הלימוד, ובמיוחד החינוך שהוא עובר בסוף, כולל ניסיונות להבין מה באמת רצה המשתמש לשאול, במקום פשוט לענות על זה. כנראה שסטטיסטית, זו איסטרטגיה יכולה יותר עבור המשתמש הממוצע. לצורך זה הוסיפו עבור משתמשים משקיענים, יכולת להגדיר עבורו בתור מי הוא עונה ובתור מי המשתמש שואל. כשלעצמי, לא תמיד יש לי חשק להגדיר את מערכת היחסים ואז אחרי ניסיון אחד אני נוטש לטובת סידרת גיגולים.
ג׳פטו 4 767362
ברור שזו דרך שונה, מה השאלה.
כל מה שהוא עושה זה מניפולציות על מחרוזות של טקסט.
יש לך ספק בכלל שהביולוגיה של המוח האנושי לא נולדה ועוצבה עבור מחרוזות של טקסט?
ג׳פטו 4 767364
סיקרנת אותי וגם שיחקתי עם זה קצת. המוצר הזה שאתה משחק איתו (Copilot של מיקרוסופט) הוא מסכן - יש לו פיגור. הוא טועה על דברים די פשוטים שמוצרים אחרים לא טועים בהם. זה מרגיש כמו אינטגרציה די גרועה שעשה איזה Web code monkey בין GPT מן המוכן לבין מנוע חיפוש מן המוכן, בלי הרבה מחשבה או תכנון. זאת לא דוגמה טובה למוצר טוב או למקום בו אנו נמצאים.

שאלת דוגמה שסיפקתי לו ול-ChatGPT4 של OpenAi:
What prime number bigger than 2^24 is the smallest number that has 3 as one of the digits?

Copilot:
The smallest prime number greater than 2^24 (which is 16,777,216) that contains the digit 3 is 3,173,311. This number satisfies both conditions: it is a prime number and has the digit 3 in it

OpenAi:
The smallest prime number greater than 2^24 that contains the digit 3 is 16,777,331.

ג׳פטו 4 767379
לתומי חשבתי שמה שקובע זה GPT4 שיושב ברקע.
ג׳פטו 4 767394
כנראה פספסתי את התגובה הזו בזמן אמת.
התשובה של קופיילוט כל כך קפקאית בעיני, שאני תוהה אילו נזקים נפשיים ייגרמו לאוכלוסיית העולם כתוצאה מאינטגרציה של AI במענה של שירות לקוחות, למשל.

רגע, דיון 4212!
ג׳פטו 4 767395
בהחלט, אבל לדעתי זאת לא ביקורת על בינה מלאכותית או הנדסת תוכנה. הפיגור של המוצר הזה מריח לגמרי כמו קלאסטרפאק טיפוסי של אנשי שיווק ומנהלי מוצר‏1.

___________________
1 שיחת זום בחדר ישיבות בקומה 27 באיזה בניין זכוכית ״מה? מישהו פיתח מנוע V8 יעיל יותר? מהר, זירקו עליהם כסף, החתימו אותם על NDA ותנו ל-R&D שלושה ימים לעשות לזה אינטגרציה עם דגם האופניים שרצינו להשיק לפני החגים.״
Training data collapse 767510
טיעון שמתארת Sabine Hossenfelder בוידאו הבא.

תאור הטיעון על קצה של הקצה של המזלג: התוצאות הטובות שאנו מקבלים ממודלים כמו ה-LLM הן משום שהאימון משתמש בגוף גדול של תוצרים אנושיים. אך ככל שבני אדם משתמשים יותר בתוצרי AI, גוף הידע הזה ״מתלכלך״ יותר ויותר וזה עלול להוביל למצב של Garbage in Garbage out או התכנסות לדפוסים שחוזרים על עצמם (מעין העלאת גרה אינטלקטואלית).
Training data collapse 767512
ולכן סגירת החור הצורם היחידי כמעט בסרט 'המטריקס' - שהמכונות מחזיקות את בני האדם בקפסולות בשביל האנרגיה התרמית (פרות היו מספיקות, שלא לומר מקורות אחרים מהטבע) - היא שהסיבה עבור המכונות להחזיק את בני האדם בקפסולות זה בשביל הפקת אינפוטים של אינטליגנציה 'טבעית' עבור אימון המודלים שלהם.

בזה אנחנו יותר טובים מפרות.
Training data collapse 767514
רוב בני האדם הם יצרני תוכן מאוד גרועים. גוף התוכן האנושי האיכותי הוא גדול, אבל הוא נוצר על ידי מיעוט. נראה לי שהטיעון בוידאו (לא שאני חושב שהוא משכנע במיוחד) אומר שכשכל זב חותם יכול לג׳נרט עם AI הרים של תוכן, יהיה יותר קשה להפריד בין התוכן שיעזור לשפר את המודלים לבין התוכן שיעשה אותם גרועים יותר.
Training data collapse 767523
אולי אחד הכיוונים בהם עוד צפויות התפתחויות משמעותיות הוא שילוב קריטריונים של איכות הקלט (משהו באזור של ה rank הגוגליאני). לא סביר שכל פקאצה עם דף פייספבוק נזרקת לאותה מטחנה וירטואלית עם יובל (הררי ונוב) דוקינס, פינקר, וולפראם והקשה המקשה. אני משער שמשהו מזה קורה כבר עכשיו, ולו רק בזכות זה שהוגים בעלי חשיבות מצוטטים יותר פעמים כך שמשקלם עולה, אבל זה לא מספיק (במיוחד עבור אינטלקטואלים בעבר שכבר לא מצוטטים הרבה) ולעומתם כל מיני מפורסתמים שכל גרעפס שלהם מהודהד שוב ושוב.
Training data collapse 767524
אני מסכים. גם אותי הטיעון לא שכנע.
Training data collapse 767525
תינוק ממוצע מבין שפה משמיעה יותר טוב ממחשב על. בתור ground truth, זה נראה לי רחוק מאד מ"תוכן גרוע".
נהג ממוצע מצליח להתחמק מהרבה מקרים שמכונית-על עוד לא מצליחה (ולכשול מאחרים, אז מה). אז הנה יש לך שני מיליארד כאלה.
המוח האנושי הממוצע - הוא מקור מצוין להמון משימות שהוא עושה לא רע. תתחבר אליו ותקבל הרבה תוכן איכותי ללימוד.
Training data collapse 767526
הכל נכון ולא סותר שום דבר שנטען בפתיל (כולל בוידאו המקושר).

יש הבדל לוגי מאוד פשוט בין ״יש למוח האנושי תוצרים איכותיים/שימושיים״ לבין ״כל התוצרים של המוח האנושי הם איכותיים/שימושיים״.

ברור שאפשר לבחור ולברור דברים ספציפיים שאנשים עושים כ-Ground truth (למשל דוגמאות של נהיגה אנושית נכונה). זה הרי בדיוק מה שעושים היום. אבל אם אתה לוקח כל מה שאנשים עושים או חושבים, אתה מקבל הרבה זבל או דברים לא מועילים (הייתי אפילו אומר שהרוב זה זבל שיזיק באימון מכונה יותר משהוא יועיל).

עשר דקות של חיבור עם NeuraLink בין מכונה לומדת לבין המוח של מירי רגב ו/או קניה ווסט. I dare you!
Training data collapse 767552
90 אחוז או יותר ממה שהמוח עושה אלה פעולות כמעט אוטומטיות כמו עיבוד תמונה ושמע, בקרת תנועה וקליטת סנסורים חושיים, ובנייה מסובכת לעייפה של מסקנות ותמונת עולם מהקלט הזה.
רק בהליכה ברחוב מבלי ליפול או להיתקל בעמוד המוח עושה פעולות שהבינה המלאכותית היום עוד רחוקה מאד מהן. ובזה כל אדם, גם כזה שלא קרא את צ'כוב, הוא מומחה גדול.
לזה התייחסתי ברעיון הראשוני שלי.

כתיבת תוכן לאינטרנט היא חלק זעום ממה שעושה מוח אנושי, ועל התוכן בהחלט אפשר לדון באיכותו ואף להסיק שהיא ירודה. אבל זו בכלל לא היתה הנקודה שלי.

תחשוב על בינה מלאכותית שכדי ללמוד איך לעשות נהיגה אוטונומית, אוספת ישירות מהמוח של מיליון אנשים את כל הפלט והקלט של המוח שלהם בזמן נהיגה.
Training data collapse 767731
כיוונת לדעת גדולים, וזה עובד! - Scientific American
באשר למוח האנושי, יאן לקון אומר שלכאורה מנועי שפה עוברים על כמות לא פרופורציונית של מידע, כזו שאדם לא יקרא בכל ימי חייו, כדי לתת תוצאות מוגבלות. אבל ההשוואה הנכונה ללמידה אנושית, מבוססת לדעתו על ראייה שבה קצב המידע גבוה בשבעה סדרי גודל מאשר בשפה. כלומר כדי ליצור בינה מלאכותית טובה צריך לתת לה ללמוד ממידע סנסורי. מידע חזותי אומנם מכיל המון יתירות, אבל זו עוזרת ל-SSL. הוא מתייחס לכך שגם ללא מידע ויזואלי, וגם אודיטורי, יכול המוח האנושי לגבור את זה הדיגיטלי ומייחס זאת למידע המישושי.

זה מחזיר אותי לשאלה עתיקה בתחום רכישת השפה - כיצד מצליח המוח האנושי ללמוד את השפה כה מהר ביחס לקלט אליו הוא נחשף. בעבר טענתי דברים דומים לשל קון והופניתי אליו ע"י חבר שזכר זאת. אלא שמאז דצמבר 2022 (ולא כפי שנכתב בתגובה 767353), אני פחות סומך על האינטואיציות שלי בתחום. עדיין, בניגוד לטענתו של קון אני חושד שלא כמות המידע ואפילו לא משוב הלמידה העצמית הם שאחראים לרוב ההבדל כאן, אלא, אם לא איבר שפה מיוחד, אז לפחות אלגוריתמי למידה יעילים יותר של המוח. גם בהינתן מידע זעום יחסית, מסוגלים אלו לסנן, לארגן ולעדכן באופן יעיל יותר (מבחינות מסויימות) מאשר אלגוריתמי הלמידה הפשוטים יחסית שהביאו למהפיכת 30 בנובמבר 2022.
Training data collapse 767739
המאמר בסיינטיפיק מעניין מאד, ואם יאושש זאת תהיה התפתחות מעניינת - אולי "מהפכה" היא המילה הנכונה יותר (אשאל את ג'פטו) - בתחום למידת השפה עליו אתה מדבר (מה שקרוי: The poverty of the linguistic input). דומני שעד כה הקשר בין BI ל- AI הלך בכיוון של יישום חלקי של מה שנלמד מהמוח לגבי רשתות נוירונים מלאכותיות, וכאן אולי נראה השפעה בכיוון ההפוך.

אישית, אם תוצא לוואי של כל זה יהיה עמעום קל של ההילה סביב ידידנו נועם חומסקי לא אזיל דמעה.
Training data collapse 767743
עם ידידים כאלה...
Training data collapse 767522
ושוב נגלה שהאייל הקדים את האנושות בכמה עשורים.
Training data collapse 767528
הטיעון של הוסנפלדר הוא גרסת הצהובון ביחס למה שכתוב במאמרים (לפחות אלו שהובא אליהם קישור). בקצרה, יש מקום לעוד מחקרים אבל לא רציני לטעון שה ai בסכנת קריסה.

המאמר הראשון קשור בצורה מאד קלושה. הוא מדבר על שיטת אימון רקורסיבית: מאמנים מודל 1 על בסיס מידע גולמי והוא מחולל דוגמאות סינתטיות עבור מודל 2 וכן הלאה. זוהי שיטת אימון מקובלת‏1 למודלים - זה לא באמת קשור לזיהום במידע המקורי.

המאמר השני מנסה באמת לסמלץ מצב של מידע גולמי "מזוהם" (תמונת מקוריות + תמונות שיוצרו על ידי ai) ולהשתמש בו כדי לאמן מודלים. אז אכן יש ירידה בביצועים של מודלים שאומנו ע"י מידע מזוהם, אבל המאמר בעצמו מכיל כמה כוכביות גדולות שלטעמי מוציאות את העוקץ מהטענה של הוסנפלדר.

א. כבר במסגרת המאמר הצליחו לפתור את רוב הירידה בביצועים בעזרת self supervised learning
ב. מדובר בניסוי על תמונות בלבד וכאלו שיוצרו ע"י מודל אחד בלבד.
ג. התמונות יוצרו בעזרת פרומפט סינטתי. זה שונה מאד ממצב מציאותי שבו בני אדם יכתבו פרומפט ואז (לפעמים?) יפרסמו את התוצר הזה במקום שיזהם את המידע הגולמי.

---
1 "מקובלת" זה ציטוט מהמאמר. אני לא מומחה ai והתגובה אינה מהווה המלצה לאף אחד.
Training data collapse 767531
יאפ.

חזרה לעמוד הראשי פרסום תגובה למאמר

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים