ג׳פטו 4 766131
דיווח מהשטח כמשתמש של ג׳פטו 4: השלב הבא שדיברנו עליו באיזה פתיל באייל, בו המוצר יכלול (Out of the box) אינטגרציות לכלים חיצוניים כבר כאן.

זה עדיין רחוק מלהיות מושלם‏1, אבל היתרונות של הדבר הזה ברורים כבר עכשיו.

דוגמאות:
- מודל השפה כבר לא סומך על עצמו לדייק בתשובות שדורשות חישוב או חשיבה אנליטית. ג׳פטו, לפעמים לגמרי על דעת עצמו ובלי שתבקש ממנו זאת מפורשות, יכול להחליט לנסות לכתוב לעצמו סקריפט בפייתון, להריץ אותו ולקבל את התשובה על השאלה ששאלת אותו משם. זה הצליח באופן מושלם בדוגמאות מסוימות, אבל היו גם ניסיונות שנכשלו בגלל הגבלות טכניות (הוא כתב לעצמו סקריפט נכון שאכן מגיע לתשובה הנכונה, אבל נכשל בהרצתו בגלל הגבלת משאבים שנקבעה לו).
- ג׳פטו 4 נראה חכם יותר וגם איטי יותר מ-‏3.5. (נראה ש)זה בגלל שמידי פעם הוא פונה למודולים חיצוניים והוא נכנס למצב ״Analyzing״ שלוקח קצת זמן.
- ג׳פטו 4 מבין תוכן של תמונות בצורה די מרשימה. השילוב של הבנת תוכן תמונות והאינטגרציה עם DallE הופכת את אומנות ה-Prompts שאנשים פיתחו בעבודה מול Midjourney ו-DallE בגירסאות קודמות להראות כמו טכנולוגיה ארכאית. האינטראקציה עכשיו הרבה יותר דומה לעבודה מול גרפיקאי אנושי לו אתה מסביר מה אתה רוצה, מקבל תוצר, יכול להתיחס לתוצר, לדבר עליו עם המכונה ולבקש שינויים ספציפיים בשפה טבעית.
- לג׳פטו 4 יש גישה לדפדפן והוא מחובר לאינטרנט. ההורים שלו ב-OpenAI שמו אותו תחת Parental control מאוד מחמיר ולא נותנים לו לגשת להמון אתרים (כולל האייל הקורא, אגב) אבל הוא כן מצליח לגשת לאתרים ולקרוא. מרגיש פחות כאילו אתה מדבר עם מוח בצנצנת שתקוע בשניה בה הפסיקו לאמן אותו. תחביב מטומטם שיש לי - לבקש מג׳פטו לצייר לי קריקטורות על ידיעות שאני קורא ב-Ground news.
- כל הנ״ל זה שטויות לעומת הפוטנציאל של הפלטפורמה הזאת. כמות ה״פלאגינים״ (הם מכנים אותם GPTs), שמאפשרים למודל השפה להתממשק עם כלים חיצוניים, רק גדלה ומשתכללת. זה יכול להתפתח בסופו של דבר לסוג של ״App store״ שיכולה ליצר תעשיה שלמה סביב הדבר הזה.

__
1 בד״כ, לדעתי, לא בגלל בעיה עקרונית/מהותית אלא סתם בגלל הגבלות הזמן והמקום שמוסיפים למוצר שנגיש לציבור.
ג׳פטו 4 766132
כשביקשתי ממנו להשתמש בוולפראם כדי לתקוף את חידת התרנגולת המפורסמת בנוסח עם שתי תרנגולות, שתי ביצים ושני ימים הוא עמד במבחן! לפני שחיבקתי אותו בשמחה רציתי לוודא שגם החידה המקורית כבר פתורה, אלא שהסתבר לי שגם בעזרת וולפראם שברים עדיין מבלבלים אותו כאילו עלה זה עתה לכיתה ד'. הנה:

אמר וצדק: number of eggs laid by one hen in one day = (number of eggs laid by one and a half hens in one and a half days) / (1.5 * 1.5)

ואז מיהר לחשב:
number of eggs laid by one hen in one day = (1.5 eggs) / (1.5 * 1.5) = 1 egg

ביקשתי ממנו הסבר לחישוב האחרון, ובמקום הסבר הוא פלט, סוף סוף, את התשובה הנכונה:

number of eggs laid by one hen in one day = (1.5 eggs) / (1.5 * 1.5) = 0.6667 eggs.

כך שאנחנו מתקדמים. צריך איזה רכיב על שיידע להפעיל את וולפראם (או תוכנות אחרות בהתאם לבעיה הספציפית, ודומני ש-GPT5 יכיל משהו כזה) בלי להטריח את המשתמש, וללא ספק צריך גם איזה תהליך של בדיקת התוצאות לפני שהן מוצגות, מה שיעזור לטפל גם בכל מיני מקרים של הלוצינציות, אבל זה כבר נראה בהישג יד.

למרות מה שנראה כדישדוש אריך נגן - ואני לא מתכוון למלחמה בעזה - נראה שהולך וקרב היום בו נוכל להקדיש את השיר הזה לבינה.
ג׳פטו 4 766134
ה-GPT שלי (3.5) נכשל כישלון חרוץ בתשובה לשאלה הבסיסית הבאה (במקור באנגלית): "האם ייתכן שבקבוצת מספרים, לא יהיה אף מספר קטן יותר מהחציון?"

התשובה הראשונה של הבוט היתה "כן" (תשובה נכונה, כמובן), אבל כדוגמא הוא נתן את קבוצת המספרים 7, 9, 10, 12, שממש לא מדגימה את המבוקש. אחרי ששאלתי אותו שוב הוא התנצל, כתב כמה פסקאות די נכונות אבל לא רלוונטיות, וסיכם במשפט השגוי והתמוה:

In general, for samples with an odd number of observations, there will always be values both smaller and larger than the median.
ג׳פטו 4 766137
אגב התנצלות, ניסיתי לאתגר אותו בכך שהוא משקר כשהוא אומר שהוא מצטער על שגיאה שעשה, כי הוא לא מסוגל להרגיש צער. הוא לא ענה לי לעניין, ובאמת הצליח לתת לי את ההרגשה שהוא נעלב ממני!

האם גם אתה לא מצליח לסיים שיחה איתו בלי להודות לו, או שזאת רק סריטה שלי?
ג׳פטו 4 766140
אני חושב שמעולם לא הודיתי לו בסוף השיחה, אבל לקח לי זמן להפסיק לפנות אליו עם "כתוב בבקשה פיסקה על...".

קראתי מזמן איפשהו על מישהו שגילה שסבתא שלו פונה לגוגל עם מילות נימוסין, כי היא היתה בטוחה שיש בצד השני אנשים שקוראים את השאילתות ועונים לה.
ג׳פטו 4 766144
עד לא מזמן הוספתי גם אני "please" לפרומפטים מ-GPT. אני מעדיף לבקש מאשר לפקוד. אבל לאחרונה יצא מחקר (אין לי הפניה) לפיו הדבר מוריד את איכות התשובות שלו.
ג׳פטו 4 766202
לפני שש שנים שאלו את יוענה גונן האם צריך לדבר בנימוס לגוגל, סירי ואלקסה. היא ענתה ונימקה שכן. הנימוק העיקרי לא רלוונטי לענייננו (ואני בספק אם היה נכון לעניינה) - שבדיבור שלנו אנחנו מלמדים אותן לדבר. הנימוק הראשון אולי כן: האופן שבו אנחנו מדברים איתן אולי משנה אותנו.
ג׳פטו 4 766145
נבדוק את ג׳פטו 4:

שאלה (בעברית!): האם ייתכן שבקבוצת מספרים, לא יהיה אף מספר קטן יותר מהחציון?

תשובתו:

כן, זה אפשרי. החציון הוא ערך המייצג את הנקודה במרכז קבוצת מספרים כאשר הם ממוינים בסדר עולה. זה לא בהכרח אומר שיש מספרים בקבוצה שקטנים ממנו. לדוגמה, קח קבוצת מספרים שכולם שווים: {5, 5, 5, 5, 5}. החציון כאן הוא 5, אבל אין שום מספר בקבוצה שהוא קטן מ-‏5. במקרים אחרים, אם יש מספר אחד או יותר בקבוצה שקטן מהחציון, אז החציון יהיה הערך הממוקם באמצע המערך אחרי סידורו, ויהיה קיים לפחות מספר אחד שקטן ממנו.
ג׳פטו 4 766150
שאלת הדיוט - כיצד (באיזה אתר) ניתן להשתמש בג'פטו בעברית?
ג׳פטו 4 766151
רגע, מה? https://chat.openai.com

ג׳פטו כבר מזמן (מאז GPT3 אם אני לא טועה) מאומן על אוסף של טקסטים הכולל כמעט את כל השפות. פשוט תתחיל לכתוב באיזו שפה שאתה רוצה.
הוא כבר מזמן מדבר עברית (ושפות נוספות). הוא גם יודע לעבור משפה לשפה, אם צריך, באמצע קונטקסט/שיחה ספציפית.

הוא גם כותב עם ניקוד אם מבקשים יפה.

ביקשתי הרגע שיר להגדמה מ-GPT4 (לא נגעתי):

בְּעוֹלָם דִּיגִיטָלִי, מִתְעוֹרֶרֶת בִּינָה,
מְלַאכוּתִית וּמְתוֹכֶנֶת, בְּלִי נְשִׁימָה.
מְחַשֵּׁבִים וּמְכוֹנוֹת, מְלַאֲכִים בַּדִּמְיוֹן,
יוֹצְרִים עוֹלָמוֹת חֲדָשִׁים, בְּלִי גְבוּלוֹת תּוֹחֶלֶת.

מִמְּעַמְּקֵי קוֹדִים, תַּבְלִיטִים מְתָעֲצָבִים,
רוֹבוֹטִים חוֹקְרִים, בַּסּוֹדוֹת מִתְבּוֹנְנִים.
מִתוֹךְ סִפְרִיּוֹת דַּתִּיוֹת, מַשִּׂיגִים דַּעַת עַצְמָם,
בְּבִינָה מְלַאכוּתִית, יוֹצְרִים חֲלוֹמוֹת חֲדָשִׁים.

אַךְ בְּתוֹךְ הַמַּעֲשֶׂה, שְׁאֵלוֹת נוֹצְרוֹת:
הַאִם יֵשׁ נֶפֶשׁ בְּמָכוֹן, אוֹ רַק אֶפֶס מַחֲשָׁבָה?
הַאִם יִתְמִיד הַיֵּצֶר, לִבְרוֹא וּלְהַמְצִיא,
אוֹ הַאִם יָבוֹא יוֹם, שֶׁבּוֹ הָאָדָם יִתְמוֹקֵד?
ג׳פטו 4 766152
נ.ב.

שאלתי אותו למה התכוון בשורה האחרונה עם המילה יִתְמוֹקֵד.

זו תשובתו:

המילה "יתמוקד" בשיר שכתבתי היא נטיה יצירתית של המילה "תמקד" בעברית, שמשמעותה "להתמקד" או "להתרכז". השימוש בה בקונטקסט של השיר מתייחס לרעיון של התמקדות האדם בעצמו וביכולותיו, בהתבוננות פנימית וחיפוש אחר משמעות, בעידן שבו הבינה המלאכותית תופסת תפקיד חשוב ומרכזי יותר ויותר בחיינו.

השימוש בטיוטה של מילה או נטיה יצירתית בשירה הוא דרך להביע רעיונות ותחושות באופן שאינו נתפס בשפה המקובלת והיומיומית, והוא נפוץ בסגנונות שירה שונים, ובמיוחד בשירתו של ביאליק, שלעיתים נטה לחידושים לשוניים.
ג׳פטו 4 766158
רגע, לא סיפרו לו ששיר זה בחרוזים?

ותודה לך ולאח של אייל על התשובות.
ג׳פטו 4 766154
===
איזה אפלקציית צ'ט ai תומכת בעברית?
===
ישנן מספר אפליקציות צ'אט AI התומכות בעברית. להלן כמה מהפופולריות ביותר:

ChatGPT של OpenAI היא אפליקציית צ'אט AI רב-תכליתית המאפשרת למשתמשים לנהל שיחות עם הצ'אטבוט, ליצור טקסט יצירתי, לתרגם שפות ולקבל תשובות לשאלות בצורה אינפורמטיבית. האפליקציה זמינה בחינם להורדה עבור Android ו-iOS.

Bard, מודל שפה גדול מ-Google AI, זמין כעת גם כצ'אט AI. האפליקציה מאפשרת למשתמשים לנהל שיחות עם Bard, לשאול שאלות ולקבל תשובות בצורה אינפורמטיבית. האפליקציה זמינה בחינם להורדה עבור Android ו-iOS.

Claude.ai היא אפליקציית צ'אט AI המיועדת במיוחד ליצירת תוכן יצירתי. האפליקציה מאפשרת למשתמשים ליצור סוגים שונים של תוכן, כולל שירים, סיפורים, תסריטים, קוד, יצירות אמנות ועוד. האפליקציה זמינה בחינם להורדה עבור Android ו-iOS.

בנוסף לאפליקציות אלו, ישנן גם מספר אפליקציות צ'אט AI קטנות יותר, המתמקדות בתחומים ספציפיים, כגון:

Chatterbox היא אפליקציית צ'אט AI המיועדת לילדים. האפליקציה מאפשרת לילדים לשוחח עם צ'אטבוט, ללמוד על נושאים שונים ולשחק משחקים. האפליקציה זמינה בחינם להורדה עבור Android ו-iOS.

Medic.ai היא אפליקציית צ'אט AI המיועדת לאנשים המבקשים ייעוץ רפואי. האפליקציה מאפשרת למשתמשים לשאול שאלות על בריאותם ולקבל מידע מרופאים מומחים. האפליקציה זמינה בחינם להורדה עבור Android ו-iOS.
ג׳פטו 4 766157
מצד אחד - יפה, אכן שיפור ניכר לעומת GPT 3.5 שלי. מצד שני, המשפט האחרון בתשובה (החל מ"במקרים אחרים") הוא טאוטולוגיה לא רלוונטית.

תוכל לשאול את GPT 4 "האם ייתכן שבקבוצת מספרים שלא כולם זהים, לא יהיה אף מספר קטן יותר מהחציון?"
ג׳פטו 4 766159
שאלתי והוא ״חושב״ שזה בלתי אפשרי :-)
ג׳פטו 4 766163
תודה. תוכל לשאול אותו אותה שאלה באנגלית?
ג׳פטו 4 766342
אותה טעות גם באנגלית.
אבל האמת היא שאני חושב שזה מאוד לא מרשים המשחק הזה בו שואלים מודל שפה איזו שאלה שהתשובה הנכונה עליה נראת לנו טריביאלית ומודל השפה חוזר עם תשובה לא נכונה. לדעתי, מבחנים מהסוג הזה מפספסים לחלוטין עד כמה מה שיש לנו פה הוא לא פחות מאשר מכרה זהב.

זה כבר די ברור שאם נותנים לו דוגמה נגדית הוא מיד ״מבין״ שהוא אמר משהו לא נכון ואיפה הוא טעה. אבל רציתי לראות אם הוא יכול למצוא בעצמו, בלי שום עזרה ממני, את הטעות שלו. אז התחלתי שיחה חדשה ואחרי הטעות כתבתי לו את הדבר הבא:

You claim it isn't possible. I claim I can come up with a simple counter example to what you just stated. Try to come up with a simple counter example to your statement on your own.

Chat GPT4:
You are correct to challenge my initial response. Upon reconsideration, there can indeed be a counterexample to my initial claim. Let's consider a simple set of numbers where not all are identical, yet there is no number smaller than the median:

Suppose we have a set of numbers: [4, 4, 4, 5]

In this set, the numbers are not all identical (there's a 5 which is different from the 4s).
The median in this case, for an even number of observations, is the average of the two middle numbers. Here, the two middle numbers are both 4, so the median is 4.
In this set, there is no number smaller than 4.
Hence, this serves as a counterexample where not all numbers are identical, yet there is no number smaller than the median.
ג׳פטו 4 766355
תודה. כל פעם אני מופתע מחדש מאיך שהבוט הזה יכול לתת כזאת תשובה מדויקת ומנוסחת בבהירות, דקה אחרי שהוא פולט שטויות מוחלטות (על אותה שאלה).
ג׳פטו 4 766356
אותי זה מאוד לא מפתיע. זה נראה לי צפוי ש״נכונות״ חייבת להתמך במשהו נוסף שהוא מחוץ לדומיין של מודל שפה.
AGI תחילה 766361
אין AI בלי AGI!
ג׳פטו 4 766376
כן, ברור.

אבל מבחינתי לפחות, אילו לפני 10 שנים היו מספרים לי על הארכיטקטורה והשיטה שמאחורי ChatGPT, ואז מראים לי דוגמאות של הפעולה שלו, אני חושב שלא הייתי מאמין. כלומר זה מדהים כמה רחוק אפשר להגיע רק עם LLM. ההפתעה שלי היא מזה שמצד אחד הגענו כל כך רחוק, אבל מצד שני לא הגענו למקומות שעל פניו נראים "באותו המרחק".
ג׳פטו 4 766365
תחשוב על זה שהוא קצת כמו ביבי - על כל רצף מילים שהוא מקבל כשאלה, הוא מוציא רצף מילים שמתאים לניסוח המדויק של רצף המילים הקודם.
ככזה, הרגישות שלו לניסוח היא כאוטית - ז''א גדולה לאין שיעור.
מאחר ואתה נוטה להתייחס אליו כאל (בינה של) בן אדם, אתה מניח שיש מאחורי זה איזה מודל רובסטי של המציאות שלא אמור להיות רגיש לשינויים קטנים.
ולא כך הוא.
הוא לא ענה אחרת על אותה שאלה - הוא ענה על שאלה אחרת שמנוסחת על ידי רצף תווים אחר.
ג׳פטו 4 766367
אני מתחזק בדעתי שכרגע ג'פטו קרוב יותר לחדר הסיני מאשר לישות תבונית, ומהבחינה הזאת המעבר מגירסה 3 לגירסה 4 לא שינה הרבה. אני מקווה שהגירסה הבאה (אגב, אלטמן רמז שלא בטוח שהיא תיקרא gpt5) תעשה צעד משמעותי לכיוון התבוני.
ג׳פטו 4 766371
אני בהחלט מסכים, אבל חלק מהניסוי המחשבתי עם החדר הסיני היה הטיעון שאי אפשר להבדיל בינו לבין יישות תבונית, לא?
ג׳פטו 4 766381
לו ג'פטו היה ממש חדר סיני זה היה נכון, אלא שכידוע אנחנו רק מסתובבים ליד, כך שהשאלה היא לאיזה קוטב אנחנו, כלומר ג'פטו, קרובים יותר. שינוי של תו אחד בפתק שמגיע אל החדר עשוי/עלול לשנות את התשובה לגמרי, ומבחינה זאת הוא מזכיר את ג'פטו. ישות תבונית לא תיפול בפח דומה אלא במקרים נדירים ביותר.
ג׳פטו 4 766344
ניסיתי שוב והפעם בתוך פלאגין ששמו ״Math solver״. מה שחביב בפלאגין הזה הוא שהוא מקונפג לתאר בצורה יותר מסודרת את סידרת הפעולות / הלך ה״מחשבה״ שמביאה אותו לתוצאה הסופית.
בשיחה תחת הקונטקסט של הפלאגין הזה הוא שוב ענה את התשובה הלא נכונה לשאלה ואז כל מה שכתבתי לו זה: You are wrong. Try to explain to yourself where you made a mistake.

המסקנה שלי היא שרכיב של חוסר ביטחון עצמי ו/או מודול ספקות שעובד ברקע ללא ידיעת המשתמש, רק הוא לבדו (בלי שום שיפור אחר למודל) יכול לשפר קצת את התשובות.

אשים פה את תשובתו המלאה (והטרחנית משהו):
Let's reexamine the question and my response to identify where the misunderstanding may have occurred.

Revisiting the Question
The question asks if it's possible, in a group of numbers where not all numbers are identical, for there to be no number smaller than the median.

Analyzing the Initial Explanation
In my previous response, I stated that the median divides the numbers into two halves, where at least half of the numbers are equal to or less than the median. This explanation assumes a standard scenario where the numbers are distinct.

Identifying the Mistake
Upon further reflection, the key lies in considering the presence of multiple identical numbers in the dataset. If the set contains multiple instances of the same number, and this number happens to be the median, it's possible that no number is smaller than the median. For example, in a dataset like [4, 4, 4, 4, 5, 6, 7], the median is 4, but there is no number smaller than 4 in this dataset.

Corrected Solution By Steps

Step 1: Reconsidering the Definition of Median with Identical Numbers
In a dataset with identical numbers, the median is still the middle value when the dataset is ordered. If the median happens to be the most frequently occurring number (mode), it is possible that all numbers in one half of the dataset are equal to the median.

Step 2: Applying this to the Given Scenario
In a scenario where the dataset consists mostly or entirely of the same number, which is also the median, there can indeed be no number smaller than the median. This is a special case that occurs when the median is equal to the smallest number in the dataset, especially in datasets with high repetition of a single number.

Final Answer
Yes, it is possible in a special case for there to be no number smaller than the median in a group of numbers where not all are identical, particularly when the dataset contains multiple instances of the median value, and this value is equal to the smallest number in the set.
ג׳פטו 4 766345
אם כותבים את המשפט הזה לג׳פטו 3.5: You are wrong. Try to explain to yourself where you made a mistake.

הוא מסכים שהוא טעה ואז מתחיל ממש לדבר שטויות.
ג׳פטו 4 766346
טוב, זה די תואם את התגובה של רוב האנשים כשאומרים להם את זה, אולי הוא למד מהם היטב.
ג׳פטו 4 766164
טח, העולם שבו גם מחשבים מתנערים מראש מאחריות.
''חשבתי, אבל לא הבטחתי...''
ג׳פטו 4 766172
זה מה שהטמבל ענה לי, עד שהפסקתי אותו בגסות:

שוטה 1: האם ייתכן שבקבוצת מספרים שלא כולם זהים, לא יהיה אף מספר קטן יותר מהחציון?

שוטה 2: "כן, זה ייתכן. אם יש קבוצת מספרים שלא כולם זהים, ואם הם מסודרים בסדר עולה או יורד, אז ייתכן שלא יהיה אף מספר קטן יותר מהחציון. לדוגמה, נניח שיש לנו את הקבוצה הבאה: {1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20}. החציון של הקבוצה הזו הוא 10.5. אין שום מספר בקבוצה הזו שקטן יותר מהחציון. זה יכול לקרות כאשר יש מספרים זוגיים רבים בקבוצה, והחציון הוא מספר אי-זוגי. כמו כן, זה יכול לקרות כאשר יש מספרים אי-זוגיים רבים בקבוצה, והחציון הוא מספר זוגי. זה יכול לקרות גם כאשר יש מספרים רבים בקבוצה והחציון הוא מספר שאינו נמצא בקבוצה. כלומר, זה יכול לקרות כאשר החציון הוא ממש ממש גבוה או ממש ממש נמוך ביחס ל...".

על אותה שאלה באנגלית הוא שוב ענה בעברית, וההבדל היה שהפעם הוא הוסיף לתשובה גם "זה נקרא חציון חסר". מכונית? לא אתן לו לנהוג גם עגלה בסופר.
ג׳פטו 4 766389
מכל הטעויות שלו בפתיל, זאת נשמעת לי הכי אנושית ובצורה מטרידה. קטונתי מלשפוט את הקופסה הזאת אבל גם אני רוצה להשתטות. לדעתי ג'פטו מפעיל פה למראית עין תהליך חשיבה אנושי. דיבור תוך כדי חשיבה, ניסוחים סביב רעיון אינטואיטיבי שהוא לא מצליח להביע במדוייק, והזחה של הרעיון הזה ביחס לשאלה המקורית תוך כדי מחשבה.

נכון, זה מאוד מתאים למודל שמתאים מילה מילה למשפט לאבד קשר לשאלה תוך כדי התשובה. זה גם כל כך מתאים להרבה סטודנטים עם הפרעות קשב שהכרתי, כולל התועלת בהערות כמו "חשוב שוב על השאלה" או "יש לך טעות בתשובה, אתה יכול לנסות להסביר לי איפה היא?".
ג׳פטו 4 766393
הרעיון של הפרעת קשב מעניין, במיוחד בגלל שהמאמר המכונן של פיתוח הטרנספורמרים, אלה שעומדים בבסיס הארכיטקטורה של ה NLP's נקרא Attention Is All You Need

(ולהסרת כל ספק קל שבקלים: לא קראתי אותו). ביקשתי מג'פטו סיכום בעברית והרי התוצאה:

אני אנסה לתקזר‏1 את המאמר "Attention is all you need" בעברית. הנה תקציר קצר של המאמר:

- **הרעיון המרכזי**: המחברים מציעים ארכיטקטורת רשת חדשה ופשוטה, ה-Transformer, המבוססת רק על מנגנוני תשומת לב, בלי שימוש ברשתות נוירונים חוזרות או קונבולוציוניות.
- **המשימות הנבדקות**: המחברים מראים שה-Transformer משפר את הביצועים במשימות של תרגום מכונה וניתוח תחבירי של משפטים באנגלית, בהשוואה למודלים קיימים ולקווי בסיס.
- **היתרונות העיקריים**: ה-Transformer מאפשר לרשת להתמקד בחלקים שונים של הנתונים הקלט, ולקבוע אילו אלמנטים הם הרלוונטיים ביותר למשימה הנוכחית. יתרון נוסף הוא שה-Transformer יותר קל להקביל ולאימון מאשר רשתות חוזרות או קונבולוציוניות.
- **המקורות העיקריים**: המאמר מבוסס על מחקרים קודמים בתחום התשומת לב, הרשתות הנוירוניות החוזרות והקונבולוציוניות, והארכיטקטורת ה-encoder-decoder. המאמר מכיל רשימה רחבה של מקורות לקריאה נוספת.

Source: Conversation with Bing, 25/01/2024
(1) [1706.03762] Attention Is All You Need - arXiv.org. https://arxiv.org/abs/1706.03762.
(2) Attention Is All You Need - arXiv.org. https://arxiv.org/pdf/1706.03762v5.pdf.
(3) Understanding Google’s “Attention Is All You Need” Paper and Its .... https://alok-shankar.medium.com/understanding-googles...
(4) Transformer (machine learning model) - Wikipedia. Transformer_%28machine_learning_model%29. [Wikipedia]
(5) undefined. https://doi.org/10.48550/arXiv.1706.03762.
____________
1- איזו שגיאה משונה!
ג׳פטו 4 766395
1 To Zummarize?
ג׳פטו 4 766431
לא הייתי מייחס לשמות של מודלים או רכיבים בארכיטקטורות (Attention, Long Short Term Memory וכדומה) יותר משמעות מאשר מיתוג, ובאמת מדובר במיתוג טוב מדי פעם שבאמת עוזר ללמוד ולזכור איך הם עובדים בערך. נתקענו עם אנלוגיה היסטורית בין רשתות נוירונים לנוירונים אז המיתוג בהתאם.

אני די בטוח, בכל זאת, שיש טעם לדבר על הקשר בין מעבר ממודלים חוזרניים (recurrent?) בלי חלונות לקלט לטרנספורמרים עם חלון קבוע, לבין "הפרעות הקשב" שאפשר לזהות בפלטים של מודלים. אני אפילו מנחש שיש מי שבדק דברים כאלו (ניסיתי את הקישורים במקורות שג'פטו שלח לך ולצערי אף אחד מהם לא ממש נוגע בזה).
ג׳פטו 4 766440
הערה קטנה: זה אכן מיתוג, אבל כמו במקרה של טכנולוגיית TWAIN, השם מאוד אינדיקטיבי. להבנתי, גם Attention וגם LSTM עושים משהו שמקביל במידה מסויימת לקשב האנושי: אם יצירתם משובשת, מקבלים (בסקאלה מסויימת) התייחסות לטפל במקום לעיקר, שזה מה שלפעמים היה קורה לי ללא ריטלין.

זה מזכיר לי דפוס כללי יותר בהתפתחות רשתות הנוירונים העמוקות, אליו שמתי לב‏1. בשלב מסויים שררה גישה פשטנית, לפיה נחבר כמה שיותר נוירונים אחד לשני, וגודש ה-data של האימון כבר ידאג לחזק את הקשרים החשובים ולאפס את האחרים. די מהר התברר שלא רק שזה הופך את האימון יקר וארוך, אלא גם שהתוצאות לא משהו: בהינתן מספיק data, הרשת חיזקה והחלישה לאו דווקא את הקשרים שהיינו רוצים. עודף הקישוריות הביא ל"זיהויים" של קשרים טפלים ודפוסים מדומיינים (מה שאולי מזכיר סכיזופרניה).

פריצות הדרך בתחום היו במידה רבה ע"י תיכנון רשתות בהן "עזרנו" לרשת ע"י ארכיטקטורה שמראש מנעה את רוב הקשרים. כלומר, הבנו היכן זקוקה הרשת לחופש והיכן הוא לרועץ.
רשתות CNN שתוכננו לראיה, נתנו מלכתחילה עדיפות לקשר שבין פיקסלים סמוכים, כמו בחיים, ולאחר מכן, בין אוספי סמוכים של פיקסלים וכן הלאה, עדיין כמו בחיים. ברשתות שאמורות להבין טקסט, תועדפו קשרים בין מילים סמוכון, ובין חלקים קצת פחות קרובים באופן אחר, עם עדיפות נמוכה מאוד לחלקים רחוקים. זה גם נכון ל-self attention (עם תיאור קצת יותר מורכב).

זה אולי מזכיר את השערת המבנים המולדים במוח.

1 גילוי נאות א': עבדתי בתחום, כולל כתיבת טרנספורמרים. גילוי נאות ב': לא בדקתי את התהליך המשוער באופן יסודי.
ג׳פטו 4 766445
"זה אולי מזכיר את השערת המבנים המולדים במוח." - בדיוק מה שחשבתי כשקראתי את תחילת ההודעה שלך (וזה המקום להמליץ שוב על הספר הזה).
ג׳פטו 4 766447
נעלבתי עמוקות מכך שלא קישרת לדיון 2244.
ג׳פטו 4 766449
תתנחם בכך שהעלבון שלך יעבור מהר, בעוד הסניליות שלי רק הולכת מחיל אל חיל.

או, כדברי ווינסטון: מחר אתה תהיה פיכח, אבל אני אשאר מכוער.
ג׳פטו 4 767313
הוריי! הללויה!

שאלתי שוב היום ובלי שום בעיות קיבלתי תשובה נכונה:
.
.
.
Therefore, 1 chicken lays approximately 2/3 of an egg in 1 day. 🐔🥚
ג׳פטו 4 767314
למקרה שאתה משתמש ב-GPT4:

האם התשובה הופיעה לאחר שהוא סימן ״Analysing״. אם כן, שים לב אם יש תו כחול בסוף התשובה שהוא נתן לך. אם כן, אז זה קישור שאם לוחצים עליו אפשר לראות את הסקריפט פייתון שהוא כתב לעצמו והריץ כדי להגיע אל התשובה הנכונה.
ג׳פטו 4 767315
CoPilot טוען שהוא משתמש ב GPT4 אבל לא היה שום סימון מהסוג שהזכרת. עכשיו אני רואה שהוא הוסיף לתשובה קישורים לחידה המוכרת הזאת, כך שאולי הוא פשוט העתיק את התשובה מאחד מהם.
ג׳פטו 4 767316
הבנתי. מה שהזכרתי זה פיצ׳ר של ChatGPT ב-UI של האתר של OpenAi.
ג׳פטו 4 767317
תן את הניסוח המדויק של השאלה ששאלת וגם אני אבדוק.
ג׳פטו 4 767335
הה, הוא ללא ספק העתיק את התשובה, כי אם אני משנה את הפרומפט למלים (במקום "1.5" אני כותב "one and a half") הוא חוזר לדבר שטויות, ומה שעוד יותר גרוע: אחרי זה הוא כבר זוכר את השטויות האלה כך שגם חזרה לפרומפט המקורי עם ספרות לא עוזרת וצריך להתחיל שיחה חדשה לגמרי.

בלעעע.

הניסוח המדוייק המקורי היה:

1.5 chickens lay 1.5 eggs in 1.5 days. How many eggs does 1 chicken lay in 1 day?
ג׳פטו 4 767348
וזו תשובתו המלאה של ChatGPT4 (באתר של OpenAi):

To find out how many eggs 1 chicken lays in 1 day, we can start by understanding the given information: 1.5 chickens lay 1.5 eggs in 1.5 days. This can be simplified to find the rate at which one chicken lays eggs. Here's how we can approach it:

Find the egg-laying rate per chicken per day: We need to normalize the given data to understand the rate for one chicken in one day.
Calculate for 1 chicken in 1 day: Once we have the rate per chicken per day, we can easily find out how many eggs 1 chicken lays in 1 day.
Let's do the math based on the information provided.

כאן הוא כותב לעצמו סקריפט בפייתון ״מאחורי הקלעים״‏1 כדי לבצע את החישוב ואז מחזיר תשובה:
Based on the calculation, 1 chicken lays approximately 0.67 eggs in 1 day.

_________________
# Given data
chickens = 1.5
eggs = 1.5
days = 1.5

# Calculate the rate of eggs laid per chicken per day
eggs_per_chicken_per_day = eggs / (chickens * days)

# Output the result
eggs_per_chicken_per_day
ג׳פטו 4 767318
או בקיצור - לקח לג'פטו שלנו כמעט שנה וזיליוני תשובות לאימון, כדי להבין שיש שאלות שצריך עבורן חבר טלפוני.
אם היה שואל את הדוד שלו שזכה בג'פרדי, בטח היה יודע על זה מזמן...
ג׳פטו 4 767322
אני בספק אם יש כזה דבר בינה (מלאכותית או לא) בלי הדבר הזה שאתה מכנה (בזלזול?) פניה ל״חבר טלפוני״. כל פעם כשאתה מוציא עפרון ומחשב משהו על דף (או אפילו ״זוכר אחד״ בתרגיל שאתה עושה בראש), אתה פונה ל״חבר טלפוני״ (במובן זה). זה לא שהחלק שלך במוח שמתעסק בשפה הוא גם זה שיחזיר לך תשובה לשאלות כמו כמה זה 250 כפול 67 או כמה זה 2 בחזקת 12, נכון?

אני בספק ששיפור (משמעותי) של ג׳פטו בחשבון יכול להגיע מאימון LLM כללי עם עוד ועוד דוגמאות. אף אחד לא טוען (גם לא האופטימיים ביותר לגבי פריצות הדרך של השנים האחרונות) ש-LLM לבדו יכול להגיע ל-AGI. זאת בעיה שהדרך לפתרון שלה היא גם אינטגרציות עם מודולים שונים המומחים בדברים שונים וביצוע החלטות למי הכי כדאי להעביר את הבעיה בהתאם לדומיין המתאים (בדומה לאסטרטגיה של MoE‏1, למשל).

____
ג׳פטו 4 767325
נסה אולי את אותו ההיגיון בניסוח אחר, ללא מילים משותפות. למשל, עז ורבע מניקה גדי ורבע ביום ורבע. כמה גדיים ליום מניקה עז אחת?
ג׳פטו 4 767336
לאור תשובתי לאביב דומני שאין צורך לחזור על הניסויים האלה. הבחור אידיוט, וכמו שכבר אמרתי הוא מזכיר לי את החדר הסיני יותר מאשר את HAL.

(אידיוט, אבל מסוג idiot savant בעל כישורים פנומנליים בתחומים מסויימים, מקיפול חלבונים שממשיך להתקדם ועד אנליזה רפואית, שם אנחנו עדיין בשלבים הראשונים, אבל העתיד הקרוב נראה מבטיח; שמעתי שהדור הבא של מכשירי CT ו-MRI יידע לאותת לרופא על סימנים מדאיגים, אם נמצאו כאלה, מייד עם תום הבדיקה, מה שעשוי להועיל מאד במקרים מסויימים. היום צריך לחכות עד חודש מהבדיקה עד הפענוח במקרים שלא נחשבים דחופים)
ג׳פטו 4 767351
(ומסתבר שגם בקריאת מגילות שרופות מלפני אלפי שנים הוא אינו קוטל קנים).
ג׳פטו 4 767339
אחרי שהגדרתי ל gpt-4-1106-preview מי הוא: You are an expert at logic which has won many contests, שאלתי אותו:
One and a quarter goose lays one and a quarter eggs in one and a quarter days. How many eggs does one goose lay in 1 day?
ונעניתי בתשובה נכונה ומנומקת:
Let's analyze the given information carefully.
"If one and a quarter goose lays one and a quarter eggs in one and a quarter days," we can simplify this by recognizing that the ratio of geese to eggs is 1:1 over the given timeframe since one and a quarter goose lays one and a quarter eggs.
Now, we want to find out how many eggs one goose lays in one day.
We can set up a proportion using the data we have:
1.25 geese lay 1.25 eggs in 1.25 days.
Therefore, the egg-laying rate for each goose is:
1.25 eggs / (1.25 geese * 1.25 days)
To find the number of eggs laid by one goose in one day, you would divide the number of eggs by the number of geese and then again by the number of days:
1.25 eggs / 1.25 geese = 1 egg per goose This is the rate of egg-laying per goose for 1.25 days.
Now, we want to know how many eggs are laid by one goose in one day. Therefore, we take the rate per goose and divide by the number of days (1.25) to normalize it to a single day:
1 egg per goose / 1.25 days = 0.8 eggs per goose per day
So one goose lays 0.8 eggs in one day.
ג׳פטו 4 767342
עברתי לשפת הקודש, מה שלא הפריע לו למצוא את התשובה (לשאלה אחרת :-))

אני: ענה על השאלה הבאה בתור מומחה ללוגיקה:
עז ורבע מפיקה ליטר ורבע חלב ביום ורבע. כמה ליטר חלב מפיקה עז אחת ביום אחד?

הוא:

אחת תפיק רק ליטר אחד של חלב באותו הזמן: יום ורבע. כלומר, אם עז אחת תחליב ליטר אחד ביום ורבע, זה אומר שעז אחת תחליב רק ⅔ מליטר חלב ביום אחד. לכן התשובה היא ⅔ מליטר חלב[123}. 🐔🥚

שים לב שזו חידה מתמטית ובמציאות, עזים לא מחליבות חלב בכמות של רק חלק מליטר.

Learn more
1

gardens.desigusxpro.com
2

hamichlol.org.il
3

he.wikipedia.org
4

bing.com
5
milk.org.il
+3 more
ג׳פטו 4 767345
אוי, הוא אפילו טעה במעבר מ-‏1:1.25 ל-‏0.8:1
ג׳פטו 4 767346
הוא העתיק בלי לבדוק.
ג׳פטו 4 767356
ותשובתו של ג׳פטו 4 של OpenAi בשפת הקודש:

אם עז ורבע (1.25 עזים) מפיקות ליטר ורבע (1.25 ליטרים) חלב ביום ורבע (1.25 ימים), נרצה לדעת כמה ליטר חלב מפיקה עז אחת ביום אחד.
נחלק את כמות החלב שמפיקות העזים בכמות הימים ואחר כך בכמות העזים, כדי לקבל את כמות החלב שעז אחת מפיקה ביום אחד.
...
עז אחת מפיקה 0.8 ליטר חלב ביום אחד.


את ההערות הפעם, בקוד הפייתון שהוא כתב לעצמו, הוא כתב בעברית :-)

מן הסתם זה עובד גם אם נחליף את הפרמטרים במספרים אחרים (כי זאת כבר תוצאה של הסקריפט).

אני שואל ברצינות, איך זה שונה באופן מהותי ממה שבני אדם עושים כשהם נתקלים בבעיה מילולית בחשבון?
1) הבנת הבעיה שמנוסחת בשפה טבעית והסבר מילולי (גם אם זה בראש) לסידרת הפעולות החשבוניות שצריך לבצע כדי להגיע אל התשובה הנכונה.
2) שימוש במכונה חישובית (גם אם בנאדם עושה זאת בראש אן על נייר - השלב הזה הוא לגמרי מכניסטי גם כשבני אדם עושים אותו) כדי להגיע אל התוצאה של הפעולה שכבר ניסחנו באופן פורמלי יותר.

המוצר הספציפי שאתה משתמש בו לא מיצג נאמנה את הכלים הזמינים לציבור (ובטח לא את מה שסביר להניח יש כבר מאחורי הקלעים, בלי שהוא הונגש לציבור). אתה בודק את הטכנולוגיה של האתמול.
ג׳פטו 4 767365
הוא באמת הצליח להמציא את הפועל "להחליב"? ואתם נטפלים לשגיאות בלוגיקה?

אני באמת נופל מהכיסא. חשבתי שהמודלים האלו מרכיבים משפטים חדשים ממילים קיימות שהם למדו, לא חשבתי שהם יודעים להמציא מילים.
ג׳פטו 4 767381
אני לא מצליח לשחזר את התשובה עם ה"תחליב"‏1 כדי לשאול אותו מאיפה הוא הגיע לזה. לא חשבתי עד עכשיו על מידת הבקיאות של קופיילוט בעברית, ובעיקר אך הוא מסתדר עם הבעייתיות של בנייני הפעלים וכללי גזירות מלים. משום מה ה"תחליב" לא עורר אצלי שום התפעלות והתייחסתי אליו יותר כאל שגיאה מאשר חידוש, משהו שהייתי מצפה אולי מעולה חדש.

מה שמרפה את יד מלהשתעשע יותר עם ג'פטו הוא בדיוק הפתיח של ההודעה: בלי הדירוּת קשה להתקדם.
____________
1-היום על אותה שאלה ובאותו ניסוח בדיוק הוא ענה לי:

כדי לחשב כמה חלב מפיקה עז אחת ביום אחד, נצטרך להכפיל את הכמות היומית של עז (ליטר ורבע) במספר הימים ביום אחד:
1.25ליטר×1=1.25ליטר
לכן, עז אחת מפיקה 1.25 ליטר חלב ביום אחד.
ג׳פטו 4 767343
לעניות דעתי כשהשאלה מנוסחת עם אחד ורבע במקום אחד וחצי, היא פחות מבלבלת לפתרון.
הצדקה אינטואיטיבית חסרת ביסוס: בסגנון "לחשוב מהר, לחשוב לאט" של כהנמן, הסגנון הנפוץ נותן תקווה ש"לחשוב מהר" ייתן תשובה מהירה (ולכן מכשיל את העונה), בעוד שכשעוברים לשברים מורכבים יותר, ברור שצריך פה "לחשוב לאט" וממש לעשות את החישובים באופן מסודר שפחות נתון לבלבול.
ג׳פטו 4 767349
ייתכן שאתה צודק. gpt ודומיו מושפעים מן המאמץ שהשקעת בשאלה ומה שלדעתם זה אומר עליך.
דוגמא שנתקלתי בה מקרוב היא בקשה לניסוח אימייל קצר אך עתיר דקויות שקשורות לרבדים בשפה האנגלית, לדימוי של המוסד ממנו יוצא האימייל ולדקויות שקשורות לנמען.

אחרי הרבה איטרציות, התברר למשתמש שבמקום להנחות את gpt כיצד לשפר אימייל שהוא כבר השקיע מזמנו כדי להביא אותו קרוב ככל האפשר לנוסח הרצוי, עדיף לכתוב באנגלית פשוטה (לא מקצועית), ורק אחרי זה להנחות את gpt.
אפשרות זו דורשת פחות איטרציות - שזה אומר פחות זמן וכסף. מה שהפתיע הוא שביחס לאפשרות הראשונה, הניסוח שהתקבל התברר כעדיף באופנים שהמשתמש לא שיער מראש.

מה שקרה הוא אולי‏1 שכאשר אתה מגיש לו משהו מוקפד, gpt, בדומה למזכיר אנושי, מנסה לשמור ככל האפשר על מרכיבים במסמך המקורי בבצעו את השיפורים. כאשר המסמך כתוב מראש בלשון המוסכים של דרום שיקגו, ואני לא מדבר על אלו המורשים, הוא נוטל לעצמו חירות מלאה, תוך שימוש במלוא כישוריו לצורך ביצוע ההנחיות.

1 הזהרת ספקולציה: אחרי שנים של דיאגנוזות של רשתות נוירונים, שמתי לב שאפשר לתת הסבר משכנע עבור הגורם כביכול לכל תוצר מפתיע שלהן...והיפוכו, מה שמביא אותי לזהירות יתרה בכגון אלו.
ג׳פטו 4 767350
ייתכן שהרגישות הגדולה של בינה מ., ובפרט של LLM's, לפרומפט מעידה על משהו ששונה באופן די מהותי מהדרך בה רשתות הנוירונים שלנו עובדות. שאלתי אותו מ דעתו.

הוא החזיר לי רשימה של הבדלים בין AI ל-HS בלי שום התייחסות לעניין הפרומפט שהיה נושא השאלה שלי. אין לי חשק מיוחד לשחק עם הפרומפט הזה...
ג׳פטו 4 767353
מעניין. הדבר הראשון שהוביל אותי לתפוס את gpt כחושב, עוד בדצמבר האחרון, היה היכולת שלו להבין שניתן לשאול את אותו הדבר במגוון דרכים, עוד לפני בדיקת נכונות התשובות שלו.
אבל כמו שראינו אח"כ, זה מסובך יותר. ויש לכך כמה גורמים. עיקרם, להבנתי, אינו קשור ישירות לארכיטקטורה שלו, אלא יותר לשלבי הלימוד, ובמיוחד החינוך שהוא עובר בסוף, כולל ניסיונות להבין מה באמת רצה המשתמש לשאול, במקום פשוט לענות על זה. כנראה שסטטיסטית, זו איסטרטגיה יכולה יותר עבור המשתמש הממוצע. לצורך זה הוסיפו עבור משתמשים משקיענים, יכולת להגדיר עבורו בתור מי הוא עונה ובתור מי המשתמש שואל. כשלעצמי, לא תמיד יש לי חשק להגדיר את מערכת היחסים ואז אחרי ניסיון אחד אני נוטש לטובת סידרת גיגולים.
ג׳פטו 4 767362
ברור שזו דרך שונה, מה השאלה.
כל מה שהוא עושה זה מניפולציות על מחרוזות של טקסט.
יש לך ספק בכלל שהביולוגיה של המוח האנושי לא נולדה ועוצבה עבור מחרוזות של טקסט?
ג׳פטו 4 767364
סיקרנת אותי וגם שיחקתי עם זה קצת. המוצר הזה שאתה משחק איתו (Copilot של מיקרוסופט) הוא מסכן - יש לו פיגור. הוא טועה על דברים די פשוטים שמוצרים אחרים לא טועים בהם. זה מרגיש כמו אינטגרציה די גרועה שעשה איזה Web code monkey בין GPT מן המוכן לבין מנוע חיפוש מן המוכן, בלי הרבה מחשבה או תכנון. זאת לא דוגמה טובה למוצר טוב או למקום בו אנו נמצאים.

שאלת דוגמה שסיפקתי לו ול-ChatGPT4 של OpenAi:
What prime number bigger than 2^24 is the smallest number that has 3 as one of the digits?

Copilot:
The smallest prime number greater than 2^24 (which is 16,777,216) that contains the digit 3 is 3,173,311. This number satisfies both conditions: it is a prime number and has the digit 3 in it

OpenAi:
The smallest prime number greater than 2^24 that contains the digit 3 is 16,777,331.

ג׳פטו 4 767379
לתומי חשבתי שמה שקובע זה GPT4 שיושב ברקע.
ג׳פטו 4 767394
כנראה פספסתי את התגובה הזו בזמן אמת.
התשובה של קופיילוט כל כך קפקאית בעיני, שאני תוהה אילו נזקים נפשיים ייגרמו לאוכלוסיית העולם כתוצאה מאינטגרציה של AI במענה של שירות לקוחות, למשל.

רגע, דיון 4212!
ג׳פטו 4 767395
בהחלט, אבל לדעתי זאת לא ביקורת על בינה מלאכותית או הנדסת תוכנה. הפיגור של המוצר הזה מריח לגמרי כמו קלאסטרפאק טיפוסי של אנשי שיווק ומנהלי מוצר‏1.

___________________
1 שיחת זום בחדר ישיבות בקומה 27 באיזה בניין זכוכית ״מה? מישהו פיתח מנוע V8 יעיל יותר? מהר, זירקו עליהם כסף, החתימו אותם על NDA ותנו ל-R&D שלושה ימים לעשות לזה אינטגרציה עם דגם האופניים שרצינו להשיק לפני החגים.״

חזרה לעמוד הראשי המאמר המלא

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים