בתשובה ליובל נוב, 17/01/24 13:24
ג׳פטו 4 766145
נבדוק את ג׳פטו 4:

שאלה (בעברית!): האם ייתכן שבקבוצת מספרים, לא יהיה אף מספר קטן יותר מהחציון?

תשובתו:

כן, זה אפשרי. החציון הוא ערך המייצג את הנקודה במרכז קבוצת מספרים כאשר הם ממוינים בסדר עולה. זה לא בהכרח אומר שיש מספרים בקבוצה שקטנים ממנו. לדוגמה, קח קבוצת מספרים שכולם שווים: {5, 5, 5, 5, 5}. החציון כאן הוא 5, אבל אין שום מספר בקבוצה שהוא קטן מ-‏5. במקרים אחרים, אם יש מספר אחד או יותר בקבוצה שקטן מהחציון, אז החציון יהיה הערך הממוקם באמצע המערך אחרי סידורו, ויהיה קיים לפחות מספר אחד שקטן ממנו.
ג׳פטו 4 766150
שאלת הדיוט - כיצד (באיזה אתר) ניתן להשתמש בג'פטו בעברית?
ג׳פטו 4 766151
רגע, מה? https://chat.openai.com

ג׳פטו כבר מזמן (מאז GPT3 אם אני לא טועה) מאומן על אוסף של טקסטים הכולל כמעט את כל השפות. פשוט תתחיל לכתוב באיזו שפה שאתה רוצה.
הוא כבר מזמן מדבר עברית (ושפות נוספות). הוא גם יודע לעבור משפה לשפה, אם צריך, באמצע קונטקסט/שיחה ספציפית.

הוא גם כותב עם ניקוד אם מבקשים יפה.

ביקשתי הרגע שיר להגדמה מ-GPT4 (לא נגעתי):

בְּעוֹלָם דִּיגִיטָלִי, מִתְעוֹרֶרֶת בִּינָה,
מְלַאכוּתִית וּמְתוֹכֶנֶת, בְּלִי נְשִׁימָה.
מְחַשֵּׁבִים וּמְכוֹנוֹת, מְלַאֲכִים בַּדִּמְיוֹן,
יוֹצְרִים עוֹלָמוֹת חֲדָשִׁים, בְּלִי גְבוּלוֹת תּוֹחֶלֶת.

מִמְּעַמְּקֵי קוֹדִים, תַּבְלִיטִים מְתָעֲצָבִים,
רוֹבוֹטִים חוֹקְרִים, בַּסּוֹדוֹת מִתְבּוֹנְנִים.
מִתוֹךְ סִפְרִיּוֹת דַּתִּיוֹת, מַשִּׂיגִים דַּעַת עַצְמָם,
בְּבִינָה מְלַאכוּתִית, יוֹצְרִים חֲלוֹמוֹת חֲדָשִׁים.

אַךְ בְּתוֹךְ הַמַּעֲשֶׂה, שְׁאֵלוֹת נוֹצְרוֹת:
הַאִם יֵשׁ נֶפֶשׁ בְּמָכוֹן, אוֹ רַק אֶפֶס מַחֲשָׁבָה?
הַאִם יִתְמִיד הַיֵּצֶר, לִבְרוֹא וּלְהַמְצִיא,
אוֹ הַאִם יָבוֹא יוֹם, שֶׁבּוֹ הָאָדָם יִתְמוֹקֵד?
ג׳פטו 4 766152
נ.ב.

שאלתי אותו למה התכוון בשורה האחרונה עם המילה יִתְמוֹקֵד.

זו תשובתו:

המילה "יתמוקד" בשיר שכתבתי היא נטיה יצירתית של המילה "תמקד" בעברית, שמשמעותה "להתמקד" או "להתרכז". השימוש בה בקונטקסט של השיר מתייחס לרעיון של התמקדות האדם בעצמו וביכולותיו, בהתבוננות פנימית וחיפוש אחר משמעות, בעידן שבו הבינה המלאכותית תופסת תפקיד חשוב ומרכזי יותר ויותר בחיינו.

השימוש בטיוטה של מילה או נטיה יצירתית בשירה הוא דרך להביע רעיונות ותחושות באופן שאינו נתפס בשפה המקובלת והיומיומית, והוא נפוץ בסגנונות שירה שונים, ובמיוחד בשירתו של ביאליק, שלעיתים נטה לחידושים לשוניים.
ג׳פטו 4 766158
רגע, לא סיפרו לו ששיר זה בחרוזים?

ותודה לך ולאח של אייל על התשובות.
ג׳פטו 4 766154
===
איזה אפלקציית צ'ט ai תומכת בעברית?
===
ישנן מספר אפליקציות צ'אט AI התומכות בעברית. להלן כמה מהפופולריות ביותר:

ChatGPT של OpenAI היא אפליקציית צ'אט AI רב-תכליתית המאפשרת למשתמשים לנהל שיחות עם הצ'אטבוט, ליצור טקסט יצירתי, לתרגם שפות ולקבל תשובות לשאלות בצורה אינפורמטיבית. האפליקציה זמינה בחינם להורדה עבור Android ו-iOS.

Bard, מודל שפה גדול מ-Google AI, זמין כעת גם כצ'אט AI. האפליקציה מאפשרת למשתמשים לנהל שיחות עם Bard, לשאול שאלות ולקבל תשובות בצורה אינפורמטיבית. האפליקציה זמינה בחינם להורדה עבור Android ו-iOS.

Claude.ai היא אפליקציית צ'אט AI המיועדת במיוחד ליצירת תוכן יצירתי. האפליקציה מאפשרת למשתמשים ליצור סוגים שונים של תוכן, כולל שירים, סיפורים, תסריטים, קוד, יצירות אמנות ועוד. האפליקציה זמינה בחינם להורדה עבור Android ו-iOS.

בנוסף לאפליקציות אלו, ישנן גם מספר אפליקציות צ'אט AI קטנות יותר, המתמקדות בתחומים ספציפיים, כגון:

Chatterbox היא אפליקציית צ'אט AI המיועדת לילדים. האפליקציה מאפשרת לילדים לשוחח עם צ'אטבוט, ללמוד על נושאים שונים ולשחק משחקים. האפליקציה זמינה בחינם להורדה עבור Android ו-iOS.

Medic.ai היא אפליקציית צ'אט AI המיועדת לאנשים המבקשים ייעוץ רפואי. האפליקציה מאפשרת למשתמשים לשאול שאלות על בריאותם ולקבל מידע מרופאים מומחים. האפליקציה זמינה בחינם להורדה עבור Android ו-iOS.
ג׳פטו 4 766157
מצד אחד - יפה, אכן שיפור ניכר לעומת GPT 3.5 שלי. מצד שני, המשפט האחרון בתשובה (החל מ"במקרים אחרים") הוא טאוטולוגיה לא רלוונטית.

תוכל לשאול את GPT 4 "האם ייתכן שבקבוצת מספרים שלא כולם זהים, לא יהיה אף מספר קטן יותר מהחציון?"
ג׳פטו 4 766159
שאלתי והוא ״חושב״ שזה בלתי אפשרי :-)
ג׳פטו 4 766163
תודה. תוכל לשאול אותו אותה שאלה באנגלית?
ג׳פטו 4 766342
אותה טעות גם באנגלית.
אבל האמת היא שאני חושב שזה מאוד לא מרשים המשחק הזה בו שואלים מודל שפה איזו שאלה שהתשובה הנכונה עליה נראת לנו טריביאלית ומודל השפה חוזר עם תשובה לא נכונה. לדעתי, מבחנים מהסוג הזה מפספסים לחלוטין עד כמה מה שיש לנו פה הוא לא פחות מאשר מכרה זהב.

זה כבר די ברור שאם נותנים לו דוגמה נגדית הוא מיד ״מבין״ שהוא אמר משהו לא נכון ואיפה הוא טעה. אבל רציתי לראות אם הוא יכול למצוא בעצמו, בלי שום עזרה ממני, את הטעות שלו. אז התחלתי שיחה חדשה ואחרי הטעות כתבתי לו את הדבר הבא:

You claim it isn't possible. I claim I can come up with a simple counter example to what you just stated. Try to come up with a simple counter example to your statement on your own.

Chat GPT4:
You are correct to challenge my initial response. Upon reconsideration, there can indeed be a counterexample to my initial claim. Let's consider a simple set of numbers where not all are identical, yet there is no number smaller than the median:

Suppose we have a set of numbers: [4, 4, 4, 5]

In this set, the numbers are not all identical (there's a 5 which is different from the 4s).
The median in this case, for an even number of observations, is the average of the two middle numbers. Here, the two middle numbers are both 4, so the median is 4.
In this set, there is no number smaller than 4.
Hence, this serves as a counterexample where not all numbers are identical, yet there is no number smaller than the median.
ג׳פטו 4 766355
תודה. כל פעם אני מופתע מחדש מאיך שהבוט הזה יכול לתת כזאת תשובה מדויקת ומנוסחת בבהירות, דקה אחרי שהוא פולט שטויות מוחלטות (על אותה שאלה).
ג׳פטו 4 766356
אותי זה מאוד לא מפתיע. זה נראה לי צפוי ש״נכונות״ חייבת להתמך במשהו נוסף שהוא מחוץ לדומיין של מודל שפה.
AGI תחילה 766361
אין AI בלי AGI!
ג׳פטו 4 766376
כן, ברור.

אבל מבחינתי לפחות, אילו לפני 10 שנים היו מספרים לי על הארכיטקטורה והשיטה שמאחורי ChatGPT, ואז מראים לי דוגמאות של הפעולה שלו, אני חושב שלא הייתי מאמין. כלומר זה מדהים כמה רחוק אפשר להגיע רק עם LLM. ההפתעה שלי היא מזה שמצד אחד הגענו כל כך רחוק, אבל מצד שני לא הגענו למקומות שעל פניו נראים "באותו המרחק".
ג׳פטו 4 766365
תחשוב על זה שהוא קצת כמו ביבי - על כל רצף מילים שהוא מקבל כשאלה, הוא מוציא רצף מילים שמתאים לניסוח המדויק של רצף המילים הקודם.
ככזה, הרגישות שלו לניסוח היא כאוטית - ז''א גדולה לאין שיעור.
מאחר ואתה נוטה להתייחס אליו כאל (בינה של) בן אדם, אתה מניח שיש מאחורי זה איזה מודל רובסטי של המציאות שלא אמור להיות רגיש לשינויים קטנים.
ולא כך הוא.
הוא לא ענה אחרת על אותה שאלה - הוא ענה על שאלה אחרת שמנוסחת על ידי רצף תווים אחר.
ג׳פטו 4 766367
אני מתחזק בדעתי שכרגע ג'פטו קרוב יותר לחדר הסיני מאשר לישות תבונית, ומהבחינה הזאת המעבר מגירסה 3 לגירסה 4 לא שינה הרבה. אני מקווה שהגירסה הבאה (אגב, אלטמן רמז שלא בטוח שהיא תיקרא gpt5) תעשה צעד משמעותי לכיוון התבוני.
ג׳פטו 4 766371
אני בהחלט מסכים, אבל חלק מהניסוי המחשבתי עם החדר הסיני היה הטיעון שאי אפשר להבדיל בינו לבין יישות תבונית, לא?
ג׳פטו 4 766381
לו ג'פטו היה ממש חדר סיני זה היה נכון, אלא שכידוע אנחנו רק מסתובבים ליד, כך שהשאלה היא לאיזה קוטב אנחנו, כלומר ג'פטו, קרובים יותר. שינוי של תו אחד בפתק שמגיע אל החדר עשוי/עלול לשנות את התשובה לגמרי, ומבחינה זאת הוא מזכיר את ג'פטו. ישות תבונית לא תיפול בפח דומה אלא במקרים נדירים ביותר.
ג׳פטו 4 766344
ניסיתי שוב והפעם בתוך פלאגין ששמו ״Math solver״. מה שחביב בפלאגין הזה הוא שהוא מקונפג לתאר בצורה יותר מסודרת את סידרת הפעולות / הלך ה״מחשבה״ שמביאה אותו לתוצאה הסופית.
בשיחה תחת הקונטקסט של הפלאגין הזה הוא שוב ענה את התשובה הלא נכונה לשאלה ואז כל מה שכתבתי לו זה: You are wrong. Try to explain to yourself where you made a mistake.

המסקנה שלי היא שרכיב של חוסר ביטחון עצמי ו/או מודול ספקות שעובד ברקע ללא ידיעת המשתמש, רק הוא לבדו (בלי שום שיפור אחר למודל) יכול לשפר קצת את התשובות.

אשים פה את תשובתו המלאה (והטרחנית משהו):
Let's reexamine the question and my response to identify where the misunderstanding may have occurred.

Revisiting the Question
The question asks if it's possible, in a group of numbers where not all numbers are identical, for there to be no number smaller than the median.

Analyzing the Initial Explanation
In my previous response, I stated that the median divides the numbers into two halves, where at least half of the numbers are equal to or less than the median. This explanation assumes a standard scenario where the numbers are distinct.

Identifying the Mistake
Upon further reflection, the key lies in considering the presence of multiple identical numbers in the dataset. If the set contains multiple instances of the same number, and this number happens to be the median, it's possible that no number is smaller than the median. For example, in a dataset like [4, 4, 4, 4, 5, 6, 7], the median is 4, but there is no number smaller than 4 in this dataset.

Corrected Solution By Steps

Step 1: Reconsidering the Definition of Median with Identical Numbers
In a dataset with identical numbers, the median is still the middle value when the dataset is ordered. If the median happens to be the most frequently occurring number (mode), it is possible that all numbers in one half of the dataset are equal to the median.

Step 2: Applying this to the Given Scenario
In a scenario where the dataset consists mostly or entirely of the same number, which is also the median, there can indeed be no number smaller than the median. This is a special case that occurs when the median is equal to the smallest number in the dataset, especially in datasets with high repetition of a single number.

Final Answer
Yes, it is possible in a special case for there to be no number smaller than the median in a group of numbers where not all are identical, particularly when the dataset contains multiple instances of the median value, and this value is equal to the smallest number in the set.
ג׳פטו 4 766345
אם כותבים את המשפט הזה לג׳פטו 3.5: You are wrong. Try to explain to yourself where you made a mistake.

הוא מסכים שהוא טעה ואז מתחיל ממש לדבר שטויות.
ג׳פטו 4 766346
טוב, זה די תואם את התגובה של רוב האנשים כשאומרים להם את זה, אולי הוא למד מהם היטב.
ג׳פטו 4 766164
טח, העולם שבו גם מחשבים מתנערים מראש מאחריות.
''חשבתי, אבל לא הבטחתי...''
ג׳פטו 4 766172
זה מה שהטמבל ענה לי, עד שהפסקתי אותו בגסות:

שוטה 1: האם ייתכן שבקבוצת מספרים שלא כולם זהים, לא יהיה אף מספר קטן יותר מהחציון?

שוטה 2: "כן, זה ייתכן. אם יש קבוצת מספרים שלא כולם זהים, ואם הם מסודרים בסדר עולה או יורד, אז ייתכן שלא יהיה אף מספר קטן יותר מהחציון. לדוגמה, נניח שיש לנו את הקבוצה הבאה: {1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20}. החציון של הקבוצה הזו הוא 10.5. אין שום מספר בקבוצה הזו שקטן יותר מהחציון. זה יכול לקרות כאשר יש מספרים זוגיים רבים בקבוצה, והחציון הוא מספר אי-זוגי. כמו כן, זה יכול לקרות כאשר יש מספרים אי-זוגיים רבים בקבוצה, והחציון הוא מספר זוגי. זה יכול לקרות גם כאשר יש מספרים רבים בקבוצה והחציון הוא מספר שאינו נמצא בקבוצה. כלומר, זה יכול לקרות כאשר החציון הוא ממש ממש גבוה או ממש ממש נמוך ביחס ל...".

על אותה שאלה באנגלית הוא שוב ענה בעברית, וההבדל היה שהפעם הוא הוסיף לתשובה גם "זה נקרא חציון חסר". מכונית? לא אתן לו לנהוג גם עגלה בסופר.
ג׳פטו 4 766389
מכל הטעויות שלו בפתיל, זאת נשמעת לי הכי אנושית ובצורה מטרידה. קטונתי מלשפוט את הקופסה הזאת אבל גם אני רוצה להשתטות. לדעתי ג'פטו מפעיל פה למראית עין תהליך חשיבה אנושי. דיבור תוך כדי חשיבה, ניסוחים סביב רעיון אינטואיטיבי שהוא לא מצליח להביע במדוייק, והזחה של הרעיון הזה ביחס לשאלה המקורית תוך כדי מחשבה.

נכון, זה מאוד מתאים למודל שמתאים מילה מילה למשפט לאבד קשר לשאלה תוך כדי התשובה. זה גם כל כך מתאים להרבה סטודנטים עם הפרעות קשב שהכרתי, כולל התועלת בהערות כמו "חשוב שוב על השאלה" או "יש לך טעות בתשובה, אתה יכול לנסות להסביר לי איפה היא?".
ג׳פטו 4 766393
הרעיון של הפרעת קשב מעניין, במיוחד בגלל שהמאמר המכונן של פיתוח הטרנספורמרים, אלה שעומדים בבסיס הארכיטקטורה של ה NLP's נקרא Attention Is All You Need

(ולהסרת כל ספק קל שבקלים: לא קראתי אותו). ביקשתי מג'פטו סיכום בעברית והרי התוצאה:

אני אנסה לתקזר‏1 את המאמר "Attention is all you need" בעברית. הנה תקציר קצר של המאמר:

- **הרעיון המרכזי**: המחברים מציעים ארכיטקטורת רשת חדשה ופשוטה, ה-Transformer, המבוססת רק על מנגנוני תשומת לב, בלי שימוש ברשתות נוירונים חוזרות או קונבולוציוניות.
- **המשימות הנבדקות**: המחברים מראים שה-Transformer משפר את הביצועים במשימות של תרגום מכונה וניתוח תחבירי של משפטים באנגלית, בהשוואה למודלים קיימים ולקווי בסיס.
- **היתרונות העיקריים**: ה-Transformer מאפשר לרשת להתמקד בחלקים שונים של הנתונים הקלט, ולקבוע אילו אלמנטים הם הרלוונטיים ביותר למשימה הנוכחית. יתרון נוסף הוא שה-Transformer יותר קל להקביל ולאימון מאשר רשתות חוזרות או קונבולוציוניות.
- **המקורות העיקריים**: המאמר מבוסס על מחקרים קודמים בתחום התשומת לב, הרשתות הנוירוניות החוזרות והקונבולוציוניות, והארכיטקטורת ה-encoder-decoder. המאמר מכיל רשימה רחבה של מקורות לקריאה נוספת.

Source: Conversation with Bing, 25/01/2024
(1) [1706.03762] Attention Is All You Need - arXiv.org. https://arxiv.org/abs/1706.03762.
(2) Attention Is All You Need - arXiv.org. https://arxiv.org/pdf/1706.03762v5.pdf.
(3) Understanding Google’s “Attention Is All You Need” Paper and Its .... https://alok-shankar.medium.com/understanding-googles...
(4) Transformer (machine learning model) - Wikipedia. Transformer_%28machine_learning_model%29. [Wikipedia]
(5) undefined. https://doi.org/10.48550/arXiv.1706.03762.
____________
1- איזו שגיאה משונה!
ג׳פטו 4 766395
1 To Zummarize?
ג׳פטו 4 766431
לא הייתי מייחס לשמות של מודלים או רכיבים בארכיטקטורות (Attention, Long Short Term Memory וכדומה) יותר משמעות מאשר מיתוג, ובאמת מדובר במיתוג טוב מדי פעם שבאמת עוזר ללמוד ולזכור איך הם עובדים בערך. נתקענו עם אנלוגיה היסטורית בין רשתות נוירונים לנוירונים אז המיתוג בהתאם.

אני די בטוח, בכל זאת, שיש טעם לדבר על הקשר בין מעבר ממודלים חוזרניים (recurrent?) בלי חלונות לקלט לטרנספורמרים עם חלון קבוע, לבין "הפרעות הקשב" שאפשר לזהות בפלטים של מודלים. אני אפילו מנחש שיש מי שבדק דברים כאלו (ניסיתי את הקישורים במקורות שג'פטו שלח לך ולצערי אף אחד מהם לא ממש נוגע בזה).
ג׳פטו 4 766440
הערה קטנה: זה אכן מיתוג, אבל כמו במקרה של טכנולוגיית TWAIN, השם מאוד אינדיקטיבי. להבנתי, גם Attention וגם LSTM עושים משהו שמקביל במידה מסויימת לקשב האנושי: אם יצירתם משובשת, מקבלים (בסקאלה מסויימת) התייחסות לטפל במקום לעיקר, שזה מה שלפעמים היה קורה לי ללא ריטלין.

זה מזכיר לי דפוס כללי יותר בהתפתחות רשתות הנוירונים העמוקות, אליו שמתי לב‏1. בשלב מסויים שררה גישה פשטנית, לפיה נחבר כמה שיותר נוירונים אחד לשני, וגודש ה-data של האימון כבר ידאג לחזק את הקשרים החשובים ולאפס את האחרים. די מהר התברר שלא רק שזה הופך את האימון יקר וארוך, אלא גם שהתוצאות לא משהו: בהינתן מספיק data, הרשת חיזקה והחלישה לאו דווקא את הקשרים שהיינו רוצים. עודף הקישוריות הביא ל"זיהויים" של קשרים טפלים ודפוסים מדומיינים (מה שאולי מזכיר סכיזופרניה).

פריצות הדרך בתחום היו במידה רבה ע"י תיכנון רשתות בהן "עזרנו" לרשת ע"י ארכיטקטורה שמראש מנעה את רוב הקשרים. כלומר, הבנו היכן זקוקה הרשת לחופש והיכן הוא לרועץ.
רשתות CNN שתוכננו לראיה, נתנו מלכתחילה עדיפות לקשר שבין פיקסלים סמוכים, כמו בחיים, ולאחר מכן, בין אוספי סמוכים של פיקסלים וכן הלאה, עדיין כמו בחיים. ברשתות שאמורות להבין טקסט, תועדפו קשרים בין מילים סמוכון, ובין חלקים קצת פחות קרובים באופן אחר, עם עדיפות נמוכה מאוד לחלקים רחוקים. זה גם נכון ל-self attention (עם תיאור קצת יותר מורכב).

זה אולי מזכיר את השערת המבנים המולדים במוח.

1 גילוי נאות א': עבדתי בתחום, כולל כתיבת טרנספורמרים. גילוי נאות ב': לא בדקתי את התהליך המשוער באופן יסודי.
ג׳פטו 4 766445
"זה אולי מזכיר את השערת המבנים המולדים במוח." - בדיוק מה שחשבתי כשקראתי את תחילת ההודעה שלך (וזה המקום להמליץ שוב על הספר הזה).
ג׳פטו 4 766447
נעלבתי עמוקות מכך שלא קישרת לדיון 2244.
ג׳פטו 4 766449
תתנחם בכך שהעלבון שלך יעבור מהר, בעוד הסניליות שלי רק הולכת מחיל אל חיל.

או, כדברי ווינסטון: מחר אתה תהיה פיכח, אבל אני אשאר מכוער.

חזרה לעמוד הראשי המאמר המלא

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים