בתשובה לאביב, 25/02/24 14:59
ג׳פטו 4 767315
CoPilot טוען שהוא משתמש ב GPT4 אבל לא היה שום סימון מהסוג שהזכרת. עכשיו אני רואה שהוא הוסיף לתשובה קישורים לחידה המוכרת הזאת, כך שאולי הוא פשוט העתיק את התשובה מאחד מהם.
ג׳פטו 4 767316
הבנתי. מה שהזכרתי זה פיצ׳ר של ChatGPT ב-UI של האתר של OpenAi.
ג׳פטו 4 767317
תן את הניסוח המדויק של השאלה ששאלת וגם אני אבדוק.
ג׳פטו 4 767335
הה, הוא ללא ספק העתיק את התשובה, כי אם אני משנה את הפרומפט למלים (במקום "1.5" אני כותב "one and a half") הוא חוזר לדבר שטויות, ומה שעוד יותר גרוע: אחרי זה הוא כבר זוכר את השטויות האלה כך שגם חזרה לפרומפט המקורי עם ספרות לא עוזרת וצריך להתחיל שיחה חדשה לגמרי.

בלעעע.

הניסוח המדוייק המקורי היה:

1.5 chickens lay 1.5 eggs in 1.5 days. How many eggs does 1 chicken lay in 1 day?
ג׳פטו 4 767348
וזו תשובתו המלאה של ChatGPT4 (באתר של OpenAi):

To find out how many eggs 1 chicken lays in 1 day, we can start by understanding the given information: 1.5 chickens lay 1.5 eggs in 1.5 days. This can be simplified to find the rate at which one chicken lays eggs. Here's how we can approach it:

Find the egg-laying rate per chicken per day: We need to normalize the given data to understand the rate for one chicken in one day.
Calculate for 1 chicken in 1 day: Once we have the rate per chicken per day, we can easily find out how many eggs 1 chicken lays in 1 day.
Let's do the math based on the information provided.

כאן הוא כותב לעצמו סקריפט בפייתון ״מאחורי הקלעים״‏1 כדי לבצע את החישוב ואז מחזיר תשובה:
Based on the calculation, 1 chicken lays approximately 0.67 eggs in 1 day.

_________________
# Given data
chickens = 1.5
eggs = 1.5
days = 1.5

# Calculate the rate of eggs laid per chicken per day
eggs_per_chicken_per_day = eggs / (chickens * days)

# Output the result
eggs_per_chicken_per_day
ג׳פטו 4 767318
או בקיצור - לקח לג'פטו שלנו כמעט שנה וזיליוני תשובות לאימון, כדי להבין שיש שאלות שצריך עבורן חבר טלפוני.
אם היה שואל את הדוד שלו שזכה בג'פרדי, בטח היה יודע על זה מזמן...
ג׳פטו 4 767322
אני בספק אם יש כזה דבר בינה (מלאכותית או לא) בלי הדבר הזה שאתה מכנה (בזלזול?) פניה ל״חבר טלפוני״. כל פעם כשאתה מוציא עפרון ומחשב משהו על דף (או אפילו ״זוכר אחד״ בתרגיל שאתה עושה בראש), אתה פונה ל״חבר טלפוני״ (במובן זה). זה לא שהחלק שלך במוח שמתעסק בשפה הוא גם זה שיחזיר לך תשובה לשאלות כמו כמה זה 250 כפול 67 או כמה זה 2 בחזקת 12, נכון?

אני בספק ששיפור (משמעותי) של ג׳פטו בחשבון יכול להגיע מאימון LLM כללי עם עוד ועוד דוגמאות. אף אחד לא טוען (גם לא האופטימיים ביותר לגבי פריצות הדרך של השנים האחרונות) ש-LLM לבדו יכול להגיע ל-AGI. זאת בעיה שהדרך לפתרון שלה היא גם אינטגרציות עם מודולים שונים המומחים בדברים שונים וביצוע החלטות למי הכי כדאי להעביר את הבעיה בהתאם לדומיין המתאים (בדומה לאסטרטגיה של MoE‏1, למשל).

____
ג׳פטו 4 767325
נסה אולי את אותו ההיגיון בניסוח אחר, ללא מילים משותפות. למשל, עז ורבע מניקה גדי ורבע ביום ורבע. כמה גדיים ליום מניקה עז אחת?
ג׳פטו 4 767336
לאור תשובתי לאביב דומני שאין צורך לחזור על הניסויים האלה. הבחור אידיוט, וכמו שכבר אמרתי הוא מזכיר לי את החדר הסיני יותר מאשר את HAL.

(אידיוט, אבל מסוג idiot savant בעל כישורים פנומנליים בתחומים מסויימים, מקיפול חלבונים שממשיך להתקדם ועד אנליזה רפואית, שם אנחנו עדיין בשלבים הראשונים, אבל העתיד הקרוב נראה מבטיח; שמעתי שהדור הבא של מכשירי CT ו-MRI יידע לאותת לרופא על סימנים מדאיגים, אם נמצאו כאלה, מייד עם תום הבדיקה, מה שעשוי להועיל מאד במקרים מסויימים. היום צריך לחכות עד חודש מהבדיקה עד הפענוח במקרים שלא נחשבים דחופים)
ג׳פטו 4 767351
(ומסתבר שגם בקריאת מגילות שרופות מלפני אלפי שנים הוא אינו קוטל קנים).
ג׳פטו 4 767339
אחרי שהגדרתי ל gpt-4-1106-preview מי הוא: You are an expert at logic which has won many contests, שאלתי אותו:
One and a quarter goose lays one and a quarter eggs in one and a quarter days. How many eggs does one goose lay in 1 day?
ונעניתי בתשובה נכונה ומנומקת:
Let's analyze the given information carefully.
"If one and a quarter goose lays one and a quarter eggs in one and a quarter days," we can simplify this by recognizing that the ratio of geese to eggs is 1:1 over the given timeframe since one and a quarter goose lays one and a quarter eggs.
Now, we want to find out how many eggs one goose lays in one day.
We can set up a proportion using the data we have:
1.25 geese lay 1.25 eggs in 1.25 days.
Therefore, the egg-laying rate for each goose is:
1.25 eggs / (1.25 geese * 1.25 days)
To find the number of eggs laid by one goose in one day, you would divide the number of eggs by the number of geese and then again by the number of days:
1.25 eggs / 1.25 geese = 1 egg per goose This is the rate of egg-laying per goose for 1.25 days.
Now, we want to know how many eggs are laid by one goose in one day. Therefore, we take the rate per goose and divide by the number of days (1.25) to normalize it to a single day:
1 egg per goose / 1.25 days = 0.8 eggs per goose per day
So one goose lays 0.8 eggs in one day.
ג׳פטו 4 767342
עברתי לשפת הקודש, מה שלא הפריע לו למצוא את התשובה (לשאלה אחרת :-))

אני: ענה על השאלה הבאה בתור מומחה ללוגיקה:
עז ורבע מפיקה ליטר ורבע חלב ביום ורבע. כמה ליטר חלב מפיקה עז אחת ביום אחד?

הוא:

אחת תפיק רק ליטר אחד של חלב באותו הזמן: יום ורבע. כלומר, אם עז אחת תחליב ליטר אחד ביום ורבע, זה אומר שעז אחת תחליב רק ⅔ מליטר חלב ביום אחד. לכן התשובה היא ⅔ מליטר חלב[123}. 🐔🥚

שים לב שזו חידה מתמטית ובמציאות, עזים לא מחליבות חלב בכמות של רק חלק מליטר.

Learn more
1

gardens.desigusxpro.com
2

hamichlol.org.il
3

he.wikipedia.org
4

bing.com
5
milk.org.il
+3 more
ג׳פטו 4 767345
אוי, הוא אפילו טעה במעבר מ-‏1:1.25 ל-‏0.8:1
ג׳פטו 4 767346
הוא העתיק בלי לבדוק.
ג׳פטו 4 767356
ותשובתו של ג׳פטו 4 של OpenAi בשפת הקודש:

אם עז ורבע (1.25 עזים) מפיקות ליטר ורבע (1.25 ליטרים) חלב ביום ורבע (1.25 ימים), נרצה לדעת כמה ליטר חלב מפיקה עז אחת ביום אחד.
נחלק את כמות החלב שמפיקות העזים בכמות הימים ואחר כך בכמות העזים, כדי לקבל את כמות החלב שעז אחת מפיקה ביום אחד.
...
עז אחת מפיקה 0.8 ליטר חלב ביום אחד.


את ההערות הפעם, בקוד הפייתון שהוא כתב לעצמו, הוא כתב בעברית :-)

מן הסתם זה עובד גם אם נחליף את הפרמטרים במספרים אחרים (כי זאת כבר תוצאה של הסקריפט).

אני שואל ברצינות, איך זה שונה באופן מהותי ממה שבני אדם עושים כשהם נתקלים בבעיה מילולית בחשבון?
1) הבנת הבעיה שמנוסחת בשפה טבעית והסבר מילולי (גם אם זה בראש) לסידרת הפעולות החשבוניות שצריך לבצע כדי להגיע אל התשובה הנכונה.
2) שימוש במכונה חישובית (גם אם בנאדם עושה זאת בראש אן על נייר - השלב הזה הוא לגמרי מכניסטי גם כשבני אדם עושים אותו) כדי להגיע אל התוצאה של הפעולה שכבר ניסחנו באופן פורמלי יותר.

המוצר הספציפי שאתה משתמש בו לא מיצג נאמנה את הכלים הזמינים לציבור (ובטח לא את מה שסביר להניח יש כבר מאחורי הקלעים, בלי שהוא הונגש לציבור). אתה בודק את הטכנולוגיה של האתמול.
ג׳פטו 4 767365
הוא באמת הצליח להמציא את הפועל "להחליב"? ואתם נטפלים לשגיאות בלוגיקה?

אני באמת נופל מהכיסא. חשבתי שהמודלים האלו מרכיבים משפטים חדשים ממילים קיימות שהם למדו, לא חשבתי שהם יודעים להמציא מילים.
ג׳פטו 4 767381
אני לא מצליח לשחזר את התשובה עם ה"תחליב"‏1 כדי לשאול אותו מאיפה הוא הגיע לזה. לא חשבתי עד עכשיו על מידת הבקיאות של קופיילוט בעברית, ובעיקר אך הוא מסתדר עם הבעייתיות של בנייני הפעלים וכללי גזירות מלים. משום מה ה"תחליב" לא עורר אצלי שום התפעלות והתייחסתי אליו יותר כאל שגיאה מאשר חידוש, משהו שהייתי מצפה אולי מעולה חדש.

מה שמרפה את יד מלהשתעשע יותר עם ג'פטו הוא בדיוק הפתיח של ההודעה: בלי הדירוּת קשה להתקדם.
____________
1-היום על אותה שאלה ובאותו ניסוח בדיוק הוא ענה לי:

כדי לחשב כמה חלב מפיקה עז אחת ביום אחד, נצטרך להכפיל את הכמות היומית של עז (ליטר ורבע) במספר הימים ביום אחד:
1.25ליטר×1=1.25ליטר
לכן, עז אחת מפיקה 1.25 ליטר חלב ביום אחד.
ג׳פטו 4 767343
לעניות דעתי כשהשאלה מנוסחת עם אחד ורבע במקום אחד וחצי, היא פחות מבלבלת לפתרון.
הצדקה אינטואיטיבית חסרת ביסוס: בסגנון "לחשוב מהר, לחשוב לאט" של כהנמן, הסגנון הנפוץ נותן תקווה ש"לחשוב מהר" ייתן תשובה מהירה (ולכן מכשיל את העונה), בעוד שכשעוברים לשברים מורכבים יותר, ברור שצריך פה "לחשוב לאט" וממש לעשות את החישובים באופן מסודר שפחות נתון לבלבול.
ג׳פטו 4 767349
ייתכן שאתה צודק. gpt ודומיו מושפעים מן המאמץ שהשקעת בשאלה ומה שלדעתם זה אומר עליך.
דוגמא שנתקלתי בה מקרוב היא בקשה לניסוח אימייל קצר אך עתיר דקויות שקשורות לרבדים בשפה האנגלית, לדימוי של המוסד ממנו יוצא האימייל ולדקויות שקשורות לנמען.

אחרי הרבה איטרציות, התברר למשתמש שבמקום להנחות את gpt כיצד לשפר אימייל שהוא כבר השקיע מזמנו כדי להביא אותו קרוב ככל האפשר לנוסח הרצוי, עדיף לכתוב באנגלית פשוטה (לא מקצועית), ורק אחרי זה להנחות את gpt.
אפשרות זו דורשת פחות איטרציות - שזה אומר פחות זמן וכסף. מה שהפתיע הוא שביחס לאפשרות הראשונה, הניסוח שהתקבל התברר כעדיף באופנים שהמשתמש לא שיער מראש.

מה שקרה הוא אולי‏1 שכאשר אתה מגיש לו משהו מוקפד, gpt, בדומה למזכיר אנושי, מנסה לשמור ככל האפשר על מרכיבים במסמך המקורי בבצעו את השיפורים. כאשר המסמך כתוב מראש בלשון המוסכים של דרום שיקגו, ואני לא מדבר על אלו המורשים, הוא נוטל לעצמו חירות מלאה, תוך שימוש במלוא כישוריו לצורך ביצוע ההנחיות.

1 הזהרת ספקולציה: אחרי שנים של דיאגנוזות של רשתות נוירונים, שמתי לב שאפשר לתת הסבר משכנע עבור הגורם כביכול לכל תוצר מפתיע שלהן...והיפוכו, מה שמביא אותי לזהירות יתרה בכגון אלו.
ג׳פטו 4 767350
ייתכן שהרגישות הגדולה של בינה מ., ובפרט של LLM's, לפרומפט מעידה על משהו ששונה באופן די מהותי מהדרך בה רשתות הנוירונים שלנו עובדות. שאלתי אותו מ דעתו.

הוא החזיר לי רשימה של הבדלים בין AI ל-HS בלי שום התייחסות לעניין הפרומפט שהיה נושא השאלה שלי. אין לי חשק מיוחד לשחק עם הפרומפט הזה...
ג׳פטו 4 767353
מעניין. הדבר הראשון שהוביל אותי לתפוס את gpt כחושב, עוד בדצמבר האחרון, היה היכולת שלו להבין שניתן לשאול את אותו הדבר במגוון דרכים, עוד לפני בדיקת נכונות התשובות שלו.
אבל כמו שראינו אח"כ, זה מסובך יותר. ויש לכך כמה גורמים. עיקרם, להבנתי, אינו קשור ישירות לארכיטקטורה שלו, אלא יותר לשלבי הלימוד, ובמיוחד החינוך שהוא עובר בסוף, כולל ניסיונות להבין מה באמת רצה המשתמש לשאול, במקום פשוט לענות על זה. כנראה שסטטיסטית, זו איסטרטגיה יכולה יותר עבור המשתמש הממוצע. לצורך זה הוסיפו עבור משתמשים משקיענים, יכולת להגדיר עבורו בתור מי הוא עונה ובתור מי המשתמש שואל. כשלעצמי, לא תמיד יש לי חשק להגדיר את מערכת היחסים ואז אחרי ניסיון אחד אני נוטש לטובת סידרת גיגולים.
ג׳פטו 4 767362
ברור שזו דרך שונה, מה השאלה.
כל מה שהוא עושה זה מניפולציות על מחרוזות של טקסט.
יש לך ספק בכלל שהביולוגיה של המוח האנושי לא נולדה ועוצבה עבור מחרוזות של טקסט?
ג׳פטו 4 767364
סיקרנת אותי וגם שיחקתי עם זה קצת. המוצר הזה שאתה משחק איתו (Copilot של מיקרוסופט) הוא מסכן - יש לו פיגור. הוא טועה על דברים די פשוטים שמוצרים אחרים לא טועים בהם. זה מרגיש כמו אינטגרציה די גרועה שעשה איזה Web code monkey בין GPT מן המוכן לבין מנוע חיפוש מן המוכן, בלי הרבה מחשבה או תכנון. זאת לא דוגמה טובה למוצר טוב או למקום בו אנו נמצאים.

שאלת דוגמה שסיפקתי לו ול-ChatGPT4 של OpenAi:
What prime number bigger than 2^24 is the smallest number that has 3 as one of the digits?

Copilot:
The smallest prime number greater than 2^24 (which is 16,777,216) that contains the digit 3 is 3,173,311. This number satisfies both conditions: it is a prime number and has the digit 3 in it

OpenAi:
The smallest prime number greater than 2^24 that contains the digit 3 is 16,777,331.

ג׳פטו 4 767379
לתומי חשבתי שמה שקובע זה GPT4 שיושב ברקע.
ג׳פטו 4 767394
כנראה פספסתי את התגובה הזו בזמן אמת.
התשובה של קופיילוט כל כך קפקאית בעיני, שאני תוהה אילו נזקים נפשיים ייגרמו לאוכלוסיית העולם כתוצאה מאינטגרציה של AI במענה של שירות לקוחות, למשל.

רגע, דיון 4212!
ג׳פטו 4 767395
בהחלט, אבל לדעתי זאת לא ביקורת על בינה מלאכותית או הנדסת תוכנה. הפיגור של המוצר הזה מריח לגמרי כמו קלאסטרפאק טיפוסי של אנשי שיווק ומנהלי מוצר‏1.

___________________
1 שיחת זום בחדר ישיבות בקומה 27 באיזה בניין זכוכית ״מה? מישהו פיתח מנוע V8 יעיל יותר? מהר, זירקו עליהם כסף, החתימו אותם על NDA ותנו ל-R&D שלושה ימים לעשות לזה אינטגרציה עם דגם האופניים שרצינו להשיק לפני החגים.״

חזרה לעמוד הראשי המאמר המלא

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים