בתשובה לשוטה הכפר הגלובלי, 26/10/20 14:33
ועכשיו - חיבור 727442
אתה מפליג בספקולציות.

אתייחס כאן לשאלת גודל בסיס הנתונים המובלע בתוכנת gpt3, שגודלו 175 מיליארד פרמטר. שאלת הגודל ניבדקה בתוכנת "לילה שחמט 0" LC0 (לילה דנן פותחה בהשראת אלפא אפס).

מסתבר שככל שמגדילים את גודל בסיס הנתונים המובלע בתוכנה — פעולת התוכנה נעשית איטית יותר (איטיות יורדת בצורה משמעותית). לכן יתכן שיהיה חסם בשיפור ביצועי התוכנה ככל שיגדילו את בסיס הנתונים. כאשר אני אומר בסיס הנתונים הכוונה לאוסף "הפרמטרים".

לדעתי, במקום לחפש שיפור דרמטי נוסח מבחן טיורינג כדאי לפתח משהו פחות אינטליגנטי אבל שתהיה לו תועלת מוחשית. כפי שכבר אמרתי במקום אחר, תרגום גוגל זה משהו עילג, אם תוכנה דומה ל- gpt3 תוכל לייצר תרגום קריא ומדוייק למדי זה שווה.

ועוד. יש המון ספרים מעניינים באנגלית שמי שאינו בקי באנגלית לא מסוגל לקרוא, בגלל שפה גבוהה מדי. אם יצליחו לפתח תוכנה דומה ל- gpt שמאפשרת מעבר משפה אנגלית גבוהה לשפה אנגלית נמוכה בלי להפסיד דיוק (תוך מנגנון עזר של השגת דיוק בדרכים חלופיות מלבד התרגום) — זה יהיה הישג ענק. שני הדברים שציינתי ניראים לי בהישג יד (למעשה הדגמות של gpt3 , מראות שאפשר בלי פיתוחים דרמטיים לפשט טקסטים באנגלית משפה גבוהה לשפה נמוכה).
ועכשיו - חיבור 727494
תמיד רציתי להיות רב חובל, ואנט לא מוצא את אוקיינוס הספקולציות סוער מדי.

ברור שהגדלת מספר הפרמטרים מחייבת יותר משאבי מיחשוב, אבל זה בעייתי בעיקר בשלב האימון ולמרות שחוק מור כבר לא ישים, לפחות לא בצורתו המקורית, יש עדיין דרך ארוכה שאפשר ללכת בה עד שניתקל בחסם פיזיקלי אמיתי (ואולי אז יבוא המחשב הקוואנטי לעזרתנו).

חזרה לעמוד הראשי המאמר המלא

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים