בתשובה לעומר, 09/04/21 11:15
 |
|
 |
||
|
||||
 |
בנימה טיפה יותר רצינית: האם לדעתך מערכת deep learning דמויית alpha go, שתקבל אינפורמציה על מסלולי כוכבי הלכת כפי שהם ניצפים מהארץ ומשימה למזער ככל האפשר את מס' האפיצקלים תוכל לגלות בכוחות עצמה את הרעיון של קופרניקוס? אינטואיטיבית נראה לי שהתשובה היא "כן, בקלות" אבל אני לא יודע מספיק על התחום כדי להאמין לאינטואיציה שלי. (היה יכול להיות מגניב אילו האסטרונומיה היתה תקועה במודל הפתולמאי ולעומתה המיחשוב היה מתקדם לרמה שהוא נמצא בה היום, והמהפיכה הקופרניקאית היתה מתרחשת רק כאשר פרנק קוסוי, סטודנט רשלן לתואר ראשון במדעי המחשב, היה שוכח להכניס את האילוץ שכדוה"א הוא במרכז כשקיבל את המשימה כתרגיל בית. כידוע, תוצאות מפתיעות מתקבלות לא פעם, כולל מערכת שלמדה לשקר (!) באופן ספונטני, בדוגמא השלישית בסרטון. אגב, בגירסה מתקדמת יותר היא למדה גם להגיד "לא יהיה כלום כי לא היה כלום"). |
 |
 |
 |
|
|
|
||
|
||||
|
(יש לי הרגשה שבקלות אפשר להראות שמכניקה ניוטונית היא תנאי הכרחי ומקדים לפיזיקה שמאפשרת קיום מחשבים). | |
|
|
|
|
|
||
|
||||
|
(מספיקה מכניקה ניוטונית ארצית, השמיים יכולים להישאר פתולמאים כרצונם, וממילא אני לא מדבר על תרחיש סביר במיוחד ). | |
|
|
|
|
|
||
|
||||
|
נראה לי שמשוואות התנועה, לא אכפת להן אם הן פועלות בשמיים ממעל או בארץ מתחת. ולמתקטננים1 - מן הידועות היא שפיתוח חומרת המחשבים חווה קפיצה אדירה2 בעקבות פרוייקט אפולו, שבעקבותיו הצורך במחשב שיטוס על טיל ולא ימלא אולם ענק הפך למציאות וסלל את הדרך למחשב האישי של ימינו. אי אפשר להגיע לירח (והאמת - גם לא לשגר אפילו טיל קרקע קרקע קטן) בלי לדעת מהו g ומכניקת מסלולים, ואידך זיל גמור. כמו שאמרתי - זה בטח אחד מיני מסלולים רבים מספור, תיאורטיים וטכנולוגיים, שמדגימים איך טכנולוגית מחשוב (המבוססת על מוליכים למחצה ולא על חשבוניות) לא יכולה היתה להתקיים ללא מכניקת כבידה בסיסית. אפשר גם לזרוק סתם לוויני תקשורת לצלחת, לא צריך אפילו להגיע לירח. 1 ידעתי שלא תשחרר אותי מהעבודה הקשה. 2 עדיין לא קוונטית אמנם. |
|
|
|
|
|
|
||
|
||||
|
אני אמשיך להתקטנן עד שנגיע לגודל של אלקטרון. נו, אז העולם האלטרנטיבי שלי לא היה זוכה לאותה קפיצה אדירה והתפתחות המחשבים היתה איטית יותר, כך שאותה AI היתה מופעלת בשנת 2050 או 3050, ואולי היתה תופסת נפח עצום ושורפת המון חשמל. סו? אכן למשוואות התנועה לא איכפת מכלום, אבל לא ברור לי למה בלי ההכללה ממה שאנחנו מכירים על פני כדור הארץ למה שקורה בשמיים מדעי המחשב היו נעצרים בהכרח. |
|
|
|
|
|
|
||
|
||||
|
הענין הוא לא ההכללה הספציפית, אלא הפרדיגמה כולה. למשל, ההבנה שאותם חוקים פיזיקליים פועלים בכל מקום, במעבדה שלי ושלך למשל, היא בסיסית לפיתוח מדע קוהרנטי. אם תחשוב שבקוריאה ובאמריקה מוליכים למחצה עובדים אחרת, לא בטוח אם ומתי בכלל תגיע לתיאוריות מצב מוצק קוהרנטיות. וזה נכון גם לסתם מכניקה. לומר שאתה יכול לפתח מכניקה לנפילת נוצות אבל לא לנפילת כדורי ברזל, או לנפילת כדורי ברזל אבל לא לכוכבי לכת, נשמע אולי אפשרי לוגית, אבל בלתי אפשרי בעצם מכל בחינה אחרת. איך היו עושים את ניסוי מייקלסון-מורלי בלי תנועת כדור הארץ? ואולי אם לא היו עושים אותו, לא היתה סיבה מספיק טובה לפתח את תורת היחסות והיינו תקועים בפיזיקה של המאה ה-19 עד היום1. איך היו לומדים על קווים ספקטרליים ותכונות החומר הנגזרות מהן בלי ה"הכללה ממה שאנחנו מכירים על פני כדור הארץ למה שקורה בשמיים" וספציפית על פני השמש? אולי לא היינו מגיעים בכלל למכניקת הקוונטים ככה, שהיא כמובן קריטית לפיתוח מוליכים למחצה והתקנים ממוזערים מספיק עבור כח חישוב סביר. אני נכנס לפרטים שברור לי שאפשר להתנגד להם אולי, אבל הטענה הכללית שלי היא שהנחות הבסיס של המכניקה והמדע כפי שאנחנו מכירים ואוהבים, לא עולות בקנה אחד עם "מכניקה ארצית" מול מכניקה שמיימית. אם אתה מצליח לבסס מדע כמו היום, הנחות הבסיס האלו הן חלק בלתי נפרד ממנו. ואם לא - מאד יכול להיות שלא תגיע רחוק, וכמו שנתקעת עם אפיציקליים בשמיים, תיתקע עם אתר וכדורי ביליארד שמקיפים את האטום על הארץ. 1 כמובן שההטייה הבסיסית שלנו היא לומר "אבל המדע מתפתח כל הזמן, אז היה לוקח לנו עוד חמישים שנה". אבל זה בכלל לא ברור, הרי היינו אלף שנים לפני המאה ה-19 עם הרבה פחות התקדמות מדעית, זו לא אקסיומה שתמיד נגיע לאותו מקום2. 2 אני כבר העליתי כאן פעם את התמיהה האם פלנטה שאין עליה אורניום היה מגיעה לנשק גרעיני כה מהר, אם בכלל. |
|
|
|
|
|
|
||
|
||||
|
נכון, לא ץמיד נגיע לאותו מקום, אבל אתה טוען טענה הרבה יותר חזקה: שבשום אופן לא היינו מגיעים לרשתות נוירונים אלמלא היינו מחזיקים בכל העקרונות המדעיים שיש לנו היום. אם היינו עיוורים, למשל, ייתכן שהיינו מגלים את הכוכבים רק לפני כמה עשורים, אולי כאשר מישהו היה קולט בטעות גלי רדיו מסתוריים שמגיעים מהשמיים. טוב, אולי לא *לפני* כמה עשורים אלא בעוד כמה מאות שנים, אלפי שנים או מליוני שנים. אם תטען שבני אדם עיוורים היו נכחדים הרבה לפני שהם ירדו מהעצים וגילו את גלי הרדיו אגיד שכאן הגענו לגודלו של אותו אלקטרון שמסמן את גבול התקטנונתי. ואף על פי כן נ̵ו̵ע̵ ̵ת̵נ̵ו̵ע̵ היה יכול להיות מגניב. |
|
|
|
|
|
|
||
|
||||
|
הטענה (החזקה) שלי היא אכן לא רק תיאורטית - היה לי הרבה יותר קשה לומר זאת על חבורות לא-אבליות, למשל. וזאת כיון שהמהפכה בה אנו נמצאים של עליית הרשתות הנוירוניות היא תוצאה ישירה של הטכנולוגיה - בעשרות השנים עד שהגיעו מעבדי ה-GPU המפלצתיים שמאפשרים רשתות עצומות ולימוד על מיליוני קלטים, רשתות הנוירונים הופיעו לרגע ודעכו להן בקול ענות חלושה. ז"א שבניגוד לחבורות לא-אבליות (למשל), נייר ועפרון לא מספיקים - גם עם ארבעה איינשטיינים בדרך - כדי להגיע לרשתות נוירוניות ש"עובדות" (ומכאן למטלה המקורית שלך על גילוי משוואת הכבידה מנתונים הפיציקליים). בשביל זה צריך מחשבים חזקים, ובשביל מחשבים חזקים צריך המון המון עקרונות מדעיים מאד מפותחים (וגם טכנולוגיים1). חשמל ומכניקה ומכניקה אנליטית וקוונטים וגלים ויחסות (טוב, פרטית בעיקר) ואפילו תורת שדות קוונטית. קשה, מאד קשה, אולי בלתי אפשרי להגיע לכל אלה בלי עקרונות מדעיים מבוססים מחד, ומידע פיזיקלי שמגיע מחוץ לאטמוספרה מאידך. 1 אני כבר זמן רב טוען שהטכנולוגיה שיהיה הכי קשה לבנות מחדש אחרי מלחמת העולם השלישית היא ייצור וייפרים מסיליקון. |
|
|
|
|
|
|
||
|
||||
|
אני שמח על הערת השוליים שלך. אני לא יודע כלום ושום דבר על ייצור וייפרים, אבל זה בדיוק העניין. בתיכון (1990) עשיתי עבודת גמר על מוליכים למחצה, וחומר הלימוד העיקרי שלי היה עשורים של גליונות "סיינטיפיק אמריקן" שהיו בספריית בית הספר, והיו זרועים במאמרים בנושא. המאמרים האלה גם הסבירו את הבסיס (מה זה מל"מ, צומת n-p), גם ליוו את התקדמות הטכנולוגיה מדיודות עד שבבי המחשבים של אותם ימים, וגם - המאוחרים שבהם - הסבירו כמה כיוונים שהיו בחיתוליהם המחקריים. אי-אלו מאמרים הסבירו די בפירוט את תהליך הייצור של השבב, וזה היה מאוד מעניין ומגניב; אבל כולם הניחו את הוייפר כנתון. לעתים הזכירו שלא קל בכלל לייצר וייפר סיליקון באיכות מספיקה, ונדמה לי שמדי פעם הוזכרה בחטף הטכניקה הבסיסית לייצור שלו; אבל אף לא מאמר אחד לא נכנס לעובי הקורה של מהם הקשיים ואיך מתגברים עליהם. זה גרם לי לתחושה מתסכלת-משהו שהפלא הטכנולוגי האמיתי חומק לי מתחת הרדאר. | |
|
|
|
|
|
||
|
||||
|
אני אמנם כיוונתי גם לשאר תהליך הייצור, המולטי שכבתי, ננו-מטרי וסופר מסובך, אבל כן, גם זה. | |
|
|
|
|
|
||
|
||||
|
לא רק אתה מתוסכל. אינטל, לכאורה מעצמת הצ'יפים העולמית, מתקשה כבר כעשור להגיע לרמה הבאה של עובי הצפיחית (מתחדישי המחבר). | |
|
|
|
|
|
||
|
||||
|
אני מכיר את קריטריון העובי שמקובל להתחרות עליו במולמח"צ בתור עובי המוליכים הכי דקים (כמדומני כמה עשרות ננו-מטרים לאחרונה)1. לא ידעתי שגם עובי הצפיחית בעצמה כה קריטי. 1 כמה שהמוליכים דקים יותר - אפשר להכניס יותר רכיבים על אותו גודל מחד, וחהשתמש בפחות זרם שיוצר חום מאידך. |
|
|
|
|
|
|
||
|
||||
|
למה הכוונה ב-"לגלות בכוחות עצמה את הרעיון של קופרניקוס"? מערכת "דמויית אלפא-גו" (גם אם אפרש זאת באופן מתירני1) לא בנויה להפיק מודלים מהסוג שהייתי מכנה "דומים לרעיון של קופרניקוס". למעשה, מערכת למידה-עמוקה טיפוסית לא בנויה להפיק מודלים בכלל: נכון יותר לומר שהיא בעצמה מודל, וצורתו הפונקציונלית לא דומה לזה של מודל קופרניקוס. 1 אבל לא מתירני מידי. לפי פרשנות מאד-מאד מתירנית לתיאור "דמויית אלפא-גו", התשובה היא "ברור שכן": קופרניקוס הוא דוגמא למערכת כזו. |
|
|
|
|
|
|
||
|
||||
|
קשה לי לראות את ההבדל העקרוני בין גילוי צורת ההתקדמות על המרפקים בסרטון הראשון בקישור שהבאתי, לבין "גילוי" האפשרות שכוכבי הלכת נעים סביב השמש, מלבד זה שהראשון לא נקרא "מודל". אסוציאציה פרועה שעולה אצלי עכשיו היא הסיפור עם הלוציגניה [ויקיפדיה] שם, אם התזמון היה קצת שונה ובעיית התנועה היתה מוצגת לאלפא, אולי שגיאת האינטרפרטציה עליון/תחתון היתה מתגלה על ידיה. |
|
|
|
|
|
|
||
|
||||
|
התרחיש שלך הוא וריאציה על סיטואציה בה מהנדסים מראש סביבה שהיא "חלל, שמש וכוכבי לכת", ואז מציבים בה agent שהפעולות שלו הן מהצורה "התאם לכל אובייקט מסלול קבוע בחלל לפי איזשהי פרפמטריזציה", והוא לומד באמצעות RL כאשר החיזוקים קשורים להתאמה בין ניבוי המודל שלו לבין התצפיות? אז כן, אני מנחש שהוא עשוי להגיע למודל קופרניקאי (ואולי מודלים אקזוטיים משעשעים אחרים). אבל אני לא חושב שזו תיהיה תוצאה סנסציונית במיוחד (גם לאור כל האילוצים שמכניסים בכוח לתוך הפורמליזציה של המערכת, וגם מכיוון שנראה לי שטבעי הרבה יותר לנסח את הבעיה כבעיית חיפוש היוריסטי מאשר כבעיית למידה). אני כנראה עדיין לא יורד לסוף דעתך. |
|
|
|
|
|
|
||
|
||||
|
יורד, יורד, אל תדאג, היא לא *עד כדי כך* נמוכה. כאמור, הסיטואציה הדמיונית עוסקת בנסיון למצוא את מס' האפיציקלים המינימלי שיעמוד בהתאמה מספקת (אל תשאל אותי מה זה אומר) לנתונים, מהם יש המון. לומשנה, נראה לי שמיצינו. |
|
|
|
|
|
|
||
|
||||
|
משהו כזה, למשל? כנראה שהתשובה היא כן, בתנאי שהמערכת לא תצטרך להתמודד עם סיטואציות שונות מדי מאלו שאומנה עליהן. ויש גם גישה אחרת. |
|
|
|
|
|
|
||
|
||||
|
לא לגמרי ברור לי ההקשר לקישורים שהבאת, אבל תודה. נראה לי שאם התיאוריה של סטיבן וולפרם תוכיח את עצמה, היא תהיה שדה המרעה האידיאלי לסוכנים ממחושבים. ואם לא נבין את מה שהם יספרו לנו, ובכן, אחד הפיתוחים הבאים של gpt בטח יצליח לתרגם את התגליות ללשון בני אדם (42?). | |
|
|
| חזרה לעמוד הראשי | המאמר המלא |
| מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
 RSS מאמרים |
כתבו למערכת |
אודות האתר |
טרם התעדכנת |
ארכיון |
חיפוש |
עזרה |
תנאי שימוש
|
© כל הזכויות שמורות |