אובר משעה את ניסוייה בכלי רכב אוטונומיים לאחר פגיעה קטלנית בהולכת רגל 3835
הולכת רגל נהרגה אתמול (ב') באריזונה מפגיעת מכונית אוטונומית השייכת לחברת "אובר". כתוצאה מכך, השעתה אובר את כל ניסוייה בכלי רכב אוטונומיים בכמה ערים בצפון אמריקה בהן ניסויים אלה התנהלו.

איליין הרצברג, בת 49 ותושבת העיר טמפה באריזונה, חצתה כביש בשעת חשיכה שלא במעבר חצייה, כאשר פגעה בה המכונית. בזמן הפגיעה המכונית פעלה באופן אוטונומי, אולם נכח בה נהג בטיחות אנושי אשר אמור היה לפקח על פעולתה. ככל הידוע, זהו המקרה הראשון שבו נהרג הולך רגל מפגיעת מכונית אוטונומית.
קישורים
בגלל תאונה קטלנית: אובר מפסיקה את כל הניסויים במכוניות האוטונומיות - TheMarker
אישה נהרגה: "אובר" השהתה את ניסויי הרכב האוטונומי - ynet
פרסום תגובה למאמר

פרסומים אחרונים במדור "חדשות"


הצג את כל התגובות | הסתר את כל התגובות

מקרה מעניין.. 698157
מקרה טרגי..

ומצד שני זה ממש נשמע כמו פרק של חוק וסדר: https://www.theverge.com/2018/3/20/17142672/uber-dead...
בהתחלה מפקדת המשטרה מצהירה שאובר כנראה לא אשמה: הקורבן "קפץ לכביש" - בהתבסס על המצלמה ברכב ועל עדות הנהגת האנושית (שהיתה בתפקיד פיקוח).
בנוסף, היא אמרה שזה מסוכן לחצות את הכביש שלא במעבר חציה.
אח"כ מגיבים בטוויטר מתרעמים על כך שמפקדת המשטרה מאשימה את הקורבן.
אח"כ המשטרה מפרסמת הצהרת הבהרה.
אח"כ מגיבים אחרים מפרסמים שהמקום שבו אירעה התאונה הוא מבלבל מבחינת הולכי רגל ומועד לפורענות.
ובסוף מתברר שהנהגת האנושית עבריינית מרושעת שישבה בכלא (!). [הקורא מוזמן להשלים את הקונספירציה בעצמו]

מחכה לפיתול הבא בעלילה..
וידאו 698185
התפרסם הווידאו ממצלמות הרכב בזמן התאונה ובשניות שלפניה: https://youtu.be/pO9iRUx5wmM
וידאו 698186
מה ראיתי:
1. המבט של נהג הבטיחות היה על הכביש רק 25% מהזמן.
2. לא נראה שהמערכת ביצעה נסיון התחמקות או בלימת חירום אפילו בשניה האחרונה, כאשר לעין אנושית היה כבר ברור מקרה החירום. בלימת חירום, אפילו במשך שניה אחת, לא היתה מונעת את התאונה אבל היתה עשויה להפוך אותה ללא-קטלנית. זה באג רציני.
וידאו 698198
ובנוסף:
- לא מעבר חציה ולא נעליים, היא חוצה באמצע כביש מהיר ולא מואר.
- משהו מוזר בפנסים של הרכב, נראה שהם מופנים כלפי מטה ו/או שהטווח שלהם קצר, ואז הולכת הרגל נראית רק בשנייה האחרונה. בזמן כזה גם נהג אנושי לא היה מספיק להגיב.
- נהג ה"בטיחות" נראה כזה dude.
וידאו 698214
מכונית אוטונומית צריכה בכלל תאורה? הליידאר ושאר החיישנים שלה לא אמורים לעבוד גם בחושך? מזה ומזה נשמע לי שכן.
וידאו 698216
ומדוע רכב אוטונומי צריך הגה?
פנסים יכולים להעיד על שימוש במצלמה/ות.
וידאו 698217
הפנסים הם לא רק כדי לראות בחושך אלא גם כדי להראות בחושך (או בדמדומים, בערפל, באובך, בגשם...)
וידאו 698225
ברור. חשבתי שהטענה היא שהמחדל של המכונית כאן הוא שהיא לא ראתה את הולכת הרגל, לא שהיא לא נראתה להולכת הרגל. אבל נכון, גם זה.
וידאו 698218
אחמ אחמ, לא היית מעדיף שהמכונית האוטונומית שנוסעת מולך בלילה תדליק פנסים?

עד כמה שידוע לי, המון אלגוריתמים מסתמכים בשעות היום על תאורה. וגם אם בלילה יש עזרים נוספים, הייתי מניח שהם לא תחליפיים לגמרי לתאורה, ואולי לא באותה רמת דיוק וזיהוי.
מצד שני, לא ברור לי בכלל שדרישת הבסיס ממכונית אוטונומית צריכה להיות לראות דברים שנהג אנושי לא רואה. כמו למשל לראות בלילה בלי פנסים.
וידאו 698224
וכמובן שגם מכוניות אחרות (גם לא אוטונומיות) צריכות לראות את הרכב (האוטונומי) בלילה.
מהפוזיציה 698268
Lidar טיפוסי אינו מבחין טוב (או בכלל) בגוונים ולכן אינו רגיש לקווי נתיב ולשילוט, בוודאי שלא לרמזורים.
מותר האדם 698200
יש לי פריוס 2017. במכונית הזאת ישנה מערכת אוטונומית חלקית. אפשר לנסוע בה על כביש 2 מחיפה לתל אביב כשבכל הקטע שמהיציאה הדרומית של חיפה ועד הרמזור הראשון בתל אביב שתי הרגלים נמצאות על רצפת המכונית מבלי לנגוע בדוושות. זה בתנאי שתנאי הדרך לא גורמים למערכת לעצור את המכונית עצירה מוחלטת‏1. אם יש עצירה כזאת די בנגיעה קלה על דוושת הגז כדי שהמכונית תשוב להיות נשלטת על ידי מערכת השיוט. אין בה תכונה כמו ב ionic שהרכב שומר על עצמו גם במרכז הנתיב, ועל ההגה שולט כל הזמן הנהג.
שמתי לב שעדיין המערכת הזאת יש לה חסרון אחד מאד בולט יחסית לנהג אנושי. כשאני נוהג ומתקרב למכונית שנמצאת לפניי, ואני רואה שהיא מתחילה לעבור לנתיב שכן איני מאט כי ברור לי גמרי (או בעצם לאינסטינקטים שלי כי אין כאן מהלך מחושב), שכאשר אגיע אליה היא כבר לא תהיה בנתיב שלי ולא תפריע לי. לעומת זאת המערכת במכוניתי, כל עוד אפילו חלק מהרכב שלפני נמצא בנתיב, היא מתייחסת אליו כמכונית שנמצאת בנתיב ומאטה באופן מוגזם, ורק כאשר המכונית הזאת נמצאת כולה מעבר לקו הגבול בין הנתיבים היא שבה ומאיצה. וגם ההפך נכון. היא לא מתייחסת למכונית שנמצאת בנתיב שכן שמתחילה לסטות לכיוון הנתיב שלי, ובוואדי לא מתייחסת לאיתות שלו, ומתחילה להתייחס אליה רק כשהיא מתחילה לחצות ממש את הקו. אם רכב "חותך" אותי בצורה כזאת כשאנו קרובים מאד המערכת לא מספיקה להגיב כלל ורק התערבות הנהג תמנע התנגשות. מכונית רחוקה שנמצאת לפנים באותו נתיב וממש עומדת, לא נקלטת במערכת הזאת כמכשול. גם אין האטה לפני סיבוב, למשל ביציאה מנתיב ראשי אם אין לפנים מכונית אחרת שמאטה. אצל מי שרק החל ללמוד לסמוך עליה ועדיין לא מכיר את כל תכונותיה אלה מצבים די מפחידים.
ברור שבמכוניות אוטונומיות מליאות לפחות חלק מהמגבלות האלה כבר אינו קיים. עובדה שהן קיימות ופועלות.

1 האטה למהירות מאד איטית אינה עצירה מוחלטת לצורך זה. המכונית יודעת להאט אפילו ל 1 קמ"ש ואחר כך להאיץ כשמתאפשר ללא התערבות הנהג.
מותר האדם 698202
זה נשמע יותר כמו בקרת מהירות ומניעת התנגשות אוטומטיות,ופחות כמו נהיגה אוטונומית ממש.
הייתי מנחש שכמות המצלמות מוגבלת (1?) ושדה הראייה מוגבל (קדימה).
מותר האדם 698203
עשיתי נסיעת מבחן בלקסוס עם כל העזרים. הרכב שומר היטב על המרחק מהרכב לפניו, בלי דרמות, מתריע על סטיה מנתיב (מעצבן אם שכחת לאותת לפני עקיפה) וכשהיה נדמה לו שאני לא בולם מספיק חזק לפני רכבים שעמדו ברמזור הוא חיזק לי את הבלימה (מי שאל אותו?).
לא התלהבתי מהחצי-חצי. אם כבר אוטונומי אז עד הסוף. מה שכן, התראת הסטיה מנתיב בטיחותית לעילא כשהנהג מנקר. אני משוכנע שנהגים מנקרים אחראים ללא מעט מהתאונות העצמיות וזו בהחלט פונקציה שתציל חיים.
מותר האדם 698204
נהגים שמתעסקים בטלפון אחראים ליותר תאונות..
מותר האדם 698208
נכון, ונראה לי שהעזרים יכולים לסייע במידת מה גם בזה.
מותר האדם 698220
נכון, אבל אז הם גם נושאים באשמה. אם נהג אוטומטי דורס מישהו זה כבר סיפור אחר לגמרי, האשמה היא של יצרן הרכב. ספק אם הם יכולים להרשות לעצמם את זה.
מותר האדם 698206
לפי התיאורים שלך מדובר כנראה במערכת דומה לזו שינה בפריוס. ב iunic שבה עשיתי נסיעת מבחן לפני שקניתי את הפריוס יש, כפי שתיארתי קודם, גם מערכת ששומרת על הנתיב באופן עצמאי, וזה כמו שאומרים הצעירים די "מדליק". כאן ישנה רק התרעה לסטייה, ולא מדובר בחלק מבקרת השיוט האדפטיבית. אל תשכח לאותת.
מותר האדם 698205
קוראים לזה בקרת שיוט אדפטיבית. אבל ללא קשר לשם ברור שגם במכוניות אוטונומיות מליאות יש מערכות דומות. אני חושב שהיא מבוססת על רדאר ולא על מצלמות. יש במכונית מערכת נפרדת למניעת תאונות שמתריעה על מצבים מסוכנים. לפעמים האחרונה ''לא מרוצה'' מהנהיגה של הראשונה ומתריעה כשהמרחק ומהירות ההתקרבות למכונית שלפנים מסוכנים לדעתה, אבל אם המערכת האדפטיבית קלטה את הרכב שנמצא לפנים ומגיבה לו, היא תמיד מצליחה לבלום גם כשמערכת הבטיחות משתוללת.
מותר האדם 698219
מעניין. חשבתי על זה לאחרונה ויש לא מעט סיטואציות שלדעתי נהג אוטומטי יתקשה מאד להתמודד איתן. למשל - אתה נכנס למעגל תנועה, לפי החוקים היבשים יש לתת זכות קדימה לתנועה הבאה משמאלך (אלה שכבר בתוך המעגל). אממה, יש מצבים שמעגל התנועה פקוק ואנשים נוסעים בו לאט, ואז אין לך ברירה אלא לנסות לשייט לאט לאט לתוך המעגל, ביותר או פחות אגרסיביות, עד שמישהו ייתן לך להכנס או עד ששייטת כל כך עמוק שאחד הנהגים חייב לעצור ולתת לך להכנס למעגל (לא סגור מה החוק היבש אומר על מקרים כאלה, אבל אין אפשרות אחרת, אם תחכה עד שהמעגל יהיה פנוי לגמרי כבר אפשר להשאיר את האוטו וללכת). מה נהג אוטומטי יעשה במקרה כזה? לפי איך שאני מבין, מבחינתו המעגל לא פנוי, אז אי אפשר להכנס... ויש עוד הרבה דוגמאות כאלה. כל אחד פה שהוא כבר נהג מנוסה מבין כמה התנועה בכביש היא דבר חי ונושם, איך שלכביש יש מין היגיון פנימי משלו שקשה מאד לנסח במילים - זה משהו שמבינים אחרי כמה שנים של נהיגה. יש בנהיגה אלמנט משמעותי שלא מבוסס על כללים של אם X אז Y, אלא על אינטואיציה, על שיקול דעת, על קריאת "שפת הגוף" של הרכבים סביבך. אני חושב שעניין הנהג האוטומטי יכול לעבוד באופן מיטבי רק אם כל הרכבים על הכביש הם אוטומטיים - זה ללא ספק מצב אידיאלי. השילוב של האנושי עם האוטומטי על הכביש ייצור בעיות (לא יודע אם יותר או פחות גדולות מהבעיות שיש לנו כרגע עם נהגים אנושיים בלבד).
מותר האדם 698221
אני מייצג כאן רק את המכונית שלי, ואצלה הפתרון הוא די פשוט. כשהיא רואה כיכר היא נותנת שלושה צפצופים כאילו אומרת לי (בלשון הטייסים) "אתה לוקח", ומפסיקה את הפעולה של בקרת השיוט. לא במקרה הבאתי כדוגמה לפעולתה את הנסיעה על כביש 2 ממבואות חיפה למבואות תל אביב. אין בקטע הזה לא ככרות ולא צמתים ורמזורים, ולכן היא יכולה לפעול עצמאית בכל הדרך (וכבר הוכחתי שהיא עומדת בכך), אם כי כפי שספרתי לא תמיד בצורה האופטימלית. איני יודע איך פותרים בעיה כזאת במכוניות האוטונומיות ממש, אבל אני מניח שבסופו של דבר אם חושבים (כלומר המתכנן האנושי חושב. לא המערכת ששתלו בה מה שקוראים "בינה מלאכותית") אפשר לפתור גם בעיות סבוכות כאלה.
תשע (מליון) בכיכר ביום שישי 698222
נהג אוטומטי יעשה מה שאתה (הם/אנחנו) מוכנ/ים ללמד אותו לעשות.
אם הציפייה תהיה "החוק היבש" (שזה התסריט שלך), סביר להניח שהוא ייתקע בכיכר. ולכן זו לא ציפייה סבירה.
אם הציפייה היא "תעשה מה שנהג אנושי סביר עושה בלי לגרום לתאונה" - תצלם לו אלף כיכרות עם עשרות אלפי מכוניות שנכנסות אליהן, תתייג לו מהי כניסה "טובה/מותרת" ומהי כניסה "רעה/אסורה", ויהיו לו עשרות מיליוני דוגמאות ללמוד מהן.
מכאן והלאה הוא יטחן את כל הדוגמאות האלה עם רשת נוירונים עמוקה (זה מה שכולם עושים היום), וידע לנהוג כמוך וכמו אני ויואל ומשה גמליאל וגד, שלא עושים תאונות.
תשע (מליון) בכיכר ביום שישי 698227
אני חושב שבמקרים כאלה חלק מהאינטראקציה נוצר כתוצאה מקשר עין בין הנהג שרוצה להיכנס לנהג שאמור לתת לו להיכנס., כשהשני אמור לתת מחווה מסוימת שאומרת לראשון שהוא יכול להיכנס. לא ברור לי איך זה אמור לעבוד שרק אחד מהצדדים הוא בן אדם.
תשע (מליון) בכיכר ביום שישי 698228
בדיוק. זה חלק ממה שהתכוונתי אליו כשאמרתי שצריך לקרוא ''שפת גוף'' של הרכבים סביבך, חלק מהעניין הוא קשר עין עם הנהג, תקשורת בלתי מילולית איתו.
תשע (מליון) בכיכר ביום שישי 698229
אני בכלל לא בטוח. תקן אותי אם אני טועה, אבל בסופו של דבר מחשב לא יכול להבין משהו שהוא לא "אם X אז Y". בני אדם לעומת זאת, עובדים גם לפי אינטואיציה. ואינטואיציה זה משהו שכמעט בלתי אפשרי להסביר במילים, לא כל שכן ללמד מחשב. זה קצת מזכיר את הסאגה של גארי קספרוב נגד תוכנת כחול עמוק. המתכנתים הצליחו לפתח תוכנה שיכולה לחשב אולי מאות צעדים קדימה, הרבה מעבר ליכולות של מוח אנושי. אבל קספרוב אמר שהוא לא מתעסק בלחשב צעדים קדימה, הוא פשוט מבין את ההיגיון של המשחק ומשחק לפי אינטואיציה. וזה משהו שמחשב עדיין לא יכול לעשות. גם המתכנתים של כחול עמוק הודו שלאינטואיציה אין נוסחא.

אני לא בטוח שאני מבין את הפתרון שלך. תכניס למחשב דוגמאות של כניסה מותרת - הוא יבין למה היא מותרת? מה בדיוק הופך אותה למותרת? הוא יבין איך ליישם את זה כשהוא עצמו נוהג בכביש? אני לא בטוח. בכל אופן, ככה לא נוהגים. סליחה על הנימה המיסטית - אבל נוהגים על ידי כך שמרגישים את הכביש. ואני לא בטוח שאפשר ללמד מחשב לעשות את זה.
תשע (מליון) בכיכר ביום שישי 698232
לעומת זאת, אם בונים מכונית כמו שצריך, קל מאוד להוסיף לה עוד כמה נורות איתות או אפילו שלטי איתות. היא יכולה לספק הרבה יותר מידע לנהגים אנושיים שכנים. וגם לאוטומטים שכנים.
תשע (מליון) בכיכר ביום שישי 698233
אין לי מושג למה אתה קורא אינטואיציה, בין השאר כי בצורה שאני מבין את המילה, נהיגה היא ממש לא מהפעולות שמצריכה אותה. כמות (וכימות) הנתונים להם אני זקוק כדי להיכנס לכיכר קטנה למדי לפי הערכתי, הרבה יותר קטנה למשל מהנסיון להעריך האם משפט שאמרתי מוצא חן בעיני זוגתי לשולחן ארוחת הערב. אז במקרה הכיכר, כמו שאני מלמד את בתי לגבי חציית כבישים, האלגוריתם מאד קרוב ל"אם X אז Y". ואת זה אפילו לשיטתך מחשב יכול לעשות.
יתירה מזו, מסתבר שכיום מחשב יכול לעשות הרבה יותר מאשר לפני חמש שנים - כמו למשל לזהות פרצופים יותר טוב ממך, לסווג עצמים בתמונות יותר טוב ממך, ושאר מטלות סבוכות מאד שאולי אתה חושב שמצריכות "אינטואיציה".

מה שאירוני בזה - אם נניח לרגע בצד את המיסטיקה - זה שצורת הלמידה החישובית של השנים האחרונות מזכירה את המונח 'אינטואיציה': רבים יאמרו שהאינטואיציה שלך, "הרגשת הכביש" שלך, היא פשוט התוצאה הנצברת של אלפי שעות נהיגה על הכביש, והיא לא היתה קיימת כלל בשלוש השעות הראשונות שבילית על הכביש. עם זאת, הצטברות המידע הזאת במערכת החושית והמוטורית שלנו כבר כל כך סבוכה ועמוקה, שלעיתים אין לנו אין היכולת לומר "למה" החלטנו להאיט פתאום או מאיזה סיבה בדיוק חשדנו ברכב לפנינו שהוא הולך לחתוך אותנו. ואז אנחנו קוראים לזה "תחושת בטן" ושאר מושגים כאילו-לא-רציונליים.
מהפכת הלמידה החישובית שאנחנו בעיצומה משתמשת ברשתות נוירונית "עמוקות" - המונח "עמוקות" מציין שלעיתים יש בהן מאות רבות או אלפי שכבות, ובכל שכבה אלפי או אף מיליוני נוירונים (או קשרים בין נוירונים). לכן, אחרי שהרשת בעלת מיליוני הנוירונים "למדה" לזהות אלף אובייקטים מתוך מיליוני תמונות - ובדיוק מדהים שעולה על היכולת האנושית מ-‏2015 לערך - כמעט בלתי אפשרי להבין "למה" היא החליטה שתמונה 154,667 היא של כלב ותמונה 154,668 היא של חתול.
אם פעם אלגוריתמי מכונה סיווגו תמונות לפי תכונות של צבע (חום או ג'ינג'י), טקסטורה (מפוספס או חלק), גאומטריה (אורך שפם, מרחק בין עיניים וכו'), חלוקה לתת-אובייקטים (מספר השיניים) ושאר ירקות שיכלו לתת תשובה ל"למה תמונה 154,668 היא של חתול" - כי הוא ג'ינג'י, מפוספס, שפמו ארוך, שיניו קטנות וחדות, והוא ממש חמוד - הרי כיום, התשובה היחידה ל"למה חתול?"‏1 היא שמיליון, חמש מאות אלף ומאתיים עשרים ושבעה נוירונים כלשהם מהרשת הלומדת שלך "ירו" חזק יותר כשהם ראו אותו. או בניסוח אחר - *אין לנו שום מושג "למה"*. או - לא יותר מושג מאשר לומר שזאת התוצאה של אלפי שעות לימוד על מיליוני תמונות מהעבר. ובין זה לבין ה"אינטואיציה" של מאתיים מיליון הנוירונים בקיבה שלך ששידרו אות אזהרה כימי כשהרכב לפניך זגזג שני מילימטר המרחק נראה כבר קטן יותר מיום ליום.

כחול עמוק שהביס את קספרוב הוא הדוגמה שלך למותר האדם על המחשב? תמהני.

1 נו, התקבלת.
תשע (מליון) בכיכר ביום שישי 698241
איך שהבנתי את זה, כחול עמוק ניצחה את קספרוב בזכות רמאות. המתכנתים ניצלו הפסקה במשחק כדי לתכנת את המחשב מחדש כך שימנע מהמלכודת שקספרוב הוביל אותו אליה, אחרת המחשב לא היה מסוגל להתחמק מהמלכודת. אבל זה לא באמת משנה. שים לב שכשאני מדבר על בני אדם ומחשב אני לא מדבר על עליונות ונחיתות, אני מדבר על שוני. אני משוכנע שנהג ממוחשב יכול להיות טוב יותר מנהג אנושי - בתנאי שכל שאר הנהגים גם הם ממוחשבים ומתקשרים אחד עם השני. השילוב של הממוחשב והאנושי הוא הבעייתי.

בסופו של דבר, המחשב מתכנן מהלכים קדימה. קספרוב פועל לפי אינטואיציה. מהי האינטואיציה הזאת? היא מושרשת בניסיון, כמובן, אבל האם יש כאן בסך הכל מיליארד שכבות של "אם X אז Y"? או האם יש באופן פעולת המוח משהו נוסף שאנחנו עדיין לא יודעים להגדיר? למיטב ידיעתי אנחנו עדיין רחוקים מאד מלהבין איך המוח פועל, איך מתבצעת למידה.
תשע (מליון) בכיכר ביום שישי 698243
בקיצור האם אפשר לצמצם את כל תהליך הלמידה האנושי להמון המון שכבות של "אם X אז Y"?
תשע (מליון) בכיכר ביום שישי 698251
וואי,זאת האמא של על אנשי הקש. אני אמרתי משהו על *כל* תהליך הלמידה האנושית?
דיברתי על המשימה הפשוטה למדי של להביא קופסה עם גלגלים מנקודה א' לנקודה ב' על נתיב ידוע מראש
(קוראים לזה ווייז, המצאה בת עשר), בלי להתנגש בקופסאות אחרות בדרך.
כל טמבל בן 17 יודע לעשות את זה, לא דיברנו על לכתוב את תורת היחסות, להלחין פוגה של באך, לצייר את המונה ליזה או לשחק את המלט.
בין המשימות שהאדם הממוצע עושה, נהיגה היא מהפשוטות והישירות ביותר. כל כך פשוטה, שבעצם אתה יכול לעשות אותה בצורה אוטומטית כמעט לגמרי. אני לא מרגיש שום צורך בתחושת בטן מיוחדת או מודעות על כדי לנהוג.
תשע (מליון) בכיכר ביום שישי 698254
במטוסי נוסעים מודרנים הזמן שהטייסים בשליטה יכול להיות קצר עד כדי 4 דקות מכלל הטיסה.http://www.news.com.au/travel/travel-updates/how-pil...
תשע (מליון) בכיכר ביום שישי 698257
זה בין השאר בגלל שיש בקר תעופה אנושי שמבטיח להם מסלול.
תשע (מליון) בכיכר ביום שישי 698347
זה שאתה יכול לעשות פעולה באופן אגבי לא הופך אותה לפשוטה לביצוע עבור מחשב. אני בטוח שאתה יכול לנהל שיחה פילוסופית די עמוקה תוך כדי שאתה מכין חביתה. זה לא אומר שגם מחשב יכול לעשות את זה. נהיגה היא פעולה מורכבת מאד שדורשת אינטואיציה רבה, גם אם אתה עושה אותה באופן אוטומטי.
תשע (מליון) בכיכר ביום שישי 698348
שיחה פילוסופית עמוקה היא פעולה פי מיליון יותר מורכבת מנהיגה‏1, אני אפילו לא יכול להתחיל לחשוב על כמות הפרמטרים שהיא מצריכה. אני הסברתי לך למה נהיגה היא יחסית פשוטה (המטרה שלה ברורה, הדרך ממקום א ל-ב ידועה כבר עשור לטלפון הנייד שלך, בגדול אתה מתקדם על וקטור חד ממדי ומטרתך העיקרית או המסובכת ביותר היא כנראה לא להתנגש). זה שאתה תענה לי ב"נהיגה היא פעולה מורכבת מאד שדורשת אינטואיציה רבה" לא מקדם אותנו לשום מקום.
יש לך איזה נימוק למה היא מורכבת? למה היא דורשת "אינטואיציה"? למה היא יותר מורכבת מבחירה של נתיב ושמירה על מרחק מהרכב שלפניך, שתי פעולות קלות לכימות ולמדידה? כשכל הפרמטרים שאתה שולט בהם זה שני סקלרים (עוצמת הלחיצה על דוושות הגז והברקס) ווקטור אחד (זוית ההגה נניח)?
אתה יודע בכמה פרמטרים אתה צריך לשלוט כדי לנהל שיחה כלשהיא, שלא לומר שיחה פילוסופית מעמיקה?

1 הצעה למדד אמפירי - כמה אנשים בעולם עושים את הראשונה, וכמה את השנייה?
תשע (מליון) בכיכר ביום שישי 698354
בסדר, הטענה שלי הייתה שזה שאתה עושה משהו באופן אגבי - לא בהכרח הופך את המשהו הזה לפשוט ללמידה עבור מחשב.

להגיד שנהיגה זה בסך הכל ללחוץ על גז ולסובב את ההגה - זה כמו להגיד שלנהל שיחה זה לעשות הברות עם הפה. זו רדוקציה. הסברתי למה נהיגה זה דבר מורכב. למשל - עניין הכיכר העמוס. זה מצריך להבין מתי הנהג בתוך הכיכר מאפשר לך להכנס ומתי הוא לא - במידה רבה זה מצריך קריאה של הבעת פניו של הנהג. לפעמים זה מצריך ממך לבקש באופן לא מילולי ממישהו שיתן לך להכנס - אין לי מושג איך מחשב אמור לעשות את זה. עוד דוגמא - הולכי רגל שקופצים לכביש. כרגע הנהג האוטומטי יודע בעיקר לעצור כשהוא מזהה שהבנאדם כבר בתוך הנתיב שלו (ואפילו את זה הוא עדיין לא עושה טוב כמו שראינו בידיעה המקורית של הת'רד). נהג אנושי יודע לזהות אדם שמתכוון להכנס לכביש עוד הרבה לפני שהוא נכנס. לפעמים נתיב נחסם ואין ברירה אלא לעלות קצת על מדרכה כדי לעבור למרות שזה לא חוקי (אחרת תעמוד שם שבוע). המחשב ידע מתי זה מותר ומתי זה אסור? יש אור ירוק והנהג לפניך לא נוסע - מה המחשב יעשה? יעמוד כמו גולם עד שהבעיה תפתר איכשהו? אולי הנהג חטף התקף לב? אולי הוא פשוט החליט ללכת לקנות לעצמו קפה? בכל מקרה צריך להגיב אחרת. למיטב זכרוני אפילו בספר של התאוריה כתוב שבמקרה של בעיות כאלה על הנהג לפעול בהתאם למיטב שיקול דעתו (כי בלתי אפשרי לנסח כללים לכל סיטואציה). עזוב דוגמאות ספיציפיות - הנקודה שלי היא שיש המון סיטואציות על הכביש שמצריכות - כן כן - חשיבה יצירתית כלשהי, אינטואיציה כלשהי, שלדעתי מחשב מאד יתקשה לצלוח. אולי יום אחד, כן? אבל טוען בתוקף שזה הרבה יותר מורכב ממה שאתה מנסה להציג כאן כאילו כל הנהיגה מסתכמת בשמירת מרחק ולפנות בזווית נכונה. זה הרבה, הרבה יותר מזה.
תשע (מליון) בכיכר ביום שישי 698364
א. להבין מתי הנהג מתכוון להיכנס - לא יודע מה איתך, אני מבין את זה מהמהירות, הכיוון והתאוצה של הרכב שלו, ואלה הפרמטרים העיקריים שאני מחליט עליהם, וזמינים לכל רכב אוטונומי.
ב. בקשר להולכי הרגל - עומר כבר נתן לך את התשובה הכללית, אבל ספציפית אני אענה כדי לסתור כמה הנחות יסוד שגויות שלך:
- הרכב האוטומטי יכול ראות לכל הכיוונים. לא רק לנתיב המסוים קדימה כמו שאתה מתאר.
- כיון שכך, הוא רואה את האדם ש"מתכוון" להיכנס לכביש לפחות כמו שאתה רואה אותו‏1.
- כל זיהוי כוונה שנובע מתנועה פיזית של האדם, במהירות וכיוון מסוים, לא רק שהוא אפשרי למכונית האוטומטית, היא יכולה לחשב כמה דברים הרבה יותר ממך באשר לתוצאה של תנועות כאלה ולאן יביאו את האובייקט הנע.
- גם זיהוי של שפת גןף והבעות פנים זה דבר שמערכות לומדות עושות היום לא רע, ומשתפרות.

ג. המקום היחיד שאני קצת מסכים איתך - אבל בטוח שהטכנולוגיה תפתור זאת בעתיד הקרוב - זה אירועים מאד חריגים, כמו נתיבים חשוסים, מכשולים לא צפויים על הכביש, גשרים נופלים ושאר ירקות‏2. רק שאירועים כאלה קורים פעם בשנה אולי, אפילו אם הנהג ישאל אותך פעם בשנה מה לעשות עכשיו, זה נראה לי זניח.

1 אצלי, למשל, לפעמים האיש הזה דוקא מוסתר על ידי המסגרת/קורה שבין החלון הקדמי לחלון הימני.
2 יש אור ירוק והנהג לפניך לא נוסע? - הרשה לי לפחפח, הוא יעשה בדיוק מה שאני עושה - בין כלום לבין צפצוף אזהרה שאומר לא להוציא את הראש מהסמארטפון שלו. ממש אלגוריתם מתוחכם ועילאי.
תשע (מליון) בכיכר ביום שישי 698371
נראה לי שהוא מדבר על מצב בו הכיכר פקוקה לגמרי, ז"א המהירות לא מספיקה על מנת להבין מה הנהג הולך לעשות (משום שאין מהירות) ואתה צריך להעריך על סמך יצירת קשר עין הדדי‏1.

1 נראה לי שהבעיה של להעריך מה הנהג האנושי הולך לעשות על סמך פרצופו דווקא קלה יותר למחשב מאשר הבעיה להבהיר לנהג האנושי מה אתה הולך לעשות ללא פרצוף, אבל זאת בעיה של ממשק משתמש ולא של לימוד‏2.
2 באמת הגיע הזמן להוסיף עוד שיטות איתות מאשר ימינה, שמאלה ובלימה, הטכנולוגיה קיימת ולא יקרה, ונראה לי שגם הצורך קיים.
תשע (מליון) בכיכר ביום שישי 698373
כן. מתי כבר ישים מישהו על מכסה המנוע ועל מכסה הבגאז' שלטים שעליהם הוא יכול בלחיצת כפתור לכתוב „מניאק!״ (כמובן שברירת המחדל לשלט האחורי תהיה „<משהו> אבל לפניך״).
תשע (מליון) בכיכר ביום שישי 698379
עדיף על צפירה וסנוור.

אבל נראה לי שעדיף לתת רק מספר מוגבל של טקסטים (בשביל למנוע מנהגים לנסות לכתוב את הטקסטים תוך כדי נהיגה ובשביל לאפשר לתרגם את הטקסטים לשפות אחרות). אני גם לא בטוח שמכסה המנוע הוא המקום הטוב ביותר, עדיף על לוח השעונים של הנהגים הקרובים (או של הנהג הספציפי).
תשע (מליון) בכיכר ביום שישי 698249
למען האמת הייתי לגמרי סקפטי כאשר קראתי את מה שכתבת על רשתות נוירוניות "עמוקות". זה פשוט נשמע מחריד, להפקיד את ניהול מכונות המשחית על הכביש בידי מערכת פסבדו-אקראית, שאינה מבוססת על אלגוריתם אנליטי לפתרון הבעיה, ושהראתה בעבר הרחוק (בעת הופעתה) יכולות מוגבלות מאד שהגבילו את ישימותה לתחומים מאד ספציפיים (שלהם איכשהו התאימה). אבל מה לעשות שאלו העובדות ולפחות הרכב של גוגל משתמש בזיהוי אובייקטים ויזואליים ע"י ראיית מכונה.
נראה שהתשובה לספקנות שלי היא כפולה. ראשית מי יכל לנחש שדוקא זיהוי אובייקטים ויזואליים בכביש יתגלה כאחד התחומים הספציפיים שבהם רשתות נוירונים בכל זאת מצליחים. ושנית נראה שמדובר בטכנולוגיית רקע כאשר את עיקר העבודה (עקיבה אחרי תואי הכביש וזיהוי מכשולים) עושים טכנולוגיות יותר פשוטות ויותר מובנות. בכלל נראה שאין פיתרון טכנולוגי מובהק של בעיית הנהיגה האוטונומית ומשתמשים בכלאיים של סנסורים וטכנולוגיות שונות (hybrid navigation). הויקיפדיה מדברת על אלגוריתם SLAM המשמש למיזוג online, של אינפורמציה מכמה מקורות (LIDAR, ראדאר, ראיית סטראו, GPS ומערכת נווט אלקטרוני) כדי לעדכן מפת סביבה (offline), תוך כדי מעקב אחר תנועת המערכת במפה. ראיית המכונה, אני משער, משלימה בהנתן מספיק זמן, את תמונת הסביבה לגבי אובייקטים חדשים שאינם חלק ממפת הסביבה הקבועה.
במילים פשוטות, מי שאמור להתריע על מכשול התנגשות בנתיב יהיו סורק הלייזר ו/או איזשהו אלגוריתם עיבוד תמונת מצלמה כמו במערכות האוטונומיות הנמצאות כבר היום ברכבים (mobileye וחברותיה) ולא איזושהי מערכת כבדה ואיטית של ראיית מכונה.
למה אני מתקטנן על נקודה זו? יש לכך שתי סיבות. הסיבה הראשונה היא שיש כאן תשובה חלקית לשתי שאלות שעלו בעבר פה. ראשית, נראה לי כי מספר התאונות של רכבים אוטונומיים יהיה מאותו סד"ג כמו ברכבים רגילים וקרוב לודאי שבתקופת ההסתגלות הראשונית (חפיפה עם רכבים רגילים, נהג משגיח, שכלול ואדפטציה של המערכות) יהיו כנראה יותר תאונות ולא פחות. שנית, נראה לי ברור שעם מערכת ניהוג מורכבת כזו ברור שרכב אוטונומי יעלה יותר מרכב רגיל (מובן שתדרש מערכת מיחשוב די חזקה ויקרה שלא להזכיר את מערכות החישה השונות ואמצעי הגנה מוגברים נגד התנגשויות) והשאלה היא רק כמה יותר.
הסיבה השנייה מתיחסת לתאונה של רכב האובר שהרגה את איליין הרצברג (2018). אני לא בא כאן להמליץ על דחיפת אופניים בשעת חשיכה על פני כביש בין 6 נתיבים, אבל דריסת עוברת הדרך חסרת המזל היא בדיוק סוג המצבים בהם מערכות אוטונומיות אמורות להיות טובות יותר מנהגים אנושיים. הגברת לא קפצה לפני המכונית (מפני שהתאונה ארעה בנתיב השלישי) אלא עברה לפניה במהירות שצריכה להחשב סבירה להולך רגל. למצלמה היה די זמן לצלם אותה במשך זמן שבמונחים של מערכות ממוחשבות הוא די ארוך. לכן אני מצטרף לדעתו של אריק שלפחות למכונית הזו יש בעיה חישובית-בטיחותית מאד גדולה. אם מה שקרה כאן אינו מאפשר זמן מספיק לסורק הלייזר (LIDAR) לזהות את הולך הרגל והאופניים ולפחות להתחיל בבלימת הרכב, הרי שהמערכת חסרת ערך מול המקרים הדי נפוצים של קפיצת הולכי רגל/בעלי חיים/חפצים/כלי תנועה לכביש.
לסגירת המעגל, אשאל מה קורה עם מערכת ראיית מכונה ממוחשבת במקרה שזו היתה המרכיב הראשי של הניהוג. במקרה של תאונה כזו, זה כל מה שאפשר לעשות הוא להוסיף את סצנריו התאונה למאגר המאמן (training) את ראיית המכונה ולקוות שבפעם הבאה יהיה טוב יותר (שהרי אף אחד לא יכול לדעת מה השתבש בזיהוי המצב, אלא אם כן מדובר בפחות מדי זמן עבור החישוביות הכבדה של המערכת הזו).
תשע (מליון) בכיכר ביום שישי 698250
רק תיקון מהיר: הכובד החישובי של רשת נוירונים הוא בזמן האימון/למידה. מרגע שהרשת סיימה את הלימוד, היישום שלה בזמן אמיתי מהיר מאד.
ועוד הערה - הפסקה הראשונה שלך היתה אולי קרובה למציאות בסוף האלף הקודם, היום היא כבר לא רלבנטית. השימושים של למידה עמוקה מקיפים כיום כמעט את כל התחומים של לימוד מחשב ו"אינטליגנציה מלאכותית". זיהוי תמונות, תרגום, זיהוי שפה, אפליקציות רפואיות, חיזוי תבניות, רובוטיקה, You name it.
לומר היום שזה טוב לשימושים ספציפיים זה כמו לומר בשנות התשעים שמחשבים טובים רק בעיבוד תמלילים וגליונות אקסל.
תשע (מליון) בכיכר ביום שישי 698253
אם ניחשת שהפסקתי לעקוב אחרי הנושא של רשתות נוירונים בערך בסוף האלף, צדקת. יחד עם זאת, מה שמטריד אותי הוא שדווקא בתחום הזה של "הבנת תמונה" (מעבר למקרים פשוטים יחסית כמו זיהוי כתב), רשתות הנוירונים לא הצטיינו. יכול להיות שהוספת שכבות נוספות שנתה משהו מהותי, ואז שאלה טובה היא, מה?
לגבי החישוביות ומשך הזמן, אני יכול להאמין לך. ועדיין אני משער שאם אתה צריך רשתות נוירונים (ועוד עמוקות) וראיית המכונה, לא מדובר במיקרו-פרוססורים שהיה נהוג להשתמש בהם בתעשיית הרכב אלא במחשב של ממש ובעל ביצועים די משופרים. מעניין גם, שבתקשורת הפופולארית, לא ראיתי שהוזכר תהליך הלימוד של המחשב שהוא מרכיב כל כך מרכזי של רשתות הנוירונים ושמן הסתם צריך להיות אדפטיבי למפות (לנתיבים) שבהן משתמש הרכב.
תשע (מליון) בכיכר ביום שישי 698255
אם כבר בחומרה עסקינן, החומרה החביבה על רשתות נוירונים נקראת gpu - מעבד גרפי - והיא כיום חלק אינטגרלי בכרטיס המסך של כל מחשב בערך שאתה נתקל בו.
בין השימוש העיקרי של הכרטיסים האלה נמנים משחקי המחשב הפופולריים, ובעצם הכיוון ההיסטורי הוא הפוך: ההתפתחות של כרטיסי המסך ויחידות ה-gpu שלהן (שבעיקרן הן מעבד מקבילי בעל אלפי מעבדים זעירים), בעיקר כדי לתמוך ברזולוציות העולות של משחקי המחשב, היתה מרכיב מכריע במהפכת הרשתות העמוקות, כי היא אפשרה מימוש חומרתי יעיל של הרשתות האלה בגלל המקביליות הגבוהה של המעבדים הגרפיים הללו.
תשע (מליון) בכיכר ביום שישי 698273
"לא ראיתי שהוזכר תהליך הלימוד של המחשב שהוא מרכיב כל כך מרכזי של רשתות הנוירונים ושמן הסתם צריך להיות אדפטיבי למפות (לנתיבים) שבהן משתמש הרכב."

למה? רשתות הנוירונים שצריך כדי "להסתדר בכביש" יכולות להיות קבועות (אולי להתעדכן פעם בשנתיים כדי להישאר בעניינים בעולם המשתנה; בדוגמה ששמעתי לא מזמן, דפוס חזותי שלא היה קיים לפני עשר שנים והיום נפוץ מאוד הוא אנשים שמסתובבים על המדרכה, וחלילה גם חוצים כביש, כשמבטם מרותק לחפץ מלבני קטן שהם אוחזים בידם ועושים עליו תנועות משונות באצבעות). וכשהן קבועות, כמו שכתב הפונז, הן לא דורשות משאבי מחשוב כבדים (לא יודע על "לא מיקרו-פרוססורים... אלא מחשב של ממש", בכל מקרה מעבד שגם אם הוא חזק הוא מוצר מדף זמין וזול יותר מהמערכות המכניות ברכב, מהפח שלו, ואולי גם מהחיישנים שלו). את הניווט עושים באמצעים מיושנים כמו וייז (+ מפות מאוחסנות במחשב הרכב למקרה של אובדן תקשורת, ומתעדכנות פעם ביום). כלומר, את לימוד המפות והתאמתן לשינויים עושים בענן ולא במכונית. לי נראה שאלו שתי משימות בלתי תלויות. לא?
תשע (מליון) בכיכר ביום שישי 698289
התכוונתי לכך שאין טעם ללמד מחשב שינהג רכב במדבריות אריזונה ע"י תמונות שצולמו בכבישים של בוסטון. בדיוק כפי שוויז ברכב ישראלי לא צריך את המפות של איסלנד.
למיטב הבנתי, מפות התנועה של רכב אוטונומי צריכות להיות הרבה יותר מפורטות וכבדות מן המפות של וויז. לפי מה שצויין המפה היא גם ב-offline, כך שכל ה- buzzwords על עננים וסייבר לא שייכים.
מוזר לי שרבים מתיחסים כאן למאמר על הרדיולוגיה ואף אחד לא מזכיר שהמסקנה של המאמר היא שהרדיולוגים האנושיים הם כאן לעוד הרבה זמן.
ועוד הייתי רוצה להוסיף, שתחום הרדיולוגיה הוא דוקא תחום שכבר לפני הרבה שנים הוכר כאחד התחומים הבודדים שבו לרשתות הממוחשבות היה יתרון מסויים. כבר אז שמו לב שבראייה דיגיטלית אפשר להבחין בשינויים וחריגות ביולוגיות שהעין האנושית כלל אינה מבחינה בהם. עניין "הבנת תמונה" הכולל זיהוי ושיוך אובייקטים ויזואליים כמו בני אדם, כלי תנועה, תוואי דרך, תמרורים ומכשולים שונים הוא עניין הרבה יותר סבוך, ולכן האנלוגיה בין שתי התחומים היא ענייה.
לאריק הייתי רוצה להזכיר את הסיפור הידוע על המכוניות שהיו צריכות לפתור את בעיות זיהום הסביבה שנגרמו ע"י הכרכרות הרתומות לסוסים.
אין ספק שהטכנולוגיה המשתנה במהירות משנה את חיינו. השאלה אם כל או רוב השינויים הללו הם לטובה היא שאלה יותר שנוייה בויכוח.
תשע (מליון) בכיכר ביום שישי 698267
אני רוצה להתעלם לרגע מה"איך", ולהתמקד ב"מה".

הרי הטכנולוגיה תמיד מוצאת בסוף פתרון לכל בעיה חישובית- גם לשלוח אדם לירח (עם מליונית מכח המחשוב בן זמננו) וגם לשתף סרטונים של חתולים עושים שטויות. ה"איך" ייפתר בצורה כלשהי, והפתרון יהיה יציב ובטיחותי.

אני רוצה לדבר על התוצאה של מכונית אוטונומית.
מה שיהיה בסופו של דבר הוא להערכתי צי של מכוניות אוטונומיות שמסוגלות לנסוע עצמאית מנקודה א' לנקודה ב' ללא תאונות, לתקשר ביניהן בטווחים קצרים ולשתף פעולה בסגנון של להקת ציפורים נודדות. התוצאות תהינה‏1:
1. שמירת מרחק קטן מאוד בין כלי הרכב בנתיב תחבורה בין עירוני, ומתוך כך אפשרות להעמיס על אותו נתיב פי כמה וכמה מכוניות- פתרון מלא לפקקים.
2. לאחר הוכחת העדר התאונות תבוא עם הזמן הפחתה באמצעי המיגון הפסיבי שתתרום לפישוט של כלי הרכב והפחתה משמעותית במשקלו.
3. לצרכים עירוניים כלי הרכב האוטונומי יהיה מינימליסטי - למשל כלי רכב חשמלי בעל שני מושבים ותא מטען מצומצם, טווח של 100 ק"מ בלבד בין טעינות, ומהירות מירבית של 60 קמ"ש. כלי כזה יוכל לשמש להסעה אוטונומית של הילדים לבית ספר, לחוגים ולחברים, וגם למבוגרים לקפוץ לבית הקפה השכונתי, למכולת או לסרט, בזמן שהכלי הבינעירוני בטעינה.

אני יכול לדמיין משפחה סטנדרטית של 4.5 נפשות שמחזיקה 4 כלי רכב אוטונומיים- 2 עירוניים מינימליסטיים, 1 בינעירוני דו מושבי ו 1 בינעירוני בגודל מלא. הוצאות הדלק והתחזוקה של הכלים העירוניים נמוכות עד מגוחכות, ושל הכלים הבינעירוניים קרובות יותר לאלו של כלי רכב דהיום, אך עדיין נמוכות יותר (פחות משקל- פחות דלק).

זה המצב הסופי. בדרך אליו נצטרך לעבור שינוי רגולטורי מקיף- בשלב ראשון, כדי לנצל את הפוטנציאל של הכלים האוטונמיים תצטרך לחול הפרדה בינם לבין כלים נהוגים. אני חושב על נתיבים יעודיים כמו נת"צ, בקליפורניה למשל. כמו שיש עכשיו נתיב ל Carpool.
בשלב השני פשוט יורידו את הכלים הנהוגים מהכביש. מי שירצה לנהוג ידנית יתכבד ויסע בכבישים משניים ולא באוטוסטרדה, ובסופו של דבר רק בשמורה (מסלול מירוצים).

____________
1 ניקח את המקרה הקל- בהעדר נהגים אנושיים, ותיכף נדבר על זה
תשע (מליון) בכיכר ביום שישי 698272
למה אתה חושב שתמשיך להיות בעלות פרטית על רכבים אוטונומיים?
האם לא סביר יותר שיהיו רק מוניות אוטונומיות במודל של השכרה לפי צורך?
תשע (מליון) בכיכר ביום שישי 698281
1. שעות העומס- כל המכוניות האוטונומיות לוקחות את ילדי היסודי לבית הספר באותה שעה, אתה לא יכול להרשות לעצמך פספוס מקרי שלא תהיה מכונית פנויה.
2. זמינות מיידית- אם החלטתי לקפוץ לסופר השכונתי ברגע זה למה לחכות?
3. שיקולי סטטוס (לרכב הראשי) כמו היום.

אני מניח שיכול לצמוח מודל השכרה (אובר אוטונומי) במקביל, ואפילו יכול להיות מאוד יעיל ב Car pool של הנסיעה בבוקר לעבודה, אבל כמו היום- רוב האנשים יעדיפו לנסוע ברכבם הפרטי.
תשע (מליון) בכיכר ביום שישי 698287
1. אז תזמין מראש. גם היום באותה שעה אתה תלוי בפקק המקרי בשכונה ליד בית הספר שיכול בקלות לעלות לך בעוד עשר דקות איחור.
2. חלק ניכר מעם ישראל שאין לו חניות פרטיות, הסופר השכונתי קרוב לעיתים יותר מהחנייה האקראית בשכונה. מצוקת חנייה זה אחד הדברים הראשונים שיפתרו על ידי מכוניות אוטונומיות.
3. תחלוק את המרצדס האוטונומית שלך עם עוד שלושה עשירים שממילא נוסעים בה רק עשירית משעות היום. או שתזמין מונית מרצדס ולא קאיה, אם זה מה שמשנה לך.
תשע (מליון) בכיכר ביום שישי 698293
4. תחושת הביתיות במכונית שלך, עם הצעצועים של הילדים שלך שזרוקים למרגלות המושב האחורי בין פירורי הבמבה (שמעצבנים אותך, אבל בשכורה לא היית יכול בכלל להרשות להם לאכול במבה), הטישו שלך שנוח לך שיהיה שם, ומשקפי השמש שנחסך ממך לקחת איתך בתיק. שלא לדבר על דברים כבדים יותר (טיולון!).

זו סביבה שאתה נמצא בה די הרבה זמן ביום, אני מנחש שרוב האנשים יהיו מוכנים לשלם לא מעט בכל מיני היבטים אחרים תמורת היכולת לעשות אותה שלהם.
תשע (מליון) בכיכר ביום שישי 698297
הבה נחזק את זה - יש המשתמשים ברכב בתוך מחסן קטן, בערכים של דירות בתלאביב זה חוסך אלפי שקלים בשנה.
תשע (מליון) בכיכר ביום שישי 698314
אבל... גם השטח של החניה עולה כסף, למכונית ממוצעת יש שטח איכסון אפקטיבי די נמוך (600 ליטר זה הרבה כל זמן שלא מקפלים את המושב האחורי) לעומת השטח שחייבים לשחרר על מנת לאפשר לה לחנות (שתי חניות למכונית, כל אחת שלוש מטר על שש מטר) ז"א, אם אני לא מתבלבל, אם על כל חניה שנחסוך נבנה מחסן בגובה של שני מטר מויתור על כל מכונית נקבל שטח אכסון של יותר ממאה מכוניות.
במבה ברכב 698312
כל הכבוד לך על ההתחשבות בזולת, אבל אני חושש שלא כולם יהיו כמוך. למעשה, זכרון מאוד לא נעים מהקיבוץ היתה תחושת הקבס שתקפה אותי בכל פעם שנכנסתי לרכב שיתופי. בעיה אחת היתה ענן אפר הסיגריות שבקע מהמזגן, ועל האחרות לא ארחיב מטעמי גועל נפש.
במבה ברכב 698328
זו דווקא בעיה שכנראה תעלם, משום שאני מנחש כי הרכבים יכללו מצלמות פנימיות, ומי שיגרום להן נזק ישא בעלות התיקון.
במבה ברכב 698330
מצלמות שמנטרות וקונסות מפליצים סדרתיים? ספורטאים ושטופי זיעה אחרים? אנשים שמכנסיהם ספוגים בחיידקי קולי? מחטטי אף מרחניים? משתמשי ג'ל שמנוני שמשעינים ראש? מניחי נעליים מטונפות על המושב? חולים משתעלים? מרססי רוק בדיבור ועיטוש? מקיאים? מעשנים שפולטים את עשן השאכטה האחרונה בתוך הרכב? שיכורים? מעשנים שימצאו דרך להסתיר את הסיגריה הדולקת מהמצלמה? מחליפי טיטולים? אוהבים חשקניים שמזדיינים באוטו? מנערי קשקשים? מנשירי שיער ותאים אחרים? מטפטפי טחינה? אוכלי סנדוויץ עם סרדינים ותירס מקופסא? תינוקות פולטים? כאלה שכוסאומו נשפך להם הקפה? לובשי בגדי ים רטובים עם חול?

יש מצב שמצלמות קסם שכאלה יצרו בעיה לא פחות גדולה מזאת שהן פותרות.
במבה ברכב 698332
ברור; זה עוד יותר מוריד מהאטרקטיביות של השיתופי.
תשע (מליון) בכיכר ביום שישי 698313
1.
א. אני לא רואה איך רכב שיתופי מרע את המצב, בכל מקרה, סה"כ מספר כלי הרכב (פר אדם) שצריך על מנת לקיים מודל של רכב שיתופי באופן שיעמוד בשעת העומס צריך להיות קטן ממספר כלי הרכב שצריך על מנת לקיים מודל של רכב שיתופי באופן שיעמוד בשעת העומס (באוכלוסיה גדולה מספיק תמיד יש מישהו בחופשה או ילד חולה), מספר המושבים פר כלי רכב (אחרי הכל, במודל של רכב שיתופי אפשר להעמיד צי עם יותר מחצי מכלי הרכב בבלי רכב חד מושביים, ועוד הרבה כלי רכב דו מושביים) יהיה קטן משמעותית מזה שמצריך המודל של כלי רכב פרטיים, ומספר מקומות החניה (פר אדם) יהיה קטן משמעותית במודל השיתופי (ז"א, גם מספר כלי הרכב יהיה קטן יותר, גם הגודל שלהם יהיה קטן יותר, גם פחות מהן יעמדו בחניה, וגם את חלקן אפשר יהיה "לקפל".
ב. אין שום חוק טבע (למיטב ידיעתי) שמחייב את כל בתי הספר להתחיל באותה השעה, למעשה, מניסיון, במדינות בהן הילדים משתמשים בתחבורה ציבורית על מנת להגיע לבתי הספר לכל בית ספר יש שעת פתיחה שונה במקצת.
2. אני חושב שאפשר לחלק את הערים המודרניות בעולם המערבי לשני מודלים, מודל אחד הוא המודל של לוס אנג'לס (נגיד) עם 1.6 כלי רכב לבית, והמודל השני הוא המודל של ניו-יורק (נגיד) עם 0.6 כלי רכב לבית (מקור). במודל אחד המכונית היא המלכה, בשני הולך הרגל הוא המלך, בראשון על מנת לקנות חיתולים אתה צריך להגיע לסופר שנמצא, לפעמים, במרחק של מייל מהבית, בשני אתה יכול לקפוץ למכולת הפינתית, במודל הראשון באמת אין סיכוי למודל של רכב שיתופי, אבל כמה מהערים המוצלחות בעולם (לדעתי - ניו יורק, ברלין, אמסטרדם, טוקיו, לונדון, קופנהגן...) מקיימות את המודל השני, ובהן בהחלט אין צורך במכונית לקפוץ למכולת השכונתית, פשוט מפני שהיא קרובה ויש לך מדרכות כל הדרך אליה, והרבה אנשים באמת חיים ללא מכונית פרטית.
3. גם עניבה זה מודל סטטוס והרבה יותר זול... סמל הסטטוס הזה עולה הרבה כסף, ומעבר לעלות הראשונית זה יש ביטוח, דלק, חניה, מוסף, ומלבד מקרים נדירים, הערך של הרכב עצמו יורד באופן די חד עם הגיל והשימוש. כשסמל הסטטוס היקר הזה גם פוגע באיכות החיים, פוגע בסביבה, מעיק, פוגע בבריאות ומסכן את חייך נראה לי, אני מקווה, שכשיבוא היום וזה יהיה אפשרי רוב האנשים יבחרו בו. אין לי ספק שזה מה שאני אעשה (אבל יש פה קצת פרדוקס העדר, בשביל המודל יהיה כדאי צריך מאסה מספיק גדולה שתבחר בו). כדאי לציין שרוב האנשים לא בוחרים ברכב שהוא סמל סטטוס ממש (פורשה, טסלה, מרצדס...).
תשע (מליון) בכיכר ביום שישי 698317
2. בינתיים ישראל מתמלאת בפרוורים מהסוג הראשון.
תשע (מליון) בכיכר ביום שישי 698329
1. אוטובוס אוטונומי לוקח את הילדים, ואין בעיה של עומס.
2. זמינות תוך דקות לא אמורה להוות בעיה.
3. סמלי סטטוס משתנים, לעתים במהירות. שעונים, למשל, הם עדיין סמל סטטוס (ו/או תכשיט), אבל כבר מזמן לא פריט חובה. עטים היו פעם סמל סטטוס. שומן (כלומר, משקל רב, עם כרס) היה פעם סמל סטטוס. תהינה דרכים אחרות להחצין עושר.
תשע (מליון) בכיכר ביום שישי 698258
לעניין זיהוי תמונה על ידי מחשב, זה נכון שמחשב יודע להחליט אם תמונת פרצוף מתאימה לתמונת פרצוף שנמצא במאגר הנתונים שלו, אבל אני בספק אם מחשב יוכל להחליט, מה שלאדם מאד קל, אם תמונת פרצוף היא של גבר או של אישה. נתקלתי גם באפליקציה שמזהה יצירה מוסיקלית אבל לתדהמתי גיליתי שהיא יכולה לזהות את היצירה רק אם אותו ביצוע ממש נמצא במאגר הנתונים שלה, ואם ישמיעו לה את היצירה בביצוע אחר היא לא תזהה אותה. זיהוי עצם בתמונה כמו טנק מרוחק הוא בעייתי למכונה ואת הדבר הזה עושים היום בני אדם ולא מחשב. הדבר הזה נכון גם כשמדובר בזיהוי תאים סרטניים בפתולוגיה. הניסיון להטיל את המשימה הזאת על מחשב נכשל עד כה לחלוטין, ומי שעושה זאת הם בני אדם מומחים, דבר שגורם לתורים ארוכים לתוצאות הבדיקה. כלומר, קיימות משימות שלאדם הן מאד קלות, ובמחשב הן בעיות לא פשוטות. אני מניח שבעתיד יצליחו להתגבר על הבעיות האלה, אבל אנו עדיין רחוקים מאד מכך.
תשע (מליון) בכיכר ביום שישי 698262
"הניסיון להטיל את המשימה הזאת על מחשב נכשל עד כה לחלוטין"...

(מאחר ואתה לא אוהב לקרוא טקסט ארוך באנגלית, אצטט רק משפט אחד מהפתיחה: "Researchers have developed deep learning neural networks that can identify pathologies in radiological images such as bone fractures and potentially cancerous lesions, in some cases more reliably than an average radiologist").
תשע (מליון) בכיכר ביום שישי 698264
אני מכיר את הנושא הזה מחבר שהיה שנתיים בארצות הברית בחברה שמנסה לפתח את הנושא, ולדבריו התוצאות מאד עלובות. זה היה לפני כשלש שנים. אני בספק גדול אם הייתה פריצת דרך בנושא. מכל מקום אם היום תידרש לבדיקה כזאת אצלנו, אין שום מקום שבו עושים את זה דרך מחשב, ותצטרך להמתין בסבלנות לתוצאות.
תשע (מליון) בכיכר ביום שישי 698265
בשלוש השנים האחרונות הושגה התקדמות לא מבוטלת, מה שנותן מקום לאופטימיות מסוימת. מכל מקום ''נכשל לחלוטין'' ממש לא מבטא את המצב (המחקרי) העכשווי.
תשע (מליון) בכיכר ביום שישי 698266
אם זה כך אני שמח. זה חשוב.
תשע (מליון) בכיכר ביום שישי 698270
חזרתי שוב וקראתי גם את מה שאני כתבתי בעניין זה. כתבתי טקסט קצר מאד בעברית: "זיהוי תאים סרטניים בפתולוגיה". בשיטות הדימות השונות לא מדובר בהגדלה כדי להתבונן בתאים ולזהותם.
תשע (מליון) בכיכר ביום שישי 698269
חזרתי למאמר כדי לקרוא אותו ומסתבר שאנחנו לא מדברים כלל על אותו דבר. במאמר מדובר על פענוח תמונות של דימות צילומי רנטגן סי טי אם אר אי וכדומה, והמטרה היא להחליף את המקצוע שנקרא ''רדיולוג''. לא על כך דיברתי. אני התכוונתי לעבודתם של פתולוגים שמסתכלים דרך מקרוסקופ על תאים בביופסיה שנלקחה מהרקמה. זה גם קשור ברפואה אבל משהו אחר.
תשע (מליון) בכיכר ביום שישי 698271
אני חושב שפתולוגיה על-ידי מחשב עדיין לא נפתרה, אבל די בטוח שזה עניין של שלוש שנים בערך. אני לא חושב שיש שם אתגר מהותי שלא פתרו כבר.
תשע (מליון) בכיכר ביום שישי 698275
אותו חבר עליו ספרתי בתגובה 698264 שהוא אדם לא טיפש כלל וזכויותיו ומעשיו רבים, יצא לדרכו בדעה דומה לשלך וחזר בדעה ש"הם" (הפתולוגים) לא יודעים שום דבר וכל השיטה שבה מסתמכים על איזה "גורו" שווה ל. . . כי אם אי אפשר לעשות את זה בעזרת מחשב אין שם שום דבר. אז תיזהר שלא תשלים את הדרך כמוהו. אנו מסתמכים על "גורואים", ובדרך כלל השיטה הזאת מוכיחה את עצמה למרות שיש מדי פעם טעויות. שנים רבות עוסקים בהטלת המשימה הזאת על מחשב וזה לא הולך. איני יודע מה המיוחד בשלש השנים הקרובות.
תשע (מליון) בכיכר ביום שישי 698278
אני לא בטוח אם שלוש השנים הבאות מיוחדות, אבל שלוש השנים הקודמות (מאז שיחתך עם חברך) ראו קפיצות מדרגה בפתרון בעיות דומות (ר' אבחון באמצעות רשתית בתגובה של צפריר).

צריך אולי להבהיר שה"הבטחה" שלי היא שמחשב יהיה טוב כמו מיטב המומחים האנושיים, ויותר טוב ממרבית המומחים. להבטיח שהוא יהיה יותר טוב ממיטב המומחים זה כבר סיפור אחר. זה אפשרי רק אם אתה מלמד את המחשב לא לפי תיוגים של מומחים אלא לפי מה קרה לפציינט בסוף (אבל אז אני מניח שהזיהוי לא יהיה של סוג הסרטן, אלא רק "מצב קטלני/מצב יציב בהינתן טיפול X"). אבל זה אולי יותר קשה, לפחות מבחינת השגת הנתונים.

במקרה עוד יותר קיצוני, שאולי אתה רומז אליו בביקורת של החבר שלך על הפתולוגים, פשוט אין אינפורמציה של ממש שמקודדת במראה התאים במיקרוסקופ - ואז זו בעיה. במילים אחרות, אני לא חושב שמחשב יכול להיות טוב באסטרולוגיה. אבל זיהוי סרטן ממורפולוגיה של תאים היא אלף בית של אונקולוגיה, לא?
תשע (מליון) בכיכר ביום שישי 698282
תזכורת: לפני שלוש שנים אלוף העולם במשחק גו היה בנוי מתרכובות פחממניות, וכמעט כל המומחים ניבאו שזה לא הולך להשתנות בקרוב. מאז לא רק שהוא הוכה, גם התוכנה שניצחה אותו - AlphaGo - הובסה מאז בתוצאה 100:0 ע"י גירסה מתקדמת יותר שלה, שלא מתבססת על לימוד של משחקים של בני אדם. המצב שונה מפתולוגיה כי במקרה של גו קל לדעת אם ניצחת או הפסדת בכל אחד מטריליון המשחקים שאתה משחק נגד עצמך, אבל אני חושב שיש מספיק מידע על מהלך המחלה של חולים כדי להשאיר מקום לאופטימיות.

שאלה למבינים: האם יש קושי עקרוני להפעיל את השיטות הקיימות של deep learning על הבעיה של תכנון רשתות טובות יותר, או שהסינגולריות כבר (כמעט) כאן?
תשע (מליון) בכיכר ביום שישי 698294
למה בדיוק אתה מתכוון ב"תכנון רשתות טובות יותר"? אני חושב שברוב הבעיות האתגר הוא לא תכנון הרשת - רשת עצבית הוא דבר גנרי למדי - אלא הניסוח המתאים של הבעיה, מציאת דוגמאות הלימוד, סטנדרטיזציה שלהן, תיוגן על-ידי אנשים, וכן הלאה - בזה יש עוד עבודה לאנשים כמה וכמה שנים. בעצם אלו בכלל לא בעיות למידה.
תשע (מליון) בכיכר ביום שישי 698298
האמת היא שאני יודע בערך כלום על רשתות נוירונים, עמוקות או רדודות, אבל דומני ש-AlphaGo, DeepBlue ו-Watson אינן בדיוק אותה ארכיטקטורה/תוכנה.

אולי צריך לשאול שאלה אחרת: האם יש הוכחה שרשת נוירונים גדולה אחת יכולה לעשות כל מה שהרבה רשתות שמחוברות זו לזו ברשת-על יכולות, ובאותו סדר גודל של מספר חישובים? אני שואל כי המוח שלנו בטח דומה יותר לארכיטקטורה השניה. טוב, אני עומד לשמוע את מיכאל גלעד, אולי לפני שהוא מתחיל לכפול וקטורים מימין ומשמאל אצליח להבין משהו.
תשע (מליון) בכיכר ביום שישי 698310
כשאתה מדבר על "מה יכולה רשת נוירונים לעשות" אני לא מבין. אני אסביר מה אני כן מבין (ההשכלה שלי היא לא הרבה מעבר לאותה סדנה בת יומיים, ששילבה תיאוריה עם פרקטיקה).

לרשת נוירונים נתונה יש מספר נתון של נוירונים במספר נתון של שכבות. בהתחלה היא לוח חלק. ואז מאמנים אותה על הרבה קלטים, כולם מאותו סוג, במטרה לטפל ממש ממש טוב בקלטים דומים. בסוף מקבלים רשת מאומנת, שעושה (בשאיפה) ממש טוב את אותה משימה מצומצמת. זה הסוג הנפוץ ביותר של רשתות עצביות, ומה שהוא יודע לפתור זה בעיות סיווג (איזה סוג מכונית בתמונה), או מתן ציונים (עד כמה הפודל הזה יפה).

יש סוג אחר, דוגמת אלפא גו, שיודע לפתור את הבעיה "מה המהלך הבא האופטימלי". ויש סוג שלישי, שמזינים לו קלטים בלי לתת להם ציונים, והוא מצליח אולי לזהות בהם תבניות (אבל לא לומר בעצמו משהו סמנטי עליהן). בכל הסוגים, רשת נתונה שעברה אימון יודעת לפתור בעיה אחת מצומצמת ומוגדרת. חשוב לשים לב שחלק מהמשימות שהמוח האנושי עושה לא ניתנות בקלות לרדוקציה לאחד משלושת סוגי הבעיות שרשתות עצביות יודעות עקרונית לעשות. אני לא מדבר אפילו על רגש או על תכלית, אלא למשל על הוכחת משפטים במתמטיקה, או משימות תכנות.

חזרה למונחים שדיברת עליהם: כשאתה שואל "מה יכולה רשת הנוירונים לעשות", השאלה אם אתה מדבר על רשת בתולה (יש לה פוטנציאל מגוון מאוד, אבל בינתיים היא לא יכולה לעשות כלום), או על רשת מאומנת (יכולה לעשות מצוין (לפעמים) משהו אחד מצומצם).

בכל הסוגים, יש סיכוי מסוים שרשת עם יותר נוירונים ביותר שכבות תצליח יותר טוב (אני מנחש שאין לזה הוכחה, כי לא יודעים להוכיח כלום ברשתות עצביות. אני מניח שבקירוב מסוים זה נכון, הסתברותית).

אני לא חושב שמישהו יודע לומר משהו אינטליגנטי על "רשתות שמחוברות זו לזו בעל-רשת".
תשע (מליון) בכיכר ביום שישי 698324
תודה.

אחרי ששלחת את השאלה עלתה במוחי המחשבה הטריביאלית שבעצם רשת אחת גדולה מכילה באופן אינהרנטי "הרבה רשתות שמחוברות ברשת-על" (פשוט ע"י איפוס הפרמטר של עוצמת הקשר בין הנוירונים מרשת אחת לאחרת) בכל רמה או בחלק מהן, כך שהשאלה שהעליתי אולי די מטופשת. עדיין יש לי הרבה שאלות בעניין, בעיקר בשאלות הקשר בין רשתות נוירונים לבין דפוס הפעולה של המוח (מערכת הראיה מן הסתם פועלת די דומה לר"נ, אבל כפי שציינת ייתכן שהמצב שונה לגמרי לגבי פעולות חישוביות אחרות) אבל חושבני שלא אטריד בכך את הציבור עד שלא אבין קצת יותר בעצמי, אם בכלל.

למעונינים, לדעתי סדרת הסרטונים שמתחילה כאן מהווה נקודת פתיחה טובה.

חקסמח.
תיקון 698326
צ"ל: "אחרי ששלחתי את השאלה...".
תשע (מליון) בכיכר ביום שישי 698333
משפט ששמעתי משני מרצים שונים על רשתות עצביות, אבל אני לא יודע לנמק אותו לעומק, הוא שהקשר בינן לבין המוח האנושי הוא משהו שבהתחלה חשבו שקיים, או שהיה השראה עמומה, אבל היום אף אחד לא חושב ברצינות שזה דומה.
תשע (מליון) בכיכר ביום שישי 699823
אולי זה עומד להשתנות
תשע (מליון) בכיכר ביום שישי 698445
או, עוד מישהו שמכיר את הסרטונים של 3blue1brown! הבנאדם גאון פדגוגי-מתמטי. סידרת הסרטונים שלו על אלגברה לינארית פתחה לי כמה צ'קרות.
תשע (מליון) בכיכר ביום שישי 698447
באמת משובח!

ועכשיו אני סקרן לדעת - איך מכינים אנימציה שכזאת בתקציב סביר?
תשע (מליון) בכיכר ביום שישי 698450
הכל אצלו מתוכנת בפייתון (!), ואפשר להוריד את כל הקוד מ-github, לגמרי בחינם. הוא לא רק גאון אלא גם נשמה טובה (ואני גאה לתמוך בו ב-patreon).
תשע (מליון) בכיכר ביום שישי 698452
באמת יפה מאוד!
תשע (מליון) בכיכר ביום שישי 698325
למה אתה מתכוון בזה:

ײחשוב לשים לב שחלק מהמשימות שהמוח האנושי עושה לא ניתנות בקלות לרדוקציה לאחד משלושת סוגי הבעיות שרשתות עצביות יודעות עקרונית לעשות. אני לא מדבר אפילו על רגש או על תכלית, אלא למשל על הוכחת משפטים במתמטיקה, או משימות תכנות.ײ

קצת מוזר לי בהנתן שסוגים מסויימים של רשתות הן turing complete, אני מניח שהנקודה המעניינת היא ײבקלותײ. אתה יכול להרחיב?
תשע (מליון) בכיכר ביום שישי 698334
אני לא בטוח למה הכוונה ברשתות שהן טיורינג-שלמות. אם אתה רוצה תפרט, אבל בכל מקרה, אין לנו אלגוריתם להוכחת משפטים במתמטיקה או לתכנות ברמה שמתחילה אפילו לדגדג בני אדם (מומחים), אז מה עוזר אם רשת עצבית היא טיורינג-שלמה?

אני לא כל כך יודע מה מעניין בטענה שלי שהבעיות האלו לא ניתנות בקלות לרדוקציה לבעיית סיווג או דירוג או איפטום-המהלך-הבא או זיהוי תבניות בקלט. זו לא טענה מלומדת. אם למישהו יש רעיון איך לעשות רדוקציה כזו, או קישור למחקרים שעשו זאת, זה יהיה מעניין.

הוספתי "בקלות" כי אם מתעלמים מבעיות סיבוכיות או רמות אבסטרקציה אז זה קל. רוצה תוכנית שמסדרת רשימת מספרים, או תוכנית למשחק אנגרי בירדז? קל מאוד כבעיית סיווג: ייצר הרבה תוכניות אקראיות (או אפילו בצורה חצי-אינטליגנטית עם היורוסטיקות), תן למתכנת (או לקוד מחשב שאינו רשת עצבית) לסווג אותן ל"תוכנת אנגרי בירדז"/"לא תוכנת אנגרי בירדז". מצא פרמטרים רלוונטיים‏1 והזן לתוכנת רשת עצבית. אמן את הרשת העצבית, וכשהיא מוכנה הזן לתוכה עוד יותר הרבה תוכניות אקראיות. ברגע שהיא תודיע על אחת מהן "אה, זו בהסתברות גבוהה תוכנת אנגרי בירדז", עצור. הנה קיבלנו מערכת מחשב שעיקרה רשת עצבית והיא מתכנתת אנגרי בירדז (בסבירות גבוהה).

1 מה הבעיה למצוא פרמטרים רלוונטיים? כזכור, אני מתעלם מבעיות סיבוכיות או רמות אבסטרקציה, אז לצורך העניין נתייחס לקוד המחשב בקלט כמחרוזת של תווים. הפרמטרים הרלוונטיים הם (1) התו הראשון במחרוזת, (2) התו השני במחרוזת, (3)...
כן, אני יכול לחשוב בעצמי על האופטימיזציה המופלאה של להתייחס ל-tokens בשפת התכנות במקום לתווים.

אוקיי, "רדוקציה בקלות" היא לא המילה הכי מתאימה כאן. מה שאנחנו רוצים הוא "רדוקציה סבירה", בלי לרדת יותר מדי רמות אבסרטקציה ולעלות יותר מדי סדרי גודל ברמת הפירוט.
תשע (מליון) בכיכר ביום שישי 698337
אוקי, תודה על התשובה.

אני חושב שצריך לדייק במשפט ײאין לנו אלגוריתם להוכחת משפטים במתמטיקה או לתכנות ברמה שמתחילה אפילו לדגדג.. ײ. אם מדובר על אלגוריתם שיכול להוכיח כל משפט, או לתכנת כל דבר - זה משהו שגובל בבינה כללית, לא? (בלשון המעטה. זה קשה גם למומחים אנושיים). ברור שאנחנו רחוקים מזה.

אבל אם מדובר בהוכחת משפטים ספציפיים במתמטיקה, זה דווקא תחום מאד וותיק במדעי המחשב ועם הישגים (כלומר, הצליח להוכיח משפטים שבני אדם לא הצליחו). לגבי הקשר של רשתות עצביות לתחום: אני משאיר כאן קישור למאמר שהכותרת שלו היא Deep network guided proof search.

לגבי תכנות.. תחשוב על האלגוריתם שמאמן רשתות ניורונים. זוהי משימת תכנות פרופר (לייצר קוד שמסווג משהו). רק כאן, דווקא המומחה האנושי לא מדגדג את ההישגים של הרובוט המאמן.

בהקשר לײאפטמום המהלך הבאײ - אם אני חושב על machine learning ועל תת התחום supervised learning - הוא נשמע לי כמו בעיית אופטימזציה קלאסית. יש לך אוסף כלים כלשהו (לוח וגיר, דוגמאות אימון, פרמטרים של רשת הניורונים, מה שתרצה) ובעזרתם אתה צריך לגרום לתלמיד לקבל ציון כמה שיותר טוב - ותוך זמן סביר. כלומר אתה צריך לבחור בתבונה מה הכלי הבא אותו אתה מפעיל. דווקא נשמע לי מתבקש להשתמש ברשת נירונים כדי לתכנת (כלומר לאמן) תוכנות אחרות.
תשע (מליון) בכיכר ביום שישי 698340
אפטום המהלך הבא הוא אחד מסוגי הבעיות שהתחייסתי אליהן כבעיות מתאימות לרשת נוירונים.
תשע (מליון) בכיכר ביום שישי 698341
אבל התייחסת לתכנות כאל בעיה בלתי מתאימה.
הראיתי איך היא כן - אפשר להשתמש ברשתות ל supervised learning
תשע (מליון) בכיכר ביום שישי 698353
אז לא הבנתי את כוונתך, ואני עדיין לא. "עבודה של מתכנת" היא (לצורך העניין) קבלת מפרט לתוכנה בשפה אנושית, והפקת קוד מחשב שיבצע את המפרט. האם אתה יכול להראות איך מגיעים באמצעות למידה מפוקחת לרשת נוירונים שתעשה את זה?
תשע (מליון) בכיכר ביום שישי 698357
''מפרט לתוכנה בשפה אנושית'' הוא להבנתי בעיית בינה כללית.
''מפרט למסווג שיודע לזהות הונאות כרטיס אשראי בהתבסס על אוסף דוגמאות'' הוא בעיני גם בעיה תכנות, רק בעייה ספציפית שבעבר העסיקה מתכנתים אנושיים. וכאן יש אלגוריתם שמשאיר אבק למתכנתים אנושיים.
תשע (מליון) בכיכר ביום שישי 698359
אוקיי, ברור. כשכתבתי ''משימות תכנות לא ניתנות בקלות לרדוקציה לאחד משלושת סוגי הבעיות שרשתות עצביות יודעות עקרונית לעשות.'' לא התכוונתי שאף משימת תכנות אינה ניתנת וגו' - הרי כל רשת עצבית פותרת משהו שאפשר היה לממש (פחות טוב) כמשימת תכנות קלאסית. התכוונתי שמגוון משימות התכנות שמתכנת אנושי ממוצע יכול לעשות לא ניתן וגו'.
תשע (מליון) בכיכר ביום שישי 699786
הרעיון שגם תהליך הלמידה של הרשת לא מחייב התערבות אנושית נשמע לי מגניב בהחלט. אני מתאר לעצמי שבלב הבא יוותרו על השתתפות אנושית גם בנסיעות עצמן. מכוניות אוטונומיות ללא נהג ונוסעים ישוטטו להן בדרכים בשעה שאנחנו נתפנה לדברים חשובים יותר כמו שיגור תגובות לאייל.
תשע (מליון) בכיכר ביום שישי 699798
רעיון נחמד, אבל מי ישלם על הדלק?
תשע (מליון) בכיכר ביום שישי 699805
אח, אתה בטח זוכר שלאפרים קישון זכות יוצרים על רעיון דומה. קומביין שחורש, זורע, קוצר, טוחן, אופה ואוכל.
תשע (מליון) בכיכר ביום שישי 699820
בארור.

יותר קרוב לנושא שלנו, כשהוא שמע שיש מחשבים שמשחקים שח הוא אמר שהוא יקנה שניים שישחקו זה עם זה והוא יוכל ללכת לראות סרט. ברוח הדברים, פעם הדפסנו חומר כל כך סודי שהצענו לחבר את המדפסת ישירות למגרסה (קישון הציע שילוב של עיפרון ומחק לקבלת תוצאה דומה עבור מסמכים ידניים).
תשע (מליון) בכיכר ביום שישי 699825
ברוח הימים האחרונים, צריך לפתח מכונה שמוחקת את זכרונם של אנשים מסוימים מיד כשהם שומעים חומרים סודיים ביותר.
בעצם, אולי זה כבר בפיתוח, כרגע נראה רק שהמכונה מוחקת תפקודים מוחיים אחרים ולאו דוקא את הזכרון.
תשע (מליון) בכיכר ביום שישי 698284
(מצטרף לדיון במקום אקראי)

בלי להמעיט מהחשיבות ומהפוטנציאל של למידה עמוקה, יש פה אולי עוד שותפים לסנטימנט שלי, שרשתות נוירונים הן אובייקט מתמטי משעמם ומגושם?
תשע (מליון) בכיכר ביום שישי 698286
א. כן, יש.
ב. יש כאלה שמנסים בכל זאת למצוא את התיאוריה המתימטית האסתטית יותר שעומדת מאחורי ערימת החוטים המשעממת ומגושמת - ראה למשל ההרצאה הזאת של מיקי אלעד שמנסה לקשר רשתות נוירונים עמוקות לייצוגים ספארסיים‏1 של תמונות.
ההרצאה מומלצת גם כי היא שוטפת ומעניינת והמרצה עושה מלאכתו נאמנה, אבל אני מזהיר מראש (אחרים, לא את יובל כמובן) שבניגוד לקישור אחר ששמתי כאן, היא הופכת לטכנית די מהר ומכפילה מטריצות ווקטורים על ימין ועל שמאל‏2.

1 אשמח למילה עברית טובה יותר בשביל Sparse.
2 הכנס בדיחה אולטרה-גיקית על מתי זה מותר כי מרחבים דואליים, קו-וקטורים ובלה בלה בלה.
תשע (מליון) בכיכר ביום שישי 698288
תודה, אצפה בהרצאה הזו מאוחר יותר.

התרגום המקובל ל-sparse בהקשר של מטריצות הוא "דליל", אבל אולי כאן יותר יתאים "חסכוני".
תשע (מליון) בכיכר ביום שישי 698291
קרוב לודאי שאתה טועה בגדול. רשתות עצביות הן נושא מרתק ומהפכני שטומן בחובו מתמטיקה מרגשת וחדשנית. מי ששם לעצמו יעד של להגיע להבנה מעמיקה של התחום, יגלה שיש כאן נושא מורכב וקשה מאד שלפחות בעבר רב היה בו הנסתר על הנגלה.
הבעייה הכמעט יחידה של התחום בעבר (נניח לפני חילופי האלף), היו ההישגים והביצועים המאכזבים ממש. אומרים לי כאן שהתמונה השתנתה ומשתנה בימים אלו ממש.
אומרים לי שהתשובה טמונה ב"העמקת" הרשתות. לי הדבר היחיד שזה אומר, זה הגברת הסיכוי ל- overfitting. אבל מן הסתם אני טועה. השכבות הנוספות של הרשתות יכולות לגלם בתוכן אלגוריתמים מתמטיים ופיזיקליים חזקים המסייעים לפיתרון הבעיות. אשרי המאמין.
ההרצאה שממליצים עליה כאן אולי תוכל לעזור. בכל מקרה גם בעבר הלא כל כך אופטימי של התחום, אף אחד לא טען שמדובר בנושא משעמם וחסר פוטנציאל.
תשע (מליון) בכיכר ביום שישי 698295
יכול להיות שאני מזדהה, אבל האם זה משמעמם ומגושם באופן שונה ממערכות לפתרון נומרי של משוואות?
תשע (מליון) בכיכר ביום שישי 698322
בהסתייגות שאני לא מבין גדול ברשתות נוירונים או באנליזה נומרית (אבל בכל זאת מבין משהו), אז כן - רשתות נוירונים נראות לי יותר משעממות מהזווית המתמטית, כי למיטב ידיעתי כיום, בפועל, הן בעיקר אוסף של יוריסטיקות. אשמח להתבדות אחרי שאצפה בעיון בהרצאה של מיקי אלעד.
תשע (מליון) בכיכר ביום שישי 698335
למה אתה מתכוון? כארכיטקטורה כוללת, רשתות עצביות הן מנומקות היטב מבחינה מתמטית, להבנתי - כלומר, מובן היטב ברמה מתמטית למה תהליך האימון של רשת עצבית מעלה את ההסתברות שלה לסווג נכון, וזה אפילו לא לגמרי טריוויאלי אם כי גם לא מאוד מסובך, כך שאני מניח שאפשר לראות פה יופי.

הבחירה של אבני הבניין לרשת (איזו פוקנציה בכל נוריון, ועוד כמה פרמטרים כאלה) היא באמת אוסף היוריסטיקות לא מנומקות. במובן הזה אני מסכים, זה מכוער.
תשע (מליון) בכיכר ביום שישי 698451
זה לא רק הבחירה של אבני הבניין, אלא גם השימוש ב-gradient descent (סטוכסטי או לא) בתור שיטת האופטימיזציה בלב תהליך הלמידה. זאת אחת היוריסטיקות היותר מבאסות, לטעמי.
תשע (מליון) בכיכר ביום שישי 698296
בלי להמעיט מהחשיבות ומהפוטנציאל של למידה עמוקה, יש פה אולי עוד שותפים לסנטימנט שלי, שהכנת רשת עצבית היא משימה תכנותית (במובן רחב של "תכנותית") משעממת ומכוערת?

עדיין לא עשיתי את זה ממש. הייתי לאחרונה בסדנה שנתנה טעימה מזה, ונורא לא בא לי לעשות את זה ממש.
(אני יכול לפרט יותר אם זה מעניין מישהו.)
תשע (מליון) בכיכר ביום שישי 698299
עד כמה שאני מבין אתה כבר מזמן לא מתכנת את הרשת שלך לבד, בכמה רמות:

א. אף אחד כבר לא מתכנת נוירונים, קישורים לנוירונים אחרים, ואת המתימטיקה עצמה של קידום קדימה ואחורה של הרשת כדי לשנות את ערכי הקשרים. אתה משתמש בחבילות תוכנה מוכנות (Tensorflow של גוגל כדוגמה אופיינית) שאתה מספר להן כמה שכבות יש לרשת, בוחר פונקציות הפסד (loss functions) ידועות, מספר להם איפה יושבות תמונות האימון והתיוג שלהן שלך על המחשב, ומכאן אתה כמעט במרחק לחיצת כפתור מלגרום לרשת לרוץ בעצמה ולהתאמן על המידע שנתת, עד לקבלת רשת שעובדת בדיוק מסוים.

ב. רמה למעלה - אפילו על סעיף א' כבר הרבה מדלגים. אתה רוצה רשת לזיהוי לטאות ירוקות עם קרניים בתמונות? אתה לוקח רשת *מוכנה* מהאינטרנט, רצוי זו שהיא מדינת-האמנות בתחום של זיהוי אובייקטים בתמונה בשנה האחרונה. עכשיו אתה לא נוגע בה, אלא רק מאמן את השכבה האחרונה שלה (טוב, אולי כמה כאלה) על תמונות הלטאות הירוקות שלך. קוראים לזה transfer learning וכבר הגיגול הקצר הזה מראה לך כמה הפרקטיקה הזאת פופולרית‏0.

ג. אכן, ברמה מסוימת זו משימה הנדסית ולא תיאורטית, כפי שהיא מיושמת ברוב החברות היום.

ד. מה, ולכתוב עוד פעם איזה אוביקט סי-פלוס-פלוסי‏1 עם כל פונקציות הגישה והפעולות עליו זו לא משימה תכנותית משעממת ומכוערת? הרשה לי לגחך‏2.

0 על קצה המזלג - ההנחה המובלעת היא שכשהרשת המקורית למדה על זיליון תמונות מבסיסי הנתונים הידועים, המידע שטמון ברוב השכבות הראשונות שלה הוא בעיקר איך לפרק תמונות לחלקים/תכונות שטובים עבור סיווג עצמים כאלה ואחרים. משזה נעשה, עכשיו רק צריך לבחור בסוף אילו תכונות כאלה מאפיינות תמונות של לטאות ירוקות ולא של כרובים סגולים.
1 השפה שכיעור ושעמום הם מעמודי התווך שלה, על פי דעתי הלא מלומדה.
2 לפחפח בשפה העכשווית.
תשע (מליון) בכיכר ביום שישי 698311
לך יצא לעשות במו ידיך משימה של אימון רשת עצבית, אבל לא תרגיל מוכן אלא באמת משימה שלא נעשתה קודם?

מי שקורא את א' ו-ב' שלך יכול לתהות למה עדיין מהנדסי תוכנה מבריקים עובדים על רשתות עצביות - ואני לא מדבר על שיפור הארכיטקורה של הכלים, אלא על בעיות סיווג נתונות, עם קלטים נתונים. מהנדסים מבריקים עובדים עליהן קשה ולא תמיד מצליחים.

ממה שאני הבנתי (כאמור לא מנסיון יד ראשונה, אבל זה מה שאמרו במפורש אנשים שעשו את זה כמה וכמה פעמים), במשימה כזו העבודה היא ניסוי וטעייה עם פרמטרים שונים, ניקוי והתאמה של הקלטים, ואם התוצאות לא טובות, שבירת הראש מה לא עבד ואם זה משהו שקל לתקן, או שפשוט הקלטים שלך לא מספיק טובים, ואולי אתה דווקא צריך לנסות את הקומבינציה ההיא של הפרמטרים שעדיין לא ניסית. כמו כן, "הצלחה" או "אי הצלחה" הם לא חד משמעיים - גם כשיש לך הצלחה מסוימת, ואפילו רבה, אתה יכול לנסות לשפר עוד ועוד, אבל זה כל הזמן בניסוי וטעייה. הניסיון נותן לך קצת היורסטיקות מה לנסות, והמנהל אולי אומר לך מתי להפסיק, אבל תשובות חד משמעיות אין.

משימה תכנותית מהסוג שכיף לי היא "תממש פונקציונליות כזו וכזו". ואז אתה כותב קוד שאמור לפתור את זה, וכמו במקרה של הרשת העצבית הוא לא מיד עובד נכון. אבל אתה יודע שזה אפשרי, ושזה בידיך; אתה יודע שתצליח בסוף. כשיש בעיה יש לך כלים להתמקד עליה, ולהתקדם באופן שאתה יכול להיות בטוח שאתה מתקדם. וכשאתה מצליח, אתה יודע חד משמעית שהצלחת. באמת יש מידה רבה של חזרה על אותן בעיות בכל משימה, אבל לי זה כיף.

ברור לי לחלוטין למה אנשים מסוימים מעדיפים את סוג המשימה של לימוד רשת עצבית. אולי אפשר לומר שתכנות אולד-סקול כמו שאני אוהב זה לחלשים. אותי הסוג האחדש מרתיע. לגמרי עניין של טעם.

אגב, יכול להיות שתוך שנים מעטות אופי העבודה עם רשתות עצביות ישתנה - האתגרים שציינתי מריחים כמו בעיות שעוד קצת שפשוף של הטכנולוגיה אולי יעלים אותן. אני מחכה, בתקווה שגם כך נותרו לי עדיין כמה חודשי רלוונטיות...
תשע (מליון) בכיכר ביום שישי 698292
אני לא ממש מתמצא בנושאים האלה, אבל בגדול אני חושב שהצלחה בפתרון בעיה אחת לא בהכרח מוכיחה שתהיה הצלחה גם בבעיה אחרת. כל בעיה היא בעיה.
אגב, נושא ההבחנה בין איש לאישה לפי הפרצוף עלה על דעתי כנימוק בוויכוח עם אותו חבר, כדי להראות שלא כל מה שקל לאדם קל למכונה‏1. חשבתי אז שלו היו מטילים עלי לפתור בעיה כזאת לא הייתי יודע מניין להתחיל ולכן הבאתי את הדוגמה הזאת. לא תיארתי לעצמי שמישהו יחשוב שפתרון הבעיה הזאת הוא כל כך חשוב ששווה להשקיע בו, והוא אף ייעשה זאת ואפילו יצליח. לעומת זה ההבחנה הפתולוגית נראית לי ממש חשובה, ואם תהיה הצלחה בה היא תביא להקלת נטל עצום ולחסכון כלכלי אדיר.

1 שהתקיים, אגב, לא לפני כשלוש שנים, כשהחבר עסק בכך, אלא לא מזמן.
תשע (מליון) בכיכר ביום שישי 698280
עשרים הדקות הראשונות של ההרצאה הזאת למשל נותנות מבוא קל לצפייה שבין השאר מסביר מה מיוחד בשלוש השנים האחרונות.
תשע (מליון) בכיכר ביום שישי 699824
לפי המחקר הזה שילוב של בני אדם עם מערכות ממוחשבות נותן תוצאות אופטימליות. ציטוט: "Combining our deep learning system's predictions with the human pathologist's diagnoses increased the pathologist's AUC to 0.995, representing an approximately 85 percent reduction in human error rate". כלומר נחסכו לא פחות מ- 85% מטעויות אנוש שהרופאים עשו!

כאשר הניסוי הזה נערך ביצועי המערכת הממוחשבת לבדה היו נחותים בהשוואה לרופאים (7.5% שגיאות לעומת 3.5% שגיאות רופאים) אבל לפי כתבה ב CNBC לאחר שהמערכת הממוחשבת המשיכה ללמוד היא הצליחה להשיג תוצאות טובות יותר מהרופאים!

אם הייתי סטודנט לרפואה, לא הייתי בוחר פתולוגיה בתור ההתמחות שלי.
תשע (מליון) בכיכר ביום שישי 698277
לאחרונה אלגוריתם שפותח בגוגל מצליח לאבחן פגיעות ברשתית כתוצאה מסכרת טוב יותר מרופא עיניים מומחה.
יתירה מזאת, כשנתנו לרשת לומדת מספיק תמונות רשתית, הן הצליחו ללמוד מהן נתונים כמו לחץ דם, גיל, מגדר ונטייה למחלות שונות שלרופא העיניים לא היה מושג בכלל שהם מקודדים ברשתית.
תשע (מליון) בכיכר ביום שישי 698283
וזה מה שנקרא רפלקסולוגיה דיגיטלית.
רפלקסולוגיה בלי הכיף 698285
רק חסר פה המסאז' לרשתית אחרי האבחון.
תשע (מליון) בכיכר ביום שישי 698276
אז אתה יכול להסיר את הספק - מחשב ברמת הסמארטפון שלך מסוגל היום לזהות גבר/אישה מתמונה בכמעט מאה אחוזי הצלחה.
תשע (מליון) בכיכר ביום שישי 698240
רק אני רוצה להוסיף על מה שהפונז כתב.

כל הדברים האלו.. אינטואציה, להרגיש את הכביש, להבין למה הכניסה מותרת - דברים נהדרים. אבל זה לא בדיוק מה שבני אדם (בד"כ) צריכים מאמצעי תחבורה. נכון, לפעמים אנחנו נוהגים רק בשביל הכיף. אבל ברוב המקרים אנחנו רוצים שאמצעי התחבורה יקח אותנו מנק' A לנק' B מהר ובבטחה‏1.

תחשוב על מעלית.. לא מעניין אותך שהיא "מבינה" מה זה קומה 3 או "מרגישה" את זה שהיא עולה. כל מה שאתה צריך זה להגיע לקומה 3 בלי תאונות... אגב, במעליות עתיקות, הנוסע היה צריך ללחוץ על ידית שמזיזה את המעלית ו"להבין" בעזרת האינטואציה שלו שהוא הגיע לקומה הנכונה ואז "להרגיש" מה הנקודה המדוייקת שבה צריך לשחרר את הידית כדי שהמעלית תעצור בדיוק ברגע הנכון. היום זה נראה לנו מגוחך.

בקיצור זה בסה"כ בעיה של עיבוד מידע - לקלוט מידע מסנסור (הכפתור שלחצת עליו והמיקום הנוכחי של מעלית) ולפלוט מידע אחר (האם צריך להניע את המעלית ובאיזה כיוון). אז נכון, מעלית היא פשוטה בהרבה ממכונית, אבל העקרון דומה מאד. גם מכונית צריכה לתרגם מידע מסנסורים לפלט של פעולות (האטה, האצה, פניה וכו'). זו בעיה שאין שום מניעה שמחשב יפתור. ואגב, יש מחקר שאומר ש מכוניות אוטונמיות כבר הגיעו לרמה של נהג אנושי . ואם עדיין לא, אז זה רק עניין של זמן.

-----
1 קרדיט קצר: יובל נוח הררי כתב דברים דומים בספר "ההיסטוריה של המחר".
תשע (מליון) בכיכר ביום שישי 698242
גם כדי להגיע מנקודה A לנקודה B דרושה אינטואיציה והרגשת הכביש, אם אני לא ארגיש את הכביש אני אעשה תאונה ולא אגיע לנקודה B. אי אפשר לנהוג בלי להרגיש את הכביש. השאלה היא האם אפשר ללמד מחשב להרגיש את הכביש - האם מדובר בסך הכל במיליון שכבות של "אם X אז Y", או מדובר במשהו אחר.

הררי כתב את הדברים בהתייחס לשאלה לשם מה בכלל התפתחה תודעה. הרי אנחנו רואים שמכונות יכולות לבצע משימות מורכבות גם מבלי לפחד מכישלון, מבלי לסבול כאב במקרה של פגיעה, ומבלי להיות מאושרות במקרה של הצלחה - הם פשוט מבצעות את הפעולה כי כך תוכנתו, למה אנחנו לא פועלים כך? לשם מה כל הסרח העודף הזה של תודעה, תחושות, רגשות? אבל שים לב - אני טוען שעל הכביש, הבעייתי הוא שילוב של אנושי עם ממוחשב. אם כל הכביש היה מלא במכוניות ממוחשבות אני די בטוח שהמצב היה טוב בהרבה ממה שהוא עכשיו.
תשע (מליון) בכיכר ביום שישי 698248
"גם כדי להגיע מנקודה A לנקודה B דרושה אינטואיציה והרגשת כביש.."

ויש במשפט הזה כמה בעיות.

1. אמרת ואני מצטט: "אינטואיציה זה משהו שכמעט בלתי אפשרי להסביר במילים" וזה נשמע לי חשוד. בדיוק כמו מישהו שיגיד לי שנשים לא יכולות לנהוג כי הן קלות דעת. אבל בעצם אני לא יכול לספר לך מה זה קלות דעות, הן פשוט ככה וזהו ומישהו קל דעת לא יכול לנהוג - ולכן נשים לא יכולות לנהוג.
2. זה כשל לוגי - אם X יודע לעשות משהו, ול X יש תכונה מסויימת, זה לא אומר שכדי לעשות את אותו משהו חייבים את התכונה הזו. אם יש רק גברים טייסים, זה לא אומר שכדי להטיס מטוס מנקודה A לנקודה B אתה חייב להתגלח פעם ביום, נכון? מצד שני זאת הכללה שסביר לעשות אם אתה לא מכיר מחשבים ומה הם מסוגלים לעשות. כלומר, מי שחיי בשנות ה-‏50 לא יכול לדמיין שאי פעם שמכונת חישוב אלקטרונית תדע לכתוב מוזיקה או לנצח את אלוף העולם בפוקר.

אבל (וזו הנקודה העיקרית שלי) לאור המציאות אתה חייב לחשב מסלול מחדש. הרי מחשבים כל הזמן עושים עוד ועוד דברים שבעבר רק בני אדם עשו - והם עושים את זה טוב יותר (במבחן התוצאה).
-פעם לא חשבו שמחשבים יכולים לנצח את אלוף העולם בשח, כי אין להם אינטואיציה. זה כבר ממזמן לא נכון.
-פעם חשבו שמחשב לא יכול לנצח אלוף אנושי בטורניר פוקר - כי הוא לא יודע לקרוא את היריב שלו. גם זה כבר לא נכון.
-פעם חשבו שמחשב לא יכול לזהות פנים אנושיות. היום מחשבים עושים את זה יותר טוב מבני אדם (לפרטים, הסתכל ב Google Photos)
-פעם חשבו שמחשבים לא יכולים לנהוג במכונית, בטח לא בעיר, בטח לא עם נהגים והולכי רגל אנושיים בסביבה. אבל גם זה כבר לא נכון, ובמבחן התוצאה (כמות התאונות פר קילומטר) - נראה שהם כבר מתקרבים לרמה של הנהג האנושי הממוצע ואפילו עוברים אותה. פרטים בלינק הקודם שלי.

בקיצור לאור המציאות הזו, המשפט "גם כדי להגיע מנקודה A לנקודה B דרושה אינטואציה.." נשמע כמו אמירה עתיקה, משהו שכבר ממזמן לא רלוונטי.
המחשב אשם 698256
יש כאן רק נקודה אחת שחשובה לי: האם בעלי המחשב האנושיים יכול להבין מספיק טוב את התנהגות המחשב כדי לקבל אחריות על מעשיו?

אחריות:
* התחייבות לתת שירות
* פיצויים ואחריות פלילית במקרה הגרוע

ברור לי שמי שמשקיעים כאן כסף חושבים שהתשובה חיובית. לא לגמרי ברור לי איך.
המחשב אשם 698259
הרשה לי לחלוק עליך על ההנחה שהנהלת החברה מתיימרת להבין את הנהגים שעובדים אצלה, אנושיים או לא אנושיים. מה שמעניין אותה זה סטטיסטיקה. מספיק שנהג ממוחשב יהיה קצת יותר טוב (בממוצע) מנהג אנושי, כדי שישתלם מאד מאד לכל חברה מוניות או אוטובוסים להחליף את כל הנהגים האנושיים שלה. הרי נהגים ממוחשבים הם זולים בהרבה.

ואגב.. בחברות התעופה הגדולות, כבר במשך שנים חלק גדול מזמן הטיסה מתבצע עײי טייס אוטומטי. והוא כבר עשה תאונות.. עדיין הן לוקחות אחריות על תאונות כאלו.
המחשב אשם 698260
מתנצל על העברית הקלוקלת..
המחשב אשם 698261
אתה מניח משום מה שסטטיסטיקה זה רק הממוצע. אם 99% מהרובוטים הם נהגים יעילים אבל האחוז הנותר מדי פעם מתבלבל באופן מוזר, תקבל הרבה נוסעים לא מרוצים.

כאמור, לטייס אוטומטי יש משימה פשוטה בהרבה מזו של נהג, מכיוון שהוא לא צריך לבחור לעצמו נתיב (הוא לא צריך להחליט איך מגיעים מ־A ל־B). הוא צריך לשמור על הנתיב שנבחר. והטייס האוטומטי אינו רשת נוירונים. לא זכור לי ששמעתי על תאונת טיסה שנגרמה בגלל שמחשב הטיסה טעה. זכור לי במעומעם מקרה של תקלה בנושאת מטוסים בגלל המחשב המרכזי.
המחשב אשם 698263
בסדר, אז אחוז אחד מהרובוטים מתבלבלים באופן מוזר. השאלה היא איך משווים את זה לאחוז הנהגים האנושיים המתבלבלים. הפתעה: גם אנשים עושים טעויות.

דרך פשוטה להשוות היא לעשות סוג של ממוצע, לא? כי זה לא תלוי בכמות הרובוטים או בהתפלגות התאונות בינהם. באופן פשטני, מחשבים את כמות התאונות לקילומטר, ואז אם נהג אנושי עושה 5 תאונות למיליון קײמ בממוצע, ורובוט עושה 4, אז קל מאד לחברה לחשב כמה תאונות בשנה יהיה לה.. בקיצור ירידה של 20 אחוז בתאונות. אותו דבר אפשר לעשות לגבי כל מדד אחר של שביעות רצון: איחורים, אדיבות הנהג וכו וכו.

לגבי טייס אוטומטי: הוא כן כושל או טועה לפעמים, ואז הטייס אמור לנתק אותו ולעבור לטיסה ידנית. אבל אני מקבל את הנקודה שלך. אם אני מבין אותך, אתה אומר שרובוט נהג זה טכנולוגיה יותר מסוכנת, חדשה, לא מוכחת. יש טעויות והתבלבלויות שבכלל לא הספקנו להתקל בהם.

אבל גם טייס אוטומטי היה טכנולוגיה מסוכנת, חדשה, ולא מוכחת בעבר. אז באופן אנלוגי כבר אפשר לנחש שיהיה תהליך שבו יאסף עוד ועוד מידע ואז כמה אמיצים יאמצו את הטכנולוגיה (נניח מדינות פתוחות יותר לחידושים) ואז יגהצו את הבאגים החדשים שיתגלו והבטחון בה ילך ויגבר ובסופו של דבר כולם יקפצו על הקרון הזה.
המחשב אשם 698349
למה לקחת את זה לכיוון של חברת הסעות? היום, אני קונה פורד אסקורט ודורס מישהו בטעות - אני אשם, פורד לא קשורה לזה. אבל אם אני קונה את אותה פורד עם נהג אוטומטי והוא זה שדורס מישהו - אז החברה אשמה. זה סיכון די גדול עבור חברה למכור מיליוני רכבים ממונעים אוטומטית כשהיא האחראית הבלעדית לכל התאונות שיגרמו. זה שיעשו פחות תאונות מנהגים אנושיים זה לא מספיק טוב לחברה - יעשו פחות תאונות, אבל האחריות תהיה על החברה ולא על הנהגים.
המחשב אשם 698355
במה זה שונה מהסיכון שפורד לוקחת שכשל מכני יעלה בחיי אדם, וכבר היו דברים מעולם?
(עקרונית יש מקום לחשש שכשל מכני בסדרת יצור מסוימת יגרום לסדרת תאונות לפני שיספיקו להבין מה קורה ולקרקע את הצי.)
המחשב אשם 698356
נקודה מעניינת, רק שבפעול הרבה מאד חברות רכב משקיעות ברכב אוטונומי: http://www.businessinsider.com/the-companies-most-li...

אני מניח שהסיכון שתפשוט רגל, כי פשוט יפסיקו לקנות את הרכבים שלך, הוא הרבה יותר גדול מהסיכון שאתה מציין. ולגבי המימון של נזקי אותן תאונות שעדיין יתרחשו - בשביל זה יש ביטוח חובה (כלומר אני לא יודע אם זה קו המחשבה של חברות הרכב.. אני רק מנחש). רק מה, חברות הרכב לא פריאריות, הן יגלמו את עלות ביטוח החובה במחיר הרכב. חשבון קצר מראה שזה ייקר את הרכב האוטונומי ב 10000 ש"ח לכל היותר, וגם את הסכום הזה אפשר להקטין משמעותית (פרטים למטה). מכיוון שרכב אוטומטי עושה פחות תאונות, גם הביטוח המקיף יהיה זול יותר. וזה איזשהו גזר קטן שהלקוח מקבל בתמורה לזה שהוא קונה רכב יותר יקר.

---

בדקתי עלות ביטוח חובה של פורד 2018 (אתה אמרת פורד..). ניסיתי למלא את הטופס בתור "נהג אוטומטי". נתקלתי בקושי קל כי בטופס ביקשו ממני להצהיר אם הנהג הוא זכר או נקבה, ולא ידעתי איך בדיוק מציצים למחשב בתוך התחתונים. קושי נוסף היה לרשום בן כמה הנהג ואיפה הוא גר. לפחות הסעיף "האם היו לך תביעות קודמות" היה פשוט. בסופו של דבר, קיבלתי הצעות של 900 עד 1000 ש"ח. נתעלם שניה מהעובדה שחברת פורד יכולה לקבל הנחה גדולה בהשוואה ללקוח פרטי - אז העלות של הביטוח מבחינת פורד הוא כ 1000 ש"ח לשנה. אם פורד מפסיקה לקחת אחריות על רכב אוטונומי אחרי 10 שנים (נשמע לי זמן מוגזם. הרי על מנוע היא נותנת פחות אחריות. אבל נניח) אז 10*1000 = 10000 ש"ח פר רכב.
עוד דרכים להקטין את הסכום הזה:
1. פורד בכלל לא צריכה לממן את חברות הביטוח. היא יכולה לשלם את נזקי התאונה מכיסה ולחסוך עמלות. ובניגוד לחברות הביטוח - היא לא צריכה שהנהגים האוטומטיים שלה יממנו את כל הנהגים האנושיים הגרועים.
2. בניגוד לנהג אנושי, פורד יכולה לשדרג את הנהג האוטומטי בכל פעם שהרכב מבקר במוסך (יתרה מכך, הרכב יבקר במוסך בעצמו. לא צריך לסמוך על אנשים עצלנים). זאת אומרת שבכל שנה כל הנהגים האוטומטיים של פורד עושים פחות תאונות - לפיכך עלות הביטח גם היא תקטן משנה לשנה.
המחשב אשם 698358
הביטוחים בישראל נמוכים משמעותית יחסית לעולם, והשוק הישראלי הוא לא גדול מספיק על מנת להשפיע על שוק היצרנים... עלות הביטוח לרכב ממוצע בארה"ב הוא 1,700$ (מקור) בעשר שנים זה יוצא 17,000 דולר, שזה, במקרה אוט שלא במקרה, כמעט המחיר של פורד פוקוס חדשה (מקור).
המחשב אשם 698369
מעניין, אבל במחשבה שנייה מה זה משנה. תחשוב שאתה אבא ואתה קונה רכב לבת שלך. או שאתה משלם 1700 דולר לשנה למישהו, והבת שלך נוהגת. או שאתה משלם 1400 דולר לשנה (סתם הערכה) למישהו אחר (פורד) והמחשב נוהג והוא גם נוהג בטוח יותר מהבת שלך כי היא נהגת חדשה.
חסכון נטו של 300 דולר, מבלי להתייחס לחסכון על ביטוח מקיף.
השאלה אם אתה משלם את הכסף מראש או פר שנה היא לא מעניינת, הרי גם היום אתה יכול לשלם על מכונית מקדמה קטנה ואז תשלום חודשי.
המחשב אשם 698370
נראה לי שאתה צודק.
תשע (מליון) בכיכר ביום שישי 698244
אבל יש לפחות שלב ביניים שבו חלק מההגדרה של „להגיע מנקודה A לנקודה B מהר ובבטחה״ זה גם לנסוע באותה דרך עם נהגים אנושיים.

ואם כבר מעליות: לשם השוואה: יש כיום נהגים ברכבות (וזה תמוה בעיני).
תשע (מליון) בכיכר ביום שישי 698245
בפריז יש קו מטרו ללא נהג.
תשע (מליון) בכיכר ביום שישי 698230
שלא לדבר על משה פלתיאל וערן.
תשע (מליון) בכיכר ביום שישי 698231
אל תקלקל לי את האבטיח!
מותר האדם 698226
''החוק היבש'' אומר שאם הכיכר פקוקה הנוסעים בכיכר צריכים להתחשב במי שרוצים להיכנס לכיכר (כמו בכל כביש פקוק אחר).
היו בעיות לפני התאונה 698213
האם הפרוייקט היה בעייתי עוד לפני התאונה? בהשוואה ל- Waymo, הרכב האוטונומי של גוגל שטענה שנדרשה התערבות של נהג רק אחרי 9000 ק"מ של נסיעות מבחן, הרכב של אובר בקושי עמד ביעד של התערבות נהג כל 20 ק"מ. ג'נרל מוטורס דיווחה שבמכונית האוטונומית שלה הנהג התערב כל 2000 ק"מ.
היו בעיות לפני התאונה 698215
נשמע שגם הרגלוטורים של אריזונה היו פזיזים, ודרשו מהיצרניות פחות או יותר כלום. אבל מהכתבה בני''ט משתמע שגם מדינות שדרשו יותר, סמכו על נתוני היצרניות, וזה נשמע לי בעייתי משהו. הייתי מצפה שלפני שיתנו לרכב אוטונומי לעלות על כביש אמיתי הוא יעבור נסיעות מבחן של הרגולטור.
היו בעיות לפני התאונה 698223
אילו הבקר האנושי היה עם עיניים על הכביש 100% מהזמן וידיים מרחפות מעל ההגה, ועוד בקר לצידו, כשהם מתחלפים מדי רבע שעה או משהו, כפי שאני מבין שהיו צריכים להתבצע הניסויים, לא היה בעצם צורך לסמוך על הרכב והניסויים היו מתבצעים בבטחה לפחות כאילו נהג אנושי נוהג.
אבל בחיים כמו בחיים.
היו בעיות לפני התאונה 698234
(בקר אנושי הוא זה שמי שהורג אותו הוא נאצי?)
היו בעיות לפני התאונה 698235
מי שנוסעים ברכבת בשעות העומס.
היו בעיות לפני התאונה 698236
אני לא יודע איך הניסויים מתוכננים אבל אני מניח שהמטרה היא לנסות רכב אוטונומי שיפעל בסביבה שבה רוב הרכבים האחרים הם עם נהג אנושי. סביר שהתכנון והניסויים של רכב אוטונומי שיפעל בסביבה של רוב או רוב מוחלט של רכבים אוטונומיים יהיו שונים לגמרי.
ועכשיו אנחנו מחכים 698237
לרובוט הראשון שיידרס ע''י מכונית אוטונומית.
ועכשיו אנחנו מחכים 698239
אני לא בטוח שהתנגשויות עם רמזורים נכנסות לסטטיסטיקה.
ועכשיו אנחנו מחכים 698246
אני לא בטוח שזה יהיה מעניננו (האנושיים), שיפתרו את הבעיות שלהם בעצמם.
ועכשיו אנחנו מחכים 698247
רובוטים הורגים רובוטים ומאשימים אנשים? שרובוטים יטפלו בזה.
רשתות נוירונים - AMA 698327
הדיון כאן מלא באי-דיוקים, שגיאות גסות ותפיסות שגויות בכל הקשור ל-"למידה עמוקה". דאנינג-קרוגר אול-ארונד :)

אני עוסק באינטנסיביות משתנה, אך ברציפות, ברשתות-נוירונים החל מבערך 2010. אני מכיר לא-רע גם את הזירה המחקרית וגם את זו המסחרית, גם את התאוריה וגם את הפרקטיקה. אתם מוזמנים לשאול אותי מה שבא לכם, ואשתדל לענות.

בינתיים, קצת היסטוריה ורקע: Deep Learning הוא המיתוג האחרון של נושא שראשיתו בשנות החמישים. במובן מסויים, לא המון השתנה מאז. ההישג הגדול והראוי לציון של השנים האחרונות הוא שלמידה ממוחשבת חזרה למקומה הטבעי: מתישהו לאורך הדרך התחום נגרר להיות "אלגוריתמים אדפטיביים לסטטיסטקאים", למרות שמראשיתו הוא נועד להיות "אלגוריתמים אדפטיביים לבינה מלאכותית".

לפי ההיסטוריוגרפיה המקובלת 50-60 השנה האחרונות מחולקות לשלוש תקופות (לפעמים מדברים על "שלושה גלים"): התקופה הראשונה מתחילה קצת לפני 1960 ומסתיימת קצת אחרי 1970, התחום מותג אז כ-"connectionism", והתמקד בעיקר בפרספטרונים (שהן מעין "רשתות" של נוירון אחד). המודל החישובי עצמו של הפרספטרון הומצא עוד הרבה לפני כן, ב-‏1943 (McCulloch–Pitts neuron). בערך מהיום הראשון כבר ידעו לומר שכמודל-חישובי רשתות נוירונים הן Turing-complete, אך רק ב-‏1958 התחילו לצוץ אלגוריתמי למידה עבורו. התחום יצא מהאופנה בתחילת שנות השבעים, מסיבות לא לגמרי ברורות. האגדה האורבנית מספרת שהגורם המרכזי לכך הוא הספר perceptrons שיצא לאור ב-‏1969 ועסק רבות במגבלותיהן של ארכיטקטורות מסויימות. לרוב מציינים את הוכחתו לכך שרשתות של נוירונים לינארים אינן יכולות לייצג אפילו פונקציות פשוטות כמו xor כגורם שדיכא את המוטיבציה לכולם. לי קשה להאמין בכך, כי (א) דא! ו-(ב) כאמור, באותו זמן כבר ידעו כמה עשורים שרשתות פשוטות קצת אחרות הן בעלות כוח חישובי אוניבריסלי. בכל מקרה, בסביבות שנות השבעים אנשים איבדו עניין (לא רק ברשתות נוירונים, אלא בלמידה ממוחשבת בכלל).

הלמידה-הממוחשבת זכתה לפריחה מחודשת בתחילת שנות השמונים, והעניין בה שוב דעך במהירות. אך הפעם במקביל לדעיכה הכללית בעניין שעוררה הלמידה הממוחשבת, התעורר עניין רב (יחסית...) ברשתות-נוירונים, ואת הגל השני נהוג לזהות עם השנים שבין כ-‏1985 לכ-‏1995. בתקופה זו המיתוג העיקרי של התחום היה תחת הכותרת Artificial Neural Networks, והוכח המניע העיקרי של הגל השני היה "גילויו" של "אלגוריתם" ה-backpropagation שאפשר לאמן באופן שיטתי רשתות היררכיות עם כמה שכבות (כל המרכאות קודם נועדו להבהיר שמדובר ברעיון מאד פשוט ומוכר היטב, ִשרק חיכה שמישהו ישתמש בו בהקשר המתאים). רעיון אחר, סופר-מגניב ואורתוגונלי לחלוטין שהיווה תשתית לרעיונות סופר-מגניבים אחרים הוא של רשתות Hopfield (מ-‏1982) שהמוצאו כדרך למדל מתמטית "זיכרון אסוציאטיבי" במובן הפסיכולוגי. עוד הרבה רעיונות שהיום לפעמים מדברים עליהם כאילו הם חידושים מרעישים (כמו autoencoders או תאי LSTM) הומצאו למעשה בתקופה הזו. הסוף המר הגיע באשמת ופניק שבבסביבות 1992 המציא את ה-SVM שמשך אליו את כל הייפ. היה לו "סוג-של" ביסוס תאורטי (במונחים של PAC למי שמכיר) וביצועים פרקטיים מצויינים לאותו-הזמן, וההתגבשה הדיעה שרשתות-נוירונים הם רעיון מגושם שעבר-זמנו.

כמעט כולם חשבו ככה, אבל לא כולם כמובן. ג'ופרי הינטון, שחלק גדול מהקרדיט לגל-השני מגיע לו (הוא אחד מהחתומים על ה-backpropagation) שמר על אמונתו, והביא במו-ידיו גם את הגל השלישי - הפעם תחת המותג Deep-Learning. ב-‏2002 הוא מצא אלגוריתם יעיל לאמן מודלים (מהמודלים הסופר-מגניבים שקשורים לרשתות Hopfield) שנקראים Restricted Boltzmann Machines (או בקיצור, RBMs). אפשר לחשוב עליהם כרשת-נוירונים שטוחה מאד בעלת שכבה יחידה שמאומנת באופן לא מפוקח (unsupervised learning) כדי ללמוד generative models (כלומר מודל שיודע להמציא "דוגמאות חדשות" שנראות כאילו הן נלקחו מתוך אוסף של דוגמאות נתונות). האלגוריתם (הידוע בשם Contrastive-Divergence algorithm), ביחד עם תוצאה נוספת של הינטון מ-‏2006 שהסבירה איך אפשר לשרשר הרבה RBMs ולקבל רשת עמוקה עם הרבה שכבות שאותה אפשר לאמן באופן מפוקח (supervised learning) היווו את הבסיס לצמיחה המחודשת של התחום (עד לפני כמה שנים זו הייתה בערך הדרך היחידה לאמן רשתות-עמוקות, אבל היום כבר אף אחד לא משתמש בה). אם אתם זוכרים את התחרות של Netfix שהציעו ב-‏2009 פרס של מיליון דולר למי שיצליח לשפר את אלגוריתם ההמלצה שלהם, אז RBMs היו מרכיב משמעותי באלגוריתם שזכה בפרס.

באותה שנה (2009) - אחרי שרשתות נוירונים כבר התחילו לתפוס תאוצה משמעותית - התחילו להשתמש ב-GPUs כדי לאמן אותן. אבן דרך חשובה נוספת התרחשה ב-‏2012, אז רשת (קונבולוציה) בשם AlexNet (שוב הינטון היה מעורב...) זכתה בתחרות ראייה-ממוחשבת מפורסמת, והביסה לראשונה (ובהפרש ניכר) אלגוריתמים מבוססי SVM. מאז ועד היום כל התחום של ראייה ממוחשבת עבר מהפכה מוחלטת, וכמעט כולו נשען היום על רשתות קונבולוציה. בהמשך לתימת ה-"אין חדש תחת השמש" אציין שרשתות-קונבולוציה קיימות בשימוש מסחרי עוד מ-‏1989, ושלמרות המיתוג החזק שלהן, מדובר ברשות-נוירונים רגילות לחלוטין מהוסג הפשוט ביותר (feedforward networks).

הרבה דברים שאף אחד לא האמין שאפשר יהיה להשיג לפני שנשיג AI מלא נוסח אסימוב או דאטא ממסע בין כוכבים, הושגו. רשתות נוירונים טובות יותר מבני האדם הכי טובים במשחקים מורכבים כמו Go או פוקר, ובמשימות בהן היה אפשר לחשוב שאנחנו מוצלחים במיוחד כמו זיהוי-פנים או אפילו זיהוי רגשות מתוך הבעות פנים. ויש עוד (הרבה מאד) דוגמאות אחרות, mind-blowing במידה דומה. כל הדיון לעיל על הצורך ב-"אינטואיציה אנושית" בנהיגה הוא די קומי :)

לפני סיום, יש שלושה נושאים אליהם אני רוצה לומר משהו:

(1) יש שם תאוריה\עומק\עניין? מלא. אני לא יודע מאיפה להתחיל. קודם כל, והכי פחות מעניין, "רשתות נוירונים" הן יותר פרספקטיבה על למידה-ממוחשבת מאשר "משפחה ספציפית של מודלים". למשל גם SVMs וגם מודלים לינארים מוכללים (כמו רגרסיה לוגיסטית) הן "סוג של" רשתות נוירונים. אז כמושא מחקרי הן עשירות לפחות כמו התחום כולו. שנית, יש מגוון עשיר ומאד מורכב של רשתות נוירונים. התאוריה המתמטית מאחורי energy-based models ו-attractor-networks כמו מכונות בולצמן היא מאד עשירה (וקשורה אינטימית ל-mean-field theory וגיאומטריה סימפלקטית למשל), וכך גם התאוריה (המתגבשת) מאחורי הדינמיקה של אימון GANs (שאותה אפשר לפרמל כמשחק סכום-אפס של שני סוכנים אדפטיביים, שמתכנסת - או שלא - לשווי-משקל נאש). שלישית, התחום מלא בִשאלות תאורתיות פתוחות ומאד מסקרנות. הגדולה מכולן היא כמובן "למה זה עובד?". כלומר, למה stochastic gradient descent מתכנס לנקודות אופטימום לוקליות כל-כך מוצלחות (יותר מוצלחות מאלגוריתמי-אופמיזציה מוצלחים יותר, נגיד קוואזי-ניוטונים) מנקודת המבט של generalization. הכיוון המסתמן קשור ככל הנראה לגיאומטריה של משטחי-השגיאה ובפרט לעקמומיות הלוקלית סביב הפיתרונות המתקבלים (כל מיני מושגים של flatness), שלהן יש גם אינטרפטציה (אולי שקולה) במונחים של תורת-האינפורמציה (נגיד, ה-information bottleneck של תישבי שאולי מוכר לחלק מהקוראים כאן - הרעיון בקצרה הוא שרוב המאמץ באימון כנראה לא מושקע במיקסום האינפורמציה-המשותפת בין התצפיות לבין ערך-המטרה, אלא דווקא במיזעור האינפורמציה המשותפת בין התצפיות לבין הייצוג הפנימי שלהן).

(2) זה וודו! לאף אחד אין מושג מה הוא עושה! זה סתם ניסוי-וטעייה! במובן מסויים, כן. אבל אפשר להבין זאת כבעיה רק אם ממסגרים לא נכון את הסיטואציה. המסגור הנכון הוא פשוט זה: הצד המעשי של "שימוש ברשתות ניוירונים" זה סוג של הנדסה. ובדיוק באותו מובן הנדסת-תוכנה זה "וודו וניסוי טעייה"; מתי לאחרונה המתכנתים כאן השתמשו בתורת החישוביות בעבודה שלהם, או הסתמכו על הוכחות פורמלית כאשר הם עסקו בעיצוב או ארכיטקטורת תוכנה?. ובאותו מובן גם למידה-ממוחשבת "קלאסית" היא "וודו וניסוי טעייה"; מתי לאחרונה ראיתם מישהו נותן הצדקה פורמלית לבחירת ה-kernel וההיפר-פרמטרים של ה-SVM שלו, ומה זה בדיוק feature engineering אם לא ה-epitome של "ניסוי וטעייה"? אם כבר, אז העבודה עם רשתות-נוירונים קרובה הרבה יותר למדע או להנדסה-מסודרת מאשר האלטנרנטיבות. ואגב, יש ראיות תאורטיות חזקות לכך שלנצח זה יהיה המצב (כלומר, לא יהיה אף פעם "אלגוריתם למידה אולטמטיבי" שאפשר יהיה לעבוד איתו כמו קופסה שחורה באופן מכני לחלוטין).

(3) סקיינט הגיעה, והאנושות אבודה שאלה פתוחה :) ואפשר להבין אותה בכל מיני מובנים. בתור התחלה, ישנן הרבה עבודות שכנראה יעלמו מהעולם בקרוב (נהגים כמובן, אבל כנראה שגם הקריירה של חלק מעורכי-דין ולפחות חלק מהרופאים למשל חיה על זמן שאול). האם זה טוב או רע? נחיה ונראה (אין אפילו טעם להתווכח על זה... זה פשוט יקרה, וסביר שדי בקרוב). חוץ מזה, אנשים מסויימים מפחדים מתרחיש "יום הדין" בסגנון שליחות קטלנית, בו המכונות יצאו נגדנו (למשל החבר'ה מmiri). אני לא שותף לחשש הזה (בקצרה: סיבה אחת היא שאין שום סיבה ש-AI מלא ו-agency יהיו כרוכים יחדיו, וסיבה שניה היא שמן הסתם לא תיהיה AI אחת, אלא יהיו הרבה).

ולפינת הספקולציה הטהורה: יש תרחיש אחד שכן מפחיד אותי, וראינו ניצנים שלו עכשיו בפרשת Cambridge Analytica. שחקני גו מובילים ששיחקו (וכמובן הפסידו) מול רשת-נוירונים תיארו את החווייה כ-"משחק מול חייזר". הם לא הבינו מה הצעדים שהרשת עושה ולאן היא חותרת, ואז פתאום כבר היה מאוחר מידי והם הפסידו. שחקני פוקר מובילים ששיחקו (והפסידו כמובן) מול אלגוריתם תיארו חוויה דומה (וזו סביבה אולי מעניינת יותר, בגלל המרכזיות של "בלופים" ו-false signaling בתוכה). אם מחברים את האופן היעיל עד-כדי-שיתוק בהם "שחקני בינה-מלאכותית" מסוגלים לפעול, יחד עם כמות המידע באשר לתקשורת אנושית והרזולוציה שלו (לא רק רשתות חברתיות! גם במשימות כמו "תמלול של דיבור" או "קריאת שפתיים" רשתות נוירונים כבר טובות יותר מבני-אדם), זו תהיה הפתעה אם לא יהיה אפשר לבצע מניפולציה עדינה ואפקטיבית בעמדות ודיעות של אנשים בהיקף נרחב. אני לא מדבר על "תעמולה", "פייק-ניוז" או שיטות גסות כאלה. אני מדבר על השפעה עצומה על דיעות של אנשים שקולים ומיושבים בדעתם (כמוכם וכמוני, הייתי רוצה להאמין) באמצעות הדגשה והצנעה מחושבת של אינפורמציה, שליטה עדינה במסלולי ההפצה שלה, משחקי ניסוח קלים וכדומה. דברים בלתי-מורגשים שאת האפקט שלהם קשה (לבני אדם) לאמוד וקשה (לבני אדם) לתמרן או להעריך את משקלן, אך אלגוריתמים מתוחכמים דיים כנראה יוכלו לעשות בקלות (כמו הצעדים המסתוריים של התוכנה ב-go או הבלופים של התוכנה בפוקר), ולתמרן באוכלוסיה כולה תוך ניצול החולשות הקוגנטיביות הטבועות בכולנו מבלי שאף אחד בכלל ירגיש. אני לא חושב על איזה "המון נבער" אלא מסתכל על עצמי, אדם יחסית מושכיל, רציונלי ומודע - ואני משוכנע שאפשר לשחק בי בקלות בשיטות כאלה. גם בכם. כאמור, אני לא חושש שאיזו בינה-מלאכותית תעשה זאת על "דעת עצמה" אלא שבעלי-אינטרס ישתמשו בבינה מלאכותית באופן הזה כדי לקדם את עצמם.
רשתות נוירונים - AMA 698331
תודה רבה על התגובה המושקעת.

תוכל בבקשה לפרט איך רגרסיה לוגיסטית, למשל, היא מקרה פרטי של רשת נוירונים?
רשתות נוירונים - AMA 698342
הצורה הפונקציונלית של רגרסיה לוגיסטית היא הרכבה של העתקה-אפינית עם פונקציית סיגמואיד, ואפשר לייצג אותה בקלות על ידי "רשת" בעלת נוירון יחיד עם אקטיבציה סיגמואידית. אימון של הרשת תוך שימוש ב-cross-entropy כפונקציית שגיאה, תוביל בדיוק לאומדן הנראות המירבית של מקדמי הרגרסיה. רשתות גדולות המשמשות לקלסיפיקציה בינארית אפשר להבין כהרכבה של חלק מסובך שלומד ייצוג מוצלח של התצפיות, עם חלק פשוט ששקול לרגרסיה לוגיסטית הקושרת בין הייצוג הנלמד לערך המטרה.
רשתות נוירונים - AMA 698446
ואללה, הסיגמואיד של פונקציית logit באמת יכול בדיוק להתלבש על פונקציית האקטיבציה של נוירון, אז זה מסתדר. אבל מה עם מודלים לינארים מוכללים אחרים, למשל רגרסיה פואסונית? או אפילו עם רגרסיה לינארית רגילה? איך מתמודדים ברשתות נוירונים עם פונקציות שהטווח שלהן לא חסום?
רשתות נוירונים - AMA 698513
כאשר ערך-המטרה אינו חסום (כמו במקרה של רגרסיה לינארית) המצב פשוט במיוחד: לא משתמשים באף פונקציית אקטיבציה, והשכבה האחרונה (והיחידה, במקרה של רגרסיה לינארית) היא רק פונקציה אפינית.

ככלל אצבע, כאשר מדובר ברשתות-נוירונים - ייצוג הוא אף פעם לא בעיה. הדימוי של רשת נוירונים כ-"אוסף של פונקציות זהות מסודרות בשכבות" הוא מאד מטעה. רשתות feed-forward (אני מתאר לעצמי שעליהן אתה חושב כשאתה חושב על רשתות-נוירונים) מייצגות פונקציות באמצעות מבנה (computational graph) שיכול להיות מורכב מאד, הרבה יותר מסתם "שכבות". וכאמור רשתות feed-forward הן רק חלק מהסיפור, ובהחלט לא הסיפור כולו.

אבל אפילו אם מגבילים אותן למבנה של שכבות, ואפילו אם מגבילים את מספר השכבות ל-‏2 - הן עדיין יכולות לייצג כל פונקציה.
רשתות נוירונים - AMA 698336
תודה גם בשמי, על החלקים שהבנתי (שהם בעיקר מילות יחס).

בעניין החשש שלך מפני השפעות לא מודעות, האם לא ניתן יהיה להתגונן בפני אותן "חולשות קוגניטיביות" ע"י רשתות ידידותיות שבניגוד לנו כן יוכלו לזהות את המניפולציות? אולי יתפתח עוד מירוץ של תוקפים ומגנים כמו אלה שאנחנו מכירים בהרבה שטחים, אלא שהשחקנים הפעם יהיו רשתות נוירונים.
רשתות נוירונים - AMA 698343
אני לא יודע, אבל אני מנחש שאפשר (וכנראה יש גם עוד פתרונות אחרים, טכנולוגים וחוקיים). הבעיה הגדולה היא שמהערכת התמריצים בעולמנו צפויה להפנות הרבה יותר משאבים ואנרגיה לחבר'ה הרעים מאשר לטובים. לכולם יש אינטרס לתמרן אותך.
רשתות נוירונים - AMA 698339
תודה!

"מתי לאחרונה המתכנתים כאן השתמשו בתורת החישוביות בעבודה שלהם, או הסתמכו על הוכחות פורמלית כאשר הם עסקו בעיצוב או ארכיטקטורת תוכנה?"

(אני מניח שהפסקה הזו היא תשובה במידה רבה לתגובה 698311 שלי) כמעט אף פעם לא, אבל מה שאנחנו עושים הוא כמעט אף פעם לא וודו - אנחנו חותרים באופן מובנה, תכליתי ומנומק לכל מטרת משנה (פתרון באג נתון). פעם בכמה ימים יש רגעים של וודו, בעבודה מול מערכת אחרת שאתה לא רוצה להשקיע ימים בלהבין אותה לעומק ומוצא משהו שעובד בלי שאתה מבין למה. אבל זה חלק קטן מאוד בעבודה.
רשתות נוירונים - AMA 698345
אני חושב שהמצב בהנדסת תוכנה ובפיתוח רשתות-נוירונים מאד דומה. בסופו של דבר, כאשר יושבים אנשים ובונים רשת-נוירונים, הם יודעים מה האלטרנטיבות שעומדות מולן בהנתן בעיה ספציפית, ואיך לשקול אותן. הם יודעים למה לצפות, ויודעים להבין את הבעיות הצפויות. הם יכולים להמנע מראש מחלקן, ולזהות את האחרות שבכל זאת צצות. והם מכירים best practices כדי לפתור אותן. יש לרשותם מתודולוגיה עשירה, הנשענת בחלקה על ידע תאורטי וחלקה (הגדול יותר) על ניסיון מעשי. והמתודולוגיה כמובן משתנה עם הזמן, גם בזכות ידע שהולך ונצבר, וגם בשל אופנות וטרנדים.

בפיתוח תוכנה, נכון שכאשר מדובר ביישום של אלגוריתמיקה או business logic אין בכלל וודו באופן עקרוני, אבל כמעט תמיד הוא נמצא שם באופן מעשי, בגלל מנגנונים (עם סייד-אפקטס מורגשים) שמסתתרים מאחורי אבסטרקציה שאותה המתכנת לא ממש מכיר (ה-cache replacement policy של המעבד, ה-congestion control בראוטר, אופטימיזציות של הקומפיילר וכו'). הדרך להתמודד עם זה היא כמובן לדבוק בשיטות-פיתוח בדוקות ומקובלות בתקווה שהכל פשוט יעבוד, ולעבור לווריאציות של ניסוי-וטעייה כשזה לא עובד. וכאשר מדובר בעיצוב תוכנה - אז כבר כמעט כל ההחלטות נשענות על היוריסטיקות ומורשת קרב. זה אולי לא "וודו", אבל זה עונה לתיאור "מובנה, תכליתי ומנומק" רק במובן מאד רחב, שתקף באותה מידה גם לבנייה ואימון של רשתות נוירונים.

ואולי בכלל השוואה "הוגנת יותר" היא בין פיתוח רשתות-נוירונים לבין פיתוח פתרונות במסגרת "למידה ממוחשבת קלאסית" (באמצעים כמו gradient boosting או SVMs). שם אני חושב שהמצב לא שקול, אבל בכלל שלרשתות-נוירונים יש יתרון מתודולוגי ברור.
רשתות נוירונים - AMA 698346
מעניין, תודה.
רשתות נוירונים - AMA 698350
תגובה נאה.

בקשר למשפט האחרון שלך, בעלי-אינטרס משתמשים כבר היום בבינה "באמצעות הדגשה והצנעה מחושבת של אינפורמציה, שליטה עדינה במסלולי ההפצה שלה, משחקי ניסוח קלים וכדומה" כדי "לתמרן באוכלוסיה כולה תוך ניצול החולשות הקוגנטיביות הטבועות בכולנו". רק שזו אינה בינה מלאכותית, קוראים לזה פוליטיקאים‏1, ולמרות הבוז שנפוץ לחוש להם, גם כאן באתר, חלקם עושים זאת במיומנות שלא היתה מביישת שחמטאי רב אמן.
אז למה אתה מוכן לקבל את זה אבל מפחד דוקא מבינה מלאכותית?

1 או פרסומאים, ויש עוד כמה.
רשתות נוירונים - AMA 698351
עם כל הכבוד ליכולת המניפולציה שהפוליטיקאים והביליונרים שמאחוריהם מפגינים היום, הפער בין היכולת שלהם לשחק בדעת הקהל לבין היכולת הפוטנציאלית של בינה מלאכותית לעשות זאת מגמד את הפער בין היכולת שלהם לשחק שחמט לבין היכולת של בינה מלאכותית לעשות זאת.

החשש שלי הוא מהבדל כמותי כ''כ גדול, שהוא הופך להבדל איכותי, שמאפשר לא ''מניפולציה'' אלא כמעט ''שליטה'', ולא ב-''המונים'' אלא בכמעט כולם. מערכת שתוכל לגרום לדב אנשלוביץ לתמוך במרץ ולארז לנדוור לאמץ את מצע הבית היהודי (ולשניהם לקנות המון קולה, כמובן).

אבל כאמור, זו ספקולציה מוחלטת, והיא לא ממש קשורה לכל שאר הדיונים כאן. אז לא ארחיב עוד על איך אני חושב שזה אפשרי.
רשתות נוירונים - AMA 698352
הבעיה שלי עם זה - למה שאלגוריתם הבינה המלאכותית של הליכוד יהיה חזק מזה של העבודה? יחסית למצב הנוכחי, בו ביבי הקוסם מסובב את כולם על האצבע, דוקא הגישה של כולם לאלגוריתמים כאלה היא סוג של דמוקרטיזציה של המניפולציה. באגע שלכולם יש את הכלים האלה, הרבה יותר קשה למניפולטור יחיד לקחת את כל הקופה.
רשתות נוירונים - AMA 698360
לפני כמה שנים נחשף שפייסבוק ערכה בחשאי ניסויים בהשפעה של חדשות על רגשות המשתמשים.
רשתות נוירונים - AMA 698363
ובאשר ל"לקחת את כל הקופה" - יש לנו דוגמה היסטורית אחרת לתהליך דומה: המסחר האלגוריתמי. שנראה לי שדי מדגים את הטענה שלי.
בטרם קיום המסחר האלגוריתמי, עיוותים והזדמנויות פז שנוצרו בשוק נוצלו על ידי בינות לא-מלאכותיות חדות עין וחושים כדי לגרוף הון ממסחר ולהפוך ל"גאון פיננסי" - המקבילה ל"קוסם פוליטי" מהתחום לעיל.
כיום האלגוריתמים האלה מזהים בחלקיקי שניות כל סטייה שכזו וסוגרים אותה מיד, מה שמקטין מאד את היכולת של סוחרים אנושיים בודדים לגרוף רווחים ממסחר ספקולטיבי (וגם אחר מן הסתם). וכך "הפסדנו"‏1 מאות גאונים-פיננסיים-של-המאה-‏20 שמסתובבים בינינו כאנשים פשוטים של המאה ה-‏21 שאולי מתפרנסים בכבוד אבל לא יותר מזה.

1 ואולי הרווחנו?‏2
2 למען ההסתייגות אומר שלמסחר האלגוריתמי יש יתרון מובנה שיטתי ובזוי - לא, לא המהירות שלו - שנותן לו פור לא הוגן כלפי שאר הסוחרים, שזה העמלות האפסיות שלו, בסדרי גודל מתחת לכל סוחר אחר. אבל על זה כבר התלוננתי כאן לא מעט וזה לא נושא הדיון.
רשתות נוירונים - AMA 698367
במסחר במטבעות דיגיטליים נפוץ מאד שימוש בבוטים שמייצרים המון הודעות סרק שנועדו להפיל בפח את המשקיעים (מהמרים?) הפשוטים. כך, האלגוריתמיקה יכולה לעקוב לא רק אחרי נתוני המסחר אלא גם אחרי ההפצה של ההודעות האוטומטיות (והרבה פעמיפ לא אמיתיות או מטעות) ולםי זה לנווט את הפעילות של מי ששולט במנגנונים האלה.
רשתות נוירונים - AMA 698413
החשש הוא לאו דווקא מזה שגוף אחד יקח את כל הקופה; עצם זה שאני נתון למניפולציות כאלה, גם אם הן בסוג של "תיקו" בין גורמים יריבים, הוא מטריד מאין כמוהו.
(אנלוגיה: בחשש הנושן, שלמדנו איכשהו לחיות איתו ואולי אינו כה כבד, שמפרסמים שוטפים לנו את המוח, לא מנחם אותי במיוחד אם פפסי וקוקה שוטפות את מוחי בשיווי משקל.)
רשתות נוירונים - AMA 698414
כן, אבל:
- במה זה שונה ממה שכבר קורה היום?
- בפוליטיקה למשל שטיפת מח הדדית קצת מבטלת את האפקט, מהסיבה הפשוטה שהמקרר שלך סובל בקבוק פפסי ליד בקבוק קולה אבל מעטפת ההצבעה שלך בקלפי לא.
רשתות נוירונים - AMA 698426
ההבדל מהיום הוא לא בהכרח הבדל קטגורי, אבל יכול להיות הבדל כמותי של סדר גודל, מבחינת מידת השליטה בי והמידה שזה מצמצם, במובן מסוים, את הערך שלי והרצון החופשי שלי. לפחות כך אני מבין את החשש של עומר.
רשתות נוירונים - AMA 698361
כדי לגרום לי לתמוך במרץ תצטרך המערכת לדעת לשנות את חוקי הטבע.
ואפרופו, חשבתי דווקא על בעיית הכיכר שהציג נדב בתגובה 698219 עניתי לו שכפי הנראה אם נחשוב הרבה נוכל בסופו של דבר לפתור את הבעיה הזאת. אחר כך באמת חשבתי, והגעתי למסקנה שהפתרון אכן יימצא ואפילו די בקלות אבל הוא יהיה חייב להיות על ידי הגמשת חוקי התנועה‏1 כי אין שום פטנט שמאפשר את פתרון הבעיה כשמקפידים על חוקי התנועה כלשונם. קשה לי לחשוב איך החלטה על רשות לשנות את חוקי התנועה יכולה להגיע ממערכת ממוחשבת ואפילו המשוכללת ביותר. בסופו של דבר צריך שאיזה אדם ייתן לה את הרשות לעשות זאת. הרי היא לא תעבור על הסמכויות שהעניקו לה, ואילו האדם "באופן אינטואיטיבי" מרשה זאת לעצמו.

1 אני חושב שבעולם שבו יהיו רק מכוניות אוטונומיות לא יהיו בכלל חוקי תנועה, או שלפחות לא יקראו לזה כך. יהיה איזה אלגוריתם שמסדיר את התנועה.
רשתות נוירונים - AMA 698362
הבעיה הזו, כמו בעיקרון כל הבעיות האחרות עם רכבים אוטונומיים, כבר נפתרה. מזמן. מזה כמה שנים (אני לא בטוח כמה הפיתרון לבעיה הספציפית הזו עתיק; המספר הוא בין 5 ל-‏25 שנים) מכוניות אוטונומיות יודעות להתמודד עם כיכרות בתנאים "טבעיים" (כלומר בחברת מכוניות עם נהגים, ותחת חוקי-התנועה הנוכחיים).

אני לא רוצה ליצור את הרושם שנהיגה-אוטונומית זו בעיה קלה (היא לא), אבל היא ככל הנראה הרבה יותר קלה ממה שחלק מהאנשים כאן חושבים. הנה וידאו עם הדגמה והסבר קצר על הנושא, משנת 1997, המציג פרוייקט שייצר מכונית אוטונומית כבר בשנת 1986.
רשתות נוירונים - AMA 698403
תודה על התגובה המושקעת.
ברצוני לשאול על משהו שעורר את סקרנותי. לי נראה מובן מאליו שכל אלגוריתם המנסה ל"הבין" סרט על בסיס של סדרת תמונות בודדות הוא שגוי מיסודו. לראיה, אפשר לקחת סדרת תמונות ולערבב אותה. ברור שרוב הסידורים החדשים יהיו חסרי ערך כסרט רציף.
האם ריבוי השכבות כולל בתוכו גם השהיית תמונה בין שכבה לשכבה, כך שכל תוצאה של העיבוד היא בהשהיה מסויימת תוצאה של תמונה מסוימת ועוד הרבה תמונות לפניה שנמצאות באותו זמן במערכת (בשכבות השונות)?
כמה כבדה מערכת "הבנת תמונה" על בסיס רשת נוירונים עמוקה? האם מערכת כזו יכולה לזהות מכשול מסוכן/לא מסוכן בסקאלת זמן של מאיות שנייה?
רשתות נוירונים - AMA 698405
הרחבת השאלה של שוקי: האם יש גם רשתות נוירונים עם מצבים פנימיים שיכולים לבטא במידה כלשהי את ההקשר? בעיקרון אני יכול לדמיין רשת עם משוב, כלומר שחלק מהפלט שלה מצטרף אל הקלט של האיטרציה הבאה אבל יש לי הרגשה שאני not even wrong.
רשתות נוירונים - AMA 698409
not even wrong? תיארת בגדול את הסכמה הנפוצה ביותר להתמודד עם הסיטואציה.

לרשתות כאלה - שמופעלות איטרטיבית ובכל צעד הקלט שלהן כולל בין השאר (בנוסף לתצפיות, בד"כ) גם קידוד של "המצב הנוכחי", והפלט שלהן כולל בין השאר (בנוסף לתחזיות, בד"כ) גם את הקידוד של "המצב החדש" - קוראים RNNs (ר"ת של Recurrent Neural Networks). אפשר לחשוב עליהן בתור הכללה של מודלי state-space קלאסיים כמו ה-Kalman filter או Hidden Markov Models. האימון והתכנון שלהן נוטה להיות טריקי; הן באופן כללי צריכות גם ללמוד כיצד ה-latent state קשור לתצפיות, וגם ללמוד את הדינמיקה בה ה-latent-state משתנה עם הזמן (זאת בנוסף לאתגרים טכניים אחרים שהן מציבות). אבל יש סט-גדול של טכניקות סטנדרטיות (יותר או פחות) לעשות זאת, והן בהחלט מעשיות.

רשתות מהסוג הזה הן מאד שימושיות, ולא רק עבור נתונים עם מבנה טמפורלי ברור. אפשר להשתמש בהן למשל גם כדי לנתח תמונות ע"י סריקה סדרתית של חלקים מתוכן, או כדי לנתח משפטים בשפות טבעיות ע"י סריקה של סדרת המילים.

באופן כללי, הרשתות הפשוטות והמוכרות ביותר מתנהגות כמו "פונקציה מתמטית": הן מפה בין קלט לפלט. אך ישנן ארכיטקטורות אחרות שאינן כאלה, שהן stateful, ופעולתן אולי דומה יותר להרצה של תכנית מחשב. RNNs למינהן (כפי שהצעת) הן הסוג הנפוץ ביותר של רשתות כאלה, אך יש גם סוגים אחרים.
רשתות נוירונים - AMA 698519
אתה יכול להוסיף או לתת הפניה לשימוש ב RNN ב NLP?
רשתות נוירונים - AMA 698526
זה נושא מיינסטרימי. הבעיה אינו למצוא רפרנס, אלא לברור ביניהם, ולצערי אין לי איזה "רפרנס אולטמטיבי".
תוכל למצוא סקירה טכנית עם הרבה הפניות נוספות בפרק העשירי כאן, וספציפית, בהקשר של NLP, אני מניח שתתעניין בעיקר ב-sequence to sequence models.
רשתות נוירונים - AMA 698528
תודה.
רשתות נוירונים - AMA 698410
רשתות שעובדות על וידאו לא מתייחסות לכל פריים כבלתי תלוי באחרים.

נניח לצורך הפשטות שהקלט הוא רצף של תמונות בשחור לבן (בפועל, במערכת כמו רכב אוטונומי, כנראה שבכל פיקסל יהיה מקודד מידע עשיר בהרבה מסתם בהירות, כמו מידע על צבע ועל עומק, והמערכת לא תתמודד רק עם רצף של פריימים ממצלמה אחת אלא עם פיוז'ן של אותות המגיעים מסנסורים רבים, חלקם מצלמות וחלקם לא).

ונניח גם שנרצה לנתח את הקלט באופן קזואלי (כלומר שהניתוח בכל נקודת זמן יעשה רק על סמך אינפורמציה הזמינה באותה נקודת-זמן או לפניה). זה בד"כ המצב במערכות זמן-אמת (כמו רכב אוטונומי), אך לא במערכות הפועלות אופליין (כמו למשל בניתוח סמנטי של סרטונים המועלים ליוטיוב).

דרך מקובלת אחת לקחת בחשבון את הקונטקסט, היא באמצעות קונבולוציות. במקרה של וידאו מדובר יהיה בקונבולוציות על בלוקים של מרחב-זמן (בניגוד לקונבולציות הפעולות רק במרחב, כמו במקרה של תמונות). זה קצת דומה למה שהצעת (אם אני מבין נכון את כוונתך ב-"השהיית תמונה בין שכבה לשכבה"), אבל זו טכניקה שבפני עצמה היא מאד מוגבלת, מכיוון שהיא מסוגלת לקחת בחשבון רק אינפורמציה מאד לוקלית (דברים שקרו לאחרונה). דרך מקובלת אחרת לקחת בחשבון את הקונטקסט, היא באמצעות RNNs כפי שמתואר בתגובה שכתבתי לשכ"ג, המאפשרות גם לקחת בחשבון אירועים רחוקים יותר בזמן ולהבין באופן הוליסטי יותר הסיטואציה שלפניהן. וכמובן שאפשר (ורצוי, ומקובל) לשלב את שתי הגישות.

לגבי זמני-תגובה: האימון של רשתות מורכבות הוא משימה מאד כבידה מבחינת המשאבים החישוביים והזמן הנדרש. אך השימוש בהן, לאחר האימון, הוא משימה כבדה בסדר-גודל רבים פחות (היא עדיין עשויה להיות יחסית כבדה, תלוי ברשת ובבעיה הסציפית). שיפור הביצועים בהרצת רשתות מאומנות זה מדע בפני-עצמו (למשל באמצעות pruning של חלקים מהרשת, או רדוקציה של הייצוג המספרי של הפרמטרים, או ביזור, או קירוב וכו' וכו'), ואני לא חושב שלגוגל למשל (שבונה את הרכב כולו, ויש לה שליטה מלאה על מערך החיישנים, החומרה והתוכנה) יש בעיה לעמוד בזמני התגובה הנדרשים.
רשתות נוירונים - AMA 698416
הערה צדדית: החלק שהכי מרשים, או מפתיע, אותי הוא שאפשר לקבל את משאבי החישוב הדרושים במחיר סביר. במחשבה נוספת, יותר מרשים מזה הוא שהמוח שלנו עושה משהו דומה עם מעבדים איטיים בהרבה.
רשתות נוירונים - AMA 698417
ובמחשבה שלישית: אבל מספר המעבדים שונה...
רשתות נוירונים - AMA 698427
אתה מדבר על משאבי החישוב בלמידה או ביישום? כי אלה סדרי גודל שונים מאד.
רשתות נוירונים - AMA 698428
לא בטוח שהמוח שלנו עושה משהו דומה.

אלנ"ב (אני לא נוירו-ביולוג), אבל למיטב ידעתי את האנולוגיה בין "רשתות נוירונים" בלמידה-חישובית לבין "רשתות נוירונים" בנוירוביולוגיה צריך לקחת בערבון מאד מוגבל.

אין ספק שישנה הפרייה הדדית בין שני התחומים, אבל בד"כ האנלוגיות נשברות די מהר. למשל, היסטורית אחת המוטיבציות המרכזיות מאחורי פונקציית האקטיבציה הנפוצה ביותר היום (ה-rectifier, כנראה מוכרת יותר בשם ReLU) היא מעבר-הפאזה האמפירי שנצפה בניורונים ביולוגים (כלומר: רק אם סך הפוטנציאלים הקדם-סינפטיים גדול מאיזשהו סף, נוצר פוטנציאל פעולה). זאת לעומת ההתנהגות של פונקציית האקטיבציה שזכתה למירב הפופלריות לפני כן בלמידה עמוקה (ה-hyperbolic tangent הסימטרית). אבל מצד שני, מעבר לסף, הפעולה של ה-rectifier פרופורציונאלית לקלט, בעוד שאצל נוירונים ביולוגיים (בד"כ) היא קבועה. ובכלל, הסיבה המרכזית להצלחה של ה-rectifiers (בניגוד לאקטיבציות אחרות שגם הן א-סימטריות, כמו סתם thresholds או פונקציית ה-softplus) בעליל לא קשורה למוטיבציה ביולוגית כזו או אחרת, אלא היא טכנית לגמרי וקשורה להתנהגות הנחמדה של הנגזרת שלה בהקשר של אלגוריתמי האופטימיזציה הנפוצים (ווריאציות של SGD) ויעילות המימוש שלה. ככל הנראה לסיבה הזו אין שום קשר לביולוגיה.

דוגמאות אחרות (ומעניינות יותר) להפרייה הדדית הן למשל הרעיון של למידה הביאנית שפותח בהקשר של נוירוביולוגיה, והתגלגל לאלגוריתמי הלמידה הראשונים שפותחו לפרספטרונים ואח"כ ללמידה במודלים מבוססי-אנרגיה, או למשל רשתות הופפילד שפותחו כמודל לזיכרון-האנושי, ומהן נגזרו תאוריות מעניינות ואלגוריתמים שימושיים בלמידה-חישובית, או למשל ה-wake-sleep algorithm שנמצא על קו-התפר בין נוירולוגיה-תאורטית, למידה-בייסאנית ולמידה-עמוקה ומצד אחד מהווה תאוריה נוירוביולוגית מעניינת לכך שבעלי-חיים באופן כללי נוטים לישון מידי פעם, ומצד שני משמש כאלגוריתם לאימון משפחה מסויימת של מערכות-לומדות, או למשל הדמיון בין רשתות-קונבולוציה בראייה-ממוחשבת לבין המבנה של ה-visual cortex ההתאוריה הנוירוביולוגית של receptive fields (צפייה מומלצת: ניסוי החתולים של Hubel ו-Wiesel).

אבל למרות כל זאת, ההבדלים בין התחומים עולים בהרבה על הדמיון. כמובן, החומרה מאד שונה. וההתנהגות של מודלים דינמיים של נוירונים ביולוגיים (כמו Hodgkin–Huxley model) שונה מאד מזו של "נוירונים" בלמידה-חישובית, ואפילו המודלים הדינמיים האלה בעצם שונים מאד מהמכניקה הביולוגית (תעלות ומשאבות יונים, מוליכים עצביים, וכל זה). ולמרות שהמוח הוא בברור מערכת מאד אדפטיבית, היא גם מערכת עם התמחויות מאד ספציפיות שחווטו במהלך האבולוציה. לא ממש ברור מה "הדרך הנכונה" למדל בכלל את האופן שבו המוח הוא אדפטיבי (זה כנראה יותר בכיוון המאד כללי של reinforcement learning מאשר supervised learning), ולא ממש ברור איך פועלת מערכת המשוב של האדפטציה הזו. גם אם גרסה כלשהי של backpropagation ו-SGD משחקת תפקיד בלמידה הביולוגית, היא כנראה שונה באופן ניכר מהגרסה המשמשת בלמידה חישובית.

אני חושב שזו אחת הסיבות שאנשים התרחקו מהטרמינולוגיה של "רשתות-נוירונים" והמותג "למידה-עמוקה" התחזק (ומעניין מה יקרה לו אם יתברר בהמשך שהעומק לא משחק תפקיד נורא-חשוב...).
רשתות נוירונים - AMA 698449
עלה בדעתי שחלק (קטן) מהפופולריות של למידה עמוקה אולי נובע מהשימוש בתואר "עמוקה" בשם המותג. זאת פשוט מילה מצוינת, שמשדרת כובד ראש ו... עומק. ע"ע תיאוריית הקונספירציה deep state, וכן deep structure של חומסקי.

אפרופו הסוגריים האחרונים אצלך: נדמה לי ששמעתי פעם שאחד החלוצים של רשתות הנוירונים כתב באחד המאמרים המכוננים של התחום שאי אפשר להשיג שיפור משמעותי ע"י הוספת הרבה שכבות, כל הקהילה פשוט קיבלה את דעתו (הבלתי מנומקת), ולכן לקח הרבה שנים עד שגילו - יחסית לאחרונה - שעומק דווקא מאד עוזר. מוכר לך הסיפור הזה, או שאני משבש/הוזה?
רשתות נוירונים - AMA 698469
בתור מתמטיקאי (אתה) אני מתפלא על הנימוק הזה. משתמשים בזה כי זה עובד. וזה לא סתם עובד, זה אחושלוקי עובד. זה עובד כל כך טוב שאלפי בעיות שעד לפני 2012 היו בעיות מאד קשות (תיאורטית או פרקטית), הפכו לפירות תלויים נמוך‏1 - כל כך נמוך, שכל "טמבל" שאוסף מספיק מאגר נתונים ללימוד עבור בעיה כזאת שעוד לא ניסו עליה "למידה עמוקה" קופץ ישר לראש הטבלה בנושא הזה (או מצליח לשכנע מישהו להשקיע בו כמה מיליוני דולרים).
באותה מידה יכולת לומר שבגלל שהשם "רוג'ר פדרר" מתגלגל על הלשון יותר מ"דודי סלע", זה כנראה מסייע לחלק (קטן) מהפופולריות שלו.

1 נו, Low hanging fruits
רשתות נוירונים - AMA 698476
אני דווקא מסכים עם יובל. גם רשתות מרקוביות עובד אבל פחות טמבלים ישמעו על זה. כדי שמשהו יצליח אפילו בעולם של החנונים, צריך איזשהו באזז ראשוני. משהו שעיתונים ישמחו לפרסם, שיהיה מלכודת קליקים, ושאנשי שיווק של חברות כמו גוגל או אמזון ישמחו לגלגל על הלשון כשהם מדברים.
לך תדע כמה בעיות היו כבר פתורות אם רשתות מרקוביות היו נקראות גרף גמיש או הימור חכם או קשקוש אחר.
רשתות נוירונים - AMA 698479
או שזה קורה באופן טבעי? כשיתגלה שרשתות רסקולניקוב הן הדבר החם הבא, מישהו כבר ימצא להן שם פשוט וקליט יותר.
רשתות נוירונים - AMA 698480
מה זה רשת רסקולינקוב? זה גרסא מתקדמת יותר של רשת אנטיגונה?
אני עוד אחזור! לבד, בחושך. 698481
רשת רסקולניקוב תשמש כבסיס הנוירוני של הטרמינייטור הבא: היא מחסלת אנשים, אבל אחר כך יש לה מלא רגשות אשם.
רשתות נוירונים - AMA 698514
ב-"רשתות מרקוביות" אתה מתכוון ל-MRFs ו-CRFs, נכון?

אם כך, הדוגמה שלך אירונית. כל ההייפ הנוכחי של הלמידה העמוקה התחיל בדיוק סביב מודלים כאלה.

ראשית, כבר כתבתי זאת, אבל אני מתאר לעצמי שזה מסר מורכב, אז אכתוב זאת שוב (ושוב): deep larning זו פרספקטיבה על למידה חישובית, לא משפחה ספציפית של מודלים. בפרט, למידה-עמוקה היא (במובן מעשי) "הדרך הנכונה" לחשוב על מודלים גרפים (מרבית החלק השלישי בספר הבינוני-אך-מפורסם של bengio et al עוסק בדיוק בכך).

בסקירה ההיסטורית הקצרה קודם, סיפרתי שראשית הגל-החדש של רשתות-הנוירונים התחיל כאשר הינטון המציא את אלגוריתם ה-CD, וגילה כיצד לשרשר RBMs. במה בעצם מדובר? Boltzmann machines הן סוג של Markov Random Field, והמאמר האמור של הינטון ב-‏2006 גילה איך להשתמש בהן כדי לאמן Deep Belief Networks שהן וריאציה של Conditional Markov Field.

זו הייתה פריצה דרך, כי מודלים גרפיים הם אמנם מאד אלגנטיים כמודלים, אבל הם נוראיים בכל הנוגע לאלגוריתמיקה הקשורה בהם (כמו אימון או הסקה) - ולראשונה הוצעה הדרך מעשית לעשות זאת, והיא זו שהובילה לפריחה של הלמידה-העמוקה.

ובכלל, זו הגזמה להכריז "זה עובד" על רשתות-מרקביות. אפילו בהקשר של רשתות-נוירונים הפופולריות שלהם מאז דעכה מאד (כי דברים אחרים עובדים טוב יותר), ושלא בקונטקסט-של-רשתות נוירונים הם (למיטב ידעתי) עובדים רק במקרים מאד מנוונים (נגיד, HMMs) או רק על הנייר (כל מה שקשור belief propagation...).

יש סביב הנושא הרבה הייפ, וכפועל יוצא הרבה אנשים עושים הרבה שטויות - אבל לכשעצמן, רשתות-נוירונים הן הצלחה אמיתית עם הישגים מאד מרשימים, ונכון להיום, אין להן תחרות אמיתית. זה לא טריק שיווקי.
רשתות נוירונים - AMA 698520
לא. התכוונתי ל HMM וזה בדיוק העניין. לא משתמשים בזה הרבה, אולי אם היה לזה שם יותר קליט אז היו משתמשים בזה יותר. וכמובן שם קליט בלבד זה לא מספיק, זה צריך להיות רלוונטי לבעיה
רשתות נוירונים - AMA 698527
טוב, כאן מן הסתם אין לי תימוכין חוץ מ-"נראה לי", אבל הרושם שלי הוא שמשתמשים ב-HMM היום (היכן שהגיוני לעשות כך) בערך במידה בה השתמשו בו לפני 20 שנה.

אבל האפלקטיביות של המודל מוגבלת: צריך מרחב-מצבים יחסית קטן, וצריך להתחייב על משפחה ספציפית של ההתפלגויות, וצריך שהמשפחה תהיה עם ייצוג פרמטרי מאד נוח (כמעט תמיד נורמלית או מיקס-גאוסני, קורה שפואסנית, ואני לא זוכר שראיתי דוגמאות אחרות). וכמובן, צריך שהמודל יתפוס את הדינמיקה של המערכת עליה עובדים. רשתות-נוירונים מאפשרות לפתור בעיות דומות בצורה הרבה יותר רובוסטית, ולתפוס דינמיקה הרבה יותר מורכבת, והרבה בעיות שלא היו פתירות לפני 20 שנה באמצעות HMMs נפתרו או שופרו משמעותית בשנים האחרונות (דוגמא קלאסית: text to speech).

(וחוץ מזה, אלגוריתמים כמו Viterbi או EM שימושיים גם מחוץ להקשר של HMMs).
רשתות נוירונים - AMA 698529
hmm זה דוגמא ולא העקרון.

שמעת על בסיס הנתונים 1010data? גם אני לא, עד לפני 5 דקות. יכול להיות שהוא היה מדהים והקדים את מתחריו ב 3 שנים לפחות בשנת 2002. אילו רק היה לו שם יותר קליט הוא היה ממריא.
רשתות נוירונים - AMA 698530
איבדתי אותך.
רשתות נוירונים - AMA 698531
הנה השתלשלות הפתיל כפי שאני רואה אותה.

יובל: עלה בדעתי שחלק (קטן) מהפופולריות של למידה עמוקה נובע מהשם המוצלח
פונז: מתפלא עליך, משתמשים בזה כי זה עובד
אח של: דווקא מסכים עם יובל. הנה נימוק בלה בלה והנה דוגמא לטכנולוגיה שהיא לא פופלרית במיוחד אבל אולי היה לה יותר פוטנציאל עם שם יותר טוב.
עומר: כן אבל יש עוד סיבות שהטכנלוגיה הזו לא פופולרית ולמידה עמוקה כן
אח של: הדוגמא לא עקרונית, הנה דוגמא אחרת למשהו כזה

ואני מזכיר שיובל כתב: חלק קטן
רשתות נוירונים - AMA 698532
אתה בטח מבין שדוגמא למשהו שלא הצליח עם שם גרוע לא מוכיחה כלום, בערך כמו דוגמה לשחקן הלא ידוע יוסי כהן שכנראה לא הצליח כי האות השלישית בשם שלו היא ס'. או אולי כי האוזניים שלו קצרות מדי. או אולי כי הוא מזל סרטן עם אופק לשור.
רשתות נוירונים - AMA 698533
רודני דנג'רפילד מספר איך שם יכול להיות בעייתי.
רשתות נוירונים - AMA 698538
מי דיבר על הוכחה? זאת היתה דוגמא. אילוסטרציה.
רשתות נוירונים - AMA 698540
כן, אפילו בתור דוגמה לא הבנתי למה היא תופסת, ראה מזל שור.
רשתות נוירונים - AMA 698542
טוב, יכול להיות שהדוגמא רק מקשה על הנקודה ולא תומכת בה. עזוב את הדוגמא.

הנה נימוק ללא דוגמא.

לאנשים יש העדפה (תת מודעת) לשמות מסויימים על פני אחרים, זה מעוגן בכל מיני תופעות אמפיריות מוכרות. למשל name bias, name letter effect.

[אני יודע שזה גם ביזנס גדול של כל מיני חברות ייעוץ לאיך לבחור את שם המותג שלך. והרבה פעמים ההצעות שלהן לא שוות את הכסף, בלשון המעטה. אבל יש לזה בסיס אמפירי.]

מה שאני אומר זה ששם מוצלח גם יכול לתרום תרומה קטנה להצלחה של טכנולוגיה מסוימת. בכל זאת גם גיקים הם אנשים והם לא חפים מהשפעות כאלה. ואני חושב שלמידה עמוקה זה שם מוצלח - אבל אין לי הוכחה אמפירית. בעיני זה מוצלח. אולי זה שם גרוע והטכנולוגיה הצליחה למרות השם הזה.
רשתות נוירונים - AMA 698543
טוב, מה אני יודע, כשהתחלתי להתוודע לטרנד הזה עוד קראו לזה רשתות נוירונים קונבולוציוניות מרובות שכבות.
כבר אז התוצאות נראו נאות.
רשתות נוירונים - AMA 698549
גם זה ששמעת על זה כבר אז, זה לא הוכחה לכלום.
רשתות נוירונים - AMA 698535
שמות נהדרים כמו קסנדרה או מונגו די בי (Mongo DB)?
רשתות נוירונים - AMA 698539
טובים בהרבה. הרבה יותר זכירים ופחות גנרים.

וכהקדמת תרופה למכה: ברור ששם זה לא קריטריון יחיד, אפשר להצליח גם עם שם גרוע.
רשתות נוירונים - AMA 698510
זאת באמת שאלה טובה האם שם מוצלח לשיטה (מדעית) יכול להגדיל, ולו בקצת, את הפופולריות שלה. אני לא מוכן להתחייב שבמקרה של למידה עמוקה התרומה של השם היא אפס עגול (אבל חושב שאם היא חיובית, היא קטנה מאד).

באוטוביוגרפיה (המרתקת) של סטן אולם, שכבר הזכרתי כמה פעמים באייל, הוא כתב על שיטת מונטה קרלו (שהוא היה אחד ההוגים שלה): "It seems to me that the name Monte Carlo contributed very much to the popularization of this procedure".

אני תוהה לאיזה שיטות מדעיות יש שם שמצלצל במיוחד גרוע. הכי טוב (כלומר גרוע) שמצאתי בחצי דקה של חשיבה זה Expectation Maximization.
רשתות נוירונים - AMA 698517
לא ממש מה שתמהת לגביו, אבל הנה פינת האסוציאציות החופשיות שלי:

1. המפץ הגדול, שם שהוצע ע"י פרד הויל כדי להגחיך את הרעיון ולא ממש הצליח לו.

2. שיטה דיגיטלית (יה! יה!) לדיאגנוזה של סרטן הערמונית. אחרי שתמהתי על מה מדובר התברר לי שמדובר ב digit במובן המקורי של המילה, כלומר אצבע (אתם יכולים לנחש בעצמכם לאן הרופא דוחף אותה).
רשתות נוירונים - AMA 698536
Simulated annealing .

רשתות נוירונים - AMA 698512
זו אולי מסביר את ההצלחה של המותג "למידה עמוקה" (נדמה לי שהשם עלה לראשונה כעשור או שניים לפני שהוא באמת תפס). התחום עצמו לא צריך מטא-הסבר להצלחתו.

יש המון "משפטי-אוניברסליות" מהצורה "כל רשת עם רק 2 שכבות (+אותיות קטנות) יכולה לייצג כל פונקציה", שמהן אפשר בטעות להבין שלא צריך עומק. אבל השאלה של ייצוג (capacity) היא לרוב לא באמת מעניינת, ויכולת-ההכללה היא הנקודה החשובה - וכאן כנראה שלעומק יש תפקיד חשוב. חלק גדול מזה מובן תאורטית ומתמטית, אבל השאלה אם נגיד 10 שכבות הן די והותר, או האם כל-המרבה-הרי-זה-משובח עדיין פתוחה.

הסיבה שרשתות עם יותר מ-‏2-3 שכבות הפכו לפופלריות בשנים האחרונות היא לא כי גילו שעומק עוזר, אלא פשוט כי סופסוף גילו איך אפשר (אלגוריתמית) לאמן כאלה רשתות.
רשתות נוירונים - AMA 698577
הייתי בהרצאה בת יומיים וחצי של מומחית לסטטיסטיקה וללמידה חישובית, שמחלקת את זמנה וגם את הרצאתה בין שני התחומים, ולפחות כמרצה היא תותחית-על. אחת ההבחנות שלה היתה שאלו שני תחומים דומים, וההבדל העיקרי הוא שסטטיסטיקאים קוראים לדברים בשמות משמעממים/שמרניים ואילו אנשי הל"ח קוראים לדברים בשמות מגניבים/יומרניים.

פונז - זה שקראו לזה בהתחלה "רשתות נוירונים קונבולוציוניות מרובות שכבות" הוא אולי דוגמה נגדית. אבל אולי דוגמה מחזקת? עובדה ש"הגניבו" את השם...
מדבר מה(סופר)פוזיציה 698578
זו קצת שאלת ביצה ותרנגולת, כי אולי השם "הוגנב" רק אחרי שהטרנד התפשט ממעבדות המומחים כמו אש בשדה קוצים?
ואז, מרגע שהיה צורך במאמרים פופולריים יותר במדיה הציבורית שמתארים את התופעה החדשה, הומצאו מושגים קליטים יותר שיתאימו לתיאור הזה?

רוצה לומר, "החתול של שרדינגר" הומצא יותר מעשור אחרי שהפיזיקאים כבר טחנו משוואות דיפרנציאליות של גלים ומטריצות הרמיטיות של אופרטורים שהצליחו לתאר את העולם בצורה חדשה ונפלאה מבלי להידרש למטאפורות מגניבות על חיות מחמד נפוצות.
רשתות נוירונים - AMA 698851
נכון מאד. טרבור הייסטי מאונ' סטנפורד, אחד האלילים של הלמידה הסטטיסטית‏1, נתן הרצאת keynote בכנס של האיגוד הישראלי לסטטיסטיקה לפני שנתיים. הוא אמר שם שהרבה מאד מהרעיונות החדשים לכאורה, שהופצו ע"י מדעני למידה עם שורשים במדעי המחשב, הם בעצם רעיונות ידועים היטב בסטטיסטיקה כבר משנות השמונים והתשעים, והוא מתפלא שרק בשנים האחרונות התפוצץ כל ההייפ הזה.

מותר לשאול מה שמה של המומחית?
____________________
1. בין השאר, אחד ממחברי the Elements of Statistical Learning.
רשתות נוירונים - AMA 698861
קאסי קוזירקוב.
רשתות נוירונים - AMA 699747
יש לה בלוג חדש, עם פוסט יחיד בינתיים שהוא הסבר קצרצר להדיוטות על מה זה למידת מכונה.
רשתות נוירונים - AMA 699748
כשנתקלתי באחת הכותרות שלה בהסבר ללמידת מכונה: Explain with examples, not instructions, נזכרתי במשהו שרציתי לכתוב כאן מזמן בקשר לויכוחים ארוכים בנושא אחר לגמרי - "מהי אמנות".
מהלך אופייני בויכוח כזה הוא שלבסוף מתכנסים לאמירה שמאחר ואתה לא יכול *להגדיר* מהי אמנות, כל ויכוח לגבי האם תערוכה או מוצג כזה או אחר הם 'אמנות' נידון לכשלון בגלל שאנחנו לא מצליחים לנסח הגדרה מדויקת מספיק למהי אמנות.
באה למידת המכונה ומבהירה לנו שהדרישה להגדרה (=תיאור מילולי קצר=תיאור אלגוריתם לסיווג אמנות/לא אמנות=instructions בציטוט לעיל) היא ארכאית בערך כמו הדרישה לקרוא 'דואר' רק למשהו שיש עליו בול ודבק או הדרישה להגדיר 'טלפון' כמשהו שיש לו חוט שקשור לקיר.
אומרת למידת המכונה - סיווג שנלמד על פי דוגמאות ולא על פי הוראות/הגדרות/עצי החלטה פשוטים, הוא לגיטימי לא פחות מהסיווג הישן, וממשיכה ומלמדת אותנו ה'למידה העמוקה' שסיווג כזה הוא הרבה יותר מדויק ומוצלח מהישן.
לך לרשת הנוירונים העמוקה המובילה היום בסיווג תמונות ל'כלב' ו'חתול' ותשאל אותה על תמונה מסוימת 'למה החלטת שזה חתול' - שזה מקביל אולי לשאלה 'לאיזה "הגדרות" של חתול היא מתאימה' - והיא תצחק לך בפנים, תכנת פורטרן מהאייטיז שכמוך, ואם תתעקש תענה לך בטבלה ארוכה ומפורטת של עשרות מיליוני המשקלות ברשת שהם אלה שמחליטים שזה חתול.

אז לסיכום, אם לא הובנתי עד כה, מה שלמדנו מלמידת מכונה זה שקיום 'הגדרה' למושג כלשהוא איננו תנאי הכרחי לסיווג לגיטימי ובר סמכא של אותו מושג, ושהמשפט הנושן לגבי פורנוגרפיה, ואולי גם אמנות - אני לא יודע להגדיר לך את זה, אבל כשאראה את זה אדע - לא מראה על מגבלת הידיעה שלנו, אלא להיפך, על התוקף הלגיטימי והמוצק של ידיעה שמבוססת על דוגמאות אינספור.
יש לך ספק אם יצירה מסוימת היא אמנות? תראה לי אותה ובוא נתווכח, ואל תתחמק בטיעונים פילוסופיים של חוסר הגדרות. אלא אם בא לך לכתוב פורטרן על מיין פריים, סטייה לגיטימית אבל ארכאית למדי.
רשתות נוירונים - AMA 699749
יפה. אתה יכול להשתמש בזה כדי לשים בצד את חיפוש ההגדרה לאמנות כשהוא לצורך הבנת אידיאת האמנות, או כדי להסביר למה החתונה בכנא היא אמנות. אבל במקומות כמו "האייל" מחפשים הגדרה לאמנות יותר מכל כדי לנסות לשכנע שברודווי בוגי ווגי הוא כן או לא אמנות, כשהסיבה לויכוח היא שזו יצירה על אזור הגבול של התיחום הקונצנזואלי. אני חושב מזמן שהשאלות מהסוג הזה לרוב לא מעניינות, ושניסיון לענות עליהן לפי הגדרה הוא סרק, אבל לא ברור לי שרשתות עצביות הן טיעון חזק בעניין.
רשתות נוירונים - AMA 699760
אם אתה כבר מניח ש''ניסיון לענות עליהן לפי הגדרה הוא סרק'', אז אכן הטיעון שלי לא מוסיף לך הרבה.
למי שעדיין חושב שסיווג על פי הגדרה הוא קריטריון חשוב ומעלה את הטיעון הזה בויכוח, אותו הטיעון שלי אמור ללמד שכדאי שיחשוב שנית.
רשתות נוירונים - AMA 699750
>> סיווג שנלמד על פי דוגמאות ולא על פי הוראות/הגדרות/עצי החלטה פשוטים, הוא לגיטימי לא פחות מהסיווג הישן

אבל שורש הבעיה הוא שיש דוגמאות שהסיווג שלהן שנוי במחלוקת, לא? יש מי שחושב שמשתנה היא אמנות, ויש מי שלא, אז איך תסווג (בשלב האימון) משתנה?
מה משתנה הלילה הזה 699761
שים לב שהטיעון העיקרי שלי הוא לא שיש לי פתרון לשאלת "האם משתנה היא אמנות", אלא שמי שטוען שאי אפשר לדון בשאלה הזאת לפני שהגדרנו "אמנות" טועה.

ספציפית לגבי השאלה שלך, אולי בכלל מה שראוי לשאול הוא - בהינתן לימוד על היסטוריה ענפה (בטרם משתנה), מה תאמר הרשת על משתנה.
ויטענו אנשי ה-AI הקשה: אבל זה בדיוק הניסוי שעשינו, נתנו לאלפי רשתות כאלה (משוכנות היטב במוחות אנושיים) שלמדו על דוגמאות עד כה, את הדוגמית החדשה - משתנה - ושאלנו אותן האם זו אמנות. חלק טענו שכן, וחלק שלא.
אולי טענת משנה חלשה יותר שעולה מהטיעון שלי, היא שטיעונים כמו "מאחר שהדוגמית החדש דומה למוצג שראיתי לפני שנתיים כאן ואכן, ולזה שראיתי לפני 4 שנים כאן וכאן וגו', ולכן גם זו אמנות" הם תקפים ומשמעותיים יותר מאשר "לפי מילון שטיינוביץ'-ולדיסימוביץ' לאומנות פלסטית לדורותיה, המשתנה עומדת בקריטריונים 2.א ו-‏4.ב.(3), ולכן מקומה אומנותה".
מה משתנה הלילה הזה 699841
אז אני מצטרף לטיעון של "אנשי ה-AI הקשה".
מה משתנה הלילה הזה 699847
ואני חוזר לטענה העיקרית שלי, מסכים שטענת המשנה לא מכריעה את השאלה.
מה משתנה הלילה הזה 699852
מסכים איתך שרשתות נוירונים יצרו דרך שמאפשרת (עקרונית) להכריע האם אובייקט מסוים הוא אמנות או לא, בלי לנסח הגדרה מדויקת ל''מה זה אמנות''. אני רק אומר שהדרך החדשה הזו לא שווה הרבה בעיניי במקרי הקצה, נוסח המשתנה של דושאן, שעליהם בני האדם ממשיכים להתווכח.
מה משתנה הלילה הזה 699856
אני מסכים שהדרך החדשה לא פותרת את בעיית הסיווג, היא רק ''פותרת'' או מורידה מהשולחן טיעון מקובל בקשר לבעייה, שמסיט את הדיון (הראוי לטעמי) במקרי הקצה להתפלספויות לא רלבנטיות.
מה משתנה הלילה הזה 699874
אין לי דרך להראות את זה אבל ההרגשה שלי שמי שעדיין מתווכח על המשתנה של דושאן זה בעיקר הקישונים של העולם, השוליים הנוקשים. והקישונים הם בעצם מהמילייה האומנותי.
רשתות נוירונים - AMA 698856
בצעתי חיפוש באתר ונראה לי שאת האנקדוטה הזאת עדיין לא ספרתי‏1, ולכן אספר אותה עכשיו. זה היה בשנות ה 60. קבוצה של סטודנטים נחה על הדשא באוניברסיטה העברית בירושלים. סטודנטית התקרבה לקבוצה ופנתה אליהם: אתם לומדים במקרה סטטיסטיקה? אחד הסטודנטים (לימים פרופסור עוזי סמילנסקי) השיב: אנחנו בכוונה לא לומדים סטטיסטיקה. (אני מקווה וגם בטוח שאיש לא נעלב.)

1 כיוון שמלאי האנקדוטות שאני זוכר בוודאי אינו אין סופי, כל פעם שאני עומד לספר אחת מהן אני בודק אם לא ספרתי אותה כבר, כי מאד סביר שכן.
רשתות נוירונים - AMA 698404
אתה יכול להסביר קצת יותר בעניין ה-xor? מהן אותן "רשתות של נוירונים לינארים" ומה הבדל ביניהן לבין הרשתות המודרניות?

(זכור לי שבשעתי גם אני התאכזבתי מאד כשקראתי איפשהו על המגבלה ההיא).
רשתות נוירונים - AMA 698411
(זה באמת נושא *הרבה* יותר פשוט מהרושם שההסבר המסורבל שלי כאן עשוי ליצור...)

פונקציית ה-xor היא פונקציה בוליאנית פשוטה שאת טבלת-האמת שלה אפשר לראות כאן XOR_gate [Wikipedia]. נגיד שרוצים ללמוד אותה: הקלט יהיה טבלת האמת שמופיעה בערך (בסה"כ 4 דגימות), ואחרי האימון - אם הוא נעשה בהצלחה - תוכל להציג לרשת זוג של ערכים בוליאנים, היא תחזיר את התוצאה של הפעלת xor עליהם (למשל עבור הקלט (0,0) היא תחזיר 0, ועבור הקלט (0,1) היא תחזיר 1).

אפשר לחשוב על הבעיה כבעיית קלאסיפיקציה, בה על הרשת להתאים לזוג-סדור של ערכים בוליאניים את התווית "0" או את התווית "1". מודל קלאסיפקציה לינארי, הוא כזה שינסה לפתור את הבעיה על ידי מציאת "מישור מפריד" במרחב הקלט שמצד אחד שלו מצויים כל הקלטים להם מתאימה התווית "0" ומצידו אחר מצויים כל הקלטים להם מתאימה התווית "1". פונקציות בוליאניות כמו and או or אפשר ללמוד באופן הזה, אבל את הפונקציה xor אי אפשר (המחשה).

"מסתבר" שאם מרכיבים הרבה מודלים לינארים קטנים (לא משנה כמה מהם, ולא משנה איך מרכיבים אותם) - התוצאה המתקבלת היא מודל לינארי. לכן רשתות מסובכות וגדולות כרצונך המורכבות אך ורק מ-"נוירונים לינאריים" לעולם לא תוכלנה ללמוד פונקציה פשוטה כמו xor.

הנושא והמציאות ההיסטורית קצת מורכבים יותר: פרספטרונים - גם בשנות השישים - הם לא "נוירונים לינארים", למרות שבפני עצמם הם כן "מודלים לינארים". אז רשת של פרספטרונים בעלת-שכבה אחת לא יכולה ללמוד את פונקציית xor, אבל רשת בעלת שתי שכבות של פרספטרונים כן יכולה - ולמעשה יש "משפט אוניברסליות" שאומר שרשת כזו יכולה ללמוד כל פונקציה סבירה.
רשתות נוירונים - AMA 698415
שוב, תודה רבה.
ההפתעות שמחכות לנו... 698792
אפשר לנחש ששנות הילדות של המכונית האוטונומית יביאו איתן גם מקרים משונים ביותר שאף אחד לא חזה במהלך הניסויים. המקרה הזה שמביא רועי צזנה ממחיש את הרעיון. נזכרתי שבאליפות העולם הראשונה (או השניה) בשחמט למחשבים, תוכנה אחת הגיעה למצב זכוי של מט בשני מהלכים, מצב שהיא זיהתה נכון, אבל במקום לעשות מה שכל בן אנוש היה עושה היא החליטה שמצב כזה הוא לא פחות טוב מניצחון ולכן לא ביצעה את המהלך הדרוש אלא מהלך אחר שהותיר את המצב של מט בשניים על כנו. אחרי עוד כמה מסעים המשחק הסתיים בתיקו.

בעולם של אז היה מדובר בבאג קל לאיתור ולתיקון, בעולם של רשתות נוירונים זה עלול להיות יותר מסובך.
ההפתעות שמחכות לנו... 698800
נדמה לי שזה מקרה פרטי של בעיה יותר עקרונית שנקראת value learning problem - איך לגרום לתוכנה לעשות מה שאנחנו "התכוונו" שהיא תעשה, מבלי תוצאות בלתי צפויות ובלתי רצויות - כמו לפגוע באנשים אחרים בדרך, להתאבד וכו'. זה נושא יחסית חדש, יש כמה פתרונות מעניינים כמו cooperative inverse reinforcement learning שזה, ממש בקצרה, מעין "משחק" שבו התוכנה מנסה להסיק מה המורה האנושי שלה מעריך, ע"י התבוננות בתגובות שלו לפעולות שלה.
ההפתעות שמחכות לנו... 698814
אה, זה בדיוק מה שרשת הנוירונים האנושית עושה בדייט, הלא כן?
ההפתעות שמחכות לנו... 698816
דוגמא יפה, כי אנחנו לא באמת יודעים מה נשים רוצות. ומתי מה שאמרת זו טעות איומה.. אנחנו רק יכולים להעריך לפי התגובה..

חזרה לעמוד הראשי פרסום תגובה למאמר

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים