בתשובה לשוטה הכפר הגלובלי, 28/03/18 11:11
תשע (מליון) בכיכר ביום שישי 698269
חזרתי למאמר כדי לקרוא אותו ומסתבר שאנחנו לא מדברים כלל על אותו דבר. במאמר מדובר על פענוח תמונות של דימות צילומי רנטגן סי טי אם אר אי וכדומה, והמטרה היא להחליף את המקצוע שנקרא ''רדיולוג''. לא על כך דיברתי. אני התכוונתי לעבודתם של פתולוגים שמסתכלים דרך מקרוסקופ על תאים בביופסיה שנלקחה מהרקמה. זה גם קשור ברפואה אבל משהו אחר.
תשע (מליון) בכיכר ביום שישי 698271
אני חושב שפתולוגיה על-ידי מחשב עדיין לא נפתרה, אבל די בטוח שזה עניין של שלוש שנים בערך. אני לא חושב שיש שם אתגר מהותי שלא פתרו כבר.
תשע (מליון) בכיכר ביום שישי 698275
אותו חבר עליו ספרתי בתגובה 698264 שהוא אדם לא טיפש כלל וזכויותיו ומעשיו רבים, יצא לדרכו בדעה דומה לשלך וחזר בדעה ש"הם" (הפתולוגים) לא יודעים שום דבר וכל השיטה שבה מסתמכים על איזה "גורו" שווה ל. . . כי אם אי אפשר לעשות את זה בעזרת מחשב אין שם שום דבר. אז תיזהר שלא תשלים את הדרך כמוהו. אנו מסתמכים על "גורואים", ובדרך כלל השיטה הזאת מוכיחה את עצמה למרות שיש מדי פעם טעויות. שנים רבות עוסקים בהטלת המשימה הזאת על מחשב וזה לא הולך. איני יודע מה המיוחד בשלש השנים הקרובות.
תשע (מליון) בכיכר ביום שישי 698278
אני לא בטוח אם שלוש השנים הבאות מיוחדות, אבל שלוש השנים הקודמות (מאז שיחתך עם חברך) ראו קפיצות מדרגה בפתרון בעיות דומות (ר' אבחון באמצעות רשתית בתגובה של צפריר).

צריך אולי להבהיר שה"הבטחה" שלי היא שמחשב יהיה טוב כמו מיטב המומחים האנושיים, ויותר טוב ממרבית המומחים. להבטיח שהוא יהיה יותר טוב ממיטב המומחים זה כבר סיפור אחר. זה אפשרי רק אם אתה מלמד את המחשב לא לפי תיוגים של מומחים אלא לפי מה קרה לפציינט בסוף (אבל אז אני מניח שהזיהוי לא יהיה של סוג הסרטן, אלא רק "מצב קטלני/מצב יציב בהינתן טיפול X"). אבל זה אולי יותר קשה, לפחות מבחינת השגת הנתונים.

במקרה עוד יותר קיצוני, שאולי אתה רומז אליו בביקורת של החבר שלך על הפתולוגים, פשוט אין אינפורמציה של ממש שמקודדת במראה התאים במיקרוסקופ - ואז זו בעיה. במילים אחרות, אני לא חושב שמחשב יכול להיות טוב באסטרולוגיה. אבל זיהוי סרטן ממורפולוגיה של תאים היא אלף בית של אונקולוגיה, לא?
תשע (מליון) בכיכר ביום שישי 698282
תזכורת: לפני שלוש שנים אלוף העולם במשחק גו היה בנוי מתרכובות פחממניות, וכמעט כל המומחים ניבאו שזה לא הולך להשתנות בקרוב. מאז לא רק שהוא הוכה, גם התוכנה שניצחה אותו - AlphaGo - הובסה מאז בתוצאה 100:0 ע"י גירסה מתקדמת יותר שלה, שלא מתבססת על לימוד של משחקים של בני אדם. המצב שונה מפתולוגיה כי במקרה של גו קל לדעת אם ניצחת או הפסדת בכל אחד מטריליון המשחקים שאתה משחק נגד עצמך, אבל אני חושב שיש מספיק מידע על מהלך המחלה של חולים כדי להשאיר מקום לאופטימיות.

שאלה למבינים: האם יש קושי עקרוני להפעיל את השיטות הקיימות של deep learning על הבעיה של תכנון רשתות טובות יותר, או שהסינגולריות כבר (כמעט) כאן?
תשע (מליון) בכיכר ביום שישי 698294
למה בדיוק אתה מתכוון ב"תכנון רשתות טובות יותר"? אני חושב שברוב הבעיות האתגר הוא לא תכנון הרשת - רשת עצבית הוא דבר גנרי למדי - אלא הניסוח המתאים של הבעיה, מציאת דוגמאות הלימוד, סטנדרטיזציה שלהן, תיוגן על-ידי אנשים, וכן הלאה - בזה יש עוד עבודה לאנשים כמה וכמה שנים. בעצם אלו בכלל לא בעיות למידה.
תשע (מליון) בכיכר ביום שישי 698298
האמת היא שאני יודע בערך כלום על רשתות נוירונים, עמוקות או רדודות, אבל דומני ש-AlphaGo, DeepBlue ו-Watson אינן בדיוק אותה ארכיטקטורה/תוכנה.

אולי צריך לשאול שאלה אחרת: האם יש הוכחה שרשת נוירונים גדולה אחת יכולה לעשות כל מה שהרבה רשתות שמחוברות זו לזו ברשת-על יכולות, ובאותו סדר גודל של מספר חישובים? אני שואל כי המוח שלנו בטח דומה יותר לארכיטקטורה השניה. טוב, אני עומד לשמוע את מיכאל גלעד, אולי לפני שהוא מתחיל לכפול וקטורים מימין ומשמאל אצליח להבין משהו.
תשע (מליון) בכיכר ביום שישי 698310
כשאתה מדבר על "מה יכולה רשת נוירונים לעשות" אני לא מבין. אני אסביר מה אני כן מבין (ההשכלה שלי היא לא הרבה מעבר לאותה סדנה בת יומיים, ששילבה תיאוריה עם פרקטיקה).

לרשת נוירונים נתונה יש מספר נתון של נוירונים במספר נתון של שכבות. בהתחלה היא לוח חלק. ואז מאמנים אותה על הרבה קלטים, כולם מאותו סוג, במטרה לטפל ממש ממש טוב בקלטים דומים. בסוף מקבלים רשת מאומנת, שעושה (בשאיפה) ממש טוב את אותה משימה מצומצמת. זה הסוג הנפוץ ביותר של רשתות עצביות, ומה שהוא יודע לפתור זה בעיות סיווג (איזה סוג מכונית בתמונה), או מתן ציונים (עד כמה הפודל הזה יפה).

יש סוג אחר, דוגמת אלפא גו, שיודע לפתור את הבעיה "מה המהלך הבא האופטימלי". ויש סוג שלישי, שמזינים לו קלטים בלי לתת להם ציונים, והוא מצליח אולי לזהות בהם תבניות (אבל לא לומר בעצמו משהו סמנטי עליהן). בכל הסוגים, רשת נתונה שעברה אימון יודעת לפתור בעיה אחת מצומצמת ומוגדרת. חשוב לשים לב שחלק מהמשימות שהמוח האנושי עושה לא ניתנות בקלות לרדוקציה לאחד משלושת סוגי הבעיות שרשתות עצביות יודעות עקרונית לעשות. אני לא מדבר אפילו על רגש או על תכלית, אלא למשל על הוכחת משפטים במתמטיקה, או משימות תכנות.

חזרה למונחים שדיברת עליהם: כשאתה שואל "מה יכולה רשת הנוירונים לעשות", השאלה אם אתה מדבר על רשת בתולה (יש לה פוטנציאל מגוון מאוד, אבל בינתיים היא לא יכולה לעשות כלום), או על רשת מאומנת (יכולה לעשות מצוין (לפעמים) משהו אחד מצומצם).

בכל הסוגים, יש סיכוי מסוים שרשת עם יותר נוירונים ביותר שכבות תצליח יותר טוב (אני מנחש שאין לזה הוכחה, כי לא יודעים להוכיח כלום ברשתות עצביות. אני מניח שבקירוב מסוים זה נכון, הסתברותית).

אני לא חושב שמישהו יודע לומר משהו אינטליגנטי על "רשתות שמחוברות זו לזו בעל-רשת".
תשע (מליון) בכיכר ביום שישי 698324
תודה.

אחרי ששלחת את השאלה עלתה במוחי המחשבה הטריביאלית שבעצם רשת אחת גדולה מכילה באופן אינהרנטי "הרבה רשתות שמחוברות ברשת-על" (פשוט ע"י איפוס הפרמטר של עוצמת הקשר בין הנוירונים מרשת אחת לאחרת) בכל רמה או בחלק מהן, כך שהשאלה שהעליתי אולי די מטופשת. עדיין יש לי הרבה שאלות בעניין, בעיקר בשאלות הקשר בין רשתות נוירונים לבין דפוס הפעולה של המוח (מערכת הראיה מן הסתם פועלת די דומה לר"נ, אבל כפי שציינת ייתכן שהמצב שונה לגמרי לגבי פעולות חישוביות אחרות) אבל חושבני שלא אטריד בכך את הציבור עד שלא אבין קצת יותר בעצמי, אם בכלל.

למעונינים, לדעתי סדרת הסרטונים שמתחילה כאן מהווה נקודת פתיחה טובה.

חקסמח.
תיקון 698326
צ"ל: "אחרי ששלחתי את השאלה...".
תשע (מליון) בכיכר ביום שישי 698333
משפט ששמעתי משני מרצים שונים על רשתות עצביות, אבל אני לא יודע לנמק אותו לעומק, הוא שהקשר בינן לבין המוח האנושי הוא משהו שבהתחלה חשבו שקיים, או שהיה השראה עמומה, אבל היום אף אחד לא חושב ברצינות שזה דומה.
תשע (מליון) בכיכר ביום שישי 699823
אולי זה עומד להשתנות
תשע (מליון) בכיכר ביום שישי 707809
אם למישהו יש שעתיים להשקיע בראיון פוקח עיניים בשאלה זאת, אני בהחלט ממליץ.

אחחח, אילו הייתי היום בן 21...
תשע (מליון) בכיכר ביום שישי 707810
אילו היית היום בן 21...? מה? מה היית עושה? אל תשאיר אותי במתח.
תשע (מליון) בכיכר ביום שישי 707812
זה לא ברור מנוסח ההודעה? הייתי הולך ללמוד מדעי המוח.
תשע (מליון) בכיכר ביום שישי 707816
למד מדעי המוח לפני שמדעי המוח ילמדו עליך
תשע (מליון) בכיכר ביום שישי 707811
גם אני במתח. אנא ספר.
תשע (מליון) בכיכר ביום שישי 698445
או, עוד מישהו שמכיר את הסרטונים של 3blue1brown! הבנאדם גאון פדגוגי-מתמטי. סידרת הסרטונים שלו על אלגברה לינארית פתחה לי כמה צ'קרות.
תשע (מליון) בכיכר ביום שישי 698447
באמת משובח!

ועכשיו אני סקרן לדעת - איך מכינים אנימציה שכזאת בתקציב סביר?
תשע (מליון) בכיכר ביום שישי 698450
הכל אצלו מתוכנת בפייתון (!), ואפשר להוריד את כל הקוד מ-github, לגמרי בחינם. הוא לא רק גאון אלא גם נשמה טובה (ואני גאה לתמוך בו ב-patreon).
תשע (מליון) בכיכר ביום שישי 698452
באמת יפה מאוד!
תשע (מליון) בכיכר ביום שישי 712059
ביום שיותר אנשים יידעו מי זה גראנט סנדרסון מאשר מיהו דני סנדרסון נדע שהמשיח הגיע. ולא שיש לי משהו נגד דני סנדרסון.
תשע (מליון) בכיכר ביום שישי 712066
תנוח דעתך, הדור הצעיר לא יודע מי זה דני סנדרסון, כך שזה נעשה קל יותר משנה לשנה.
תשע (מליון) בכיכר ביום שישי 712070
לערוץ שלו יש 2.3 מיליון עוקבים. אני לא אתפלא אם היום שהזכרת כבר הגיע.
תשע (מליון) בכיכר ביום שישי 712071
:-)

שכחתי את קיומם של 7 מיליארד גויים ימ"ש.
תשע (מליון) בכיכר ביום שישי 698325
למה אתה מתכוון בזה:

ײחשוב לשים לב שחלק מהמשימות שהמוח האנושי עושה לא ניתנות בקלות לרדוקציה לאחד משלושת סוגי הבעיות שרשתות עצביות יודעות עקרונית לעשות. אני לא מדבר אפילו על רגש או על תכלית, אלא למשל על הוכחת משפטים במתמטיקה, או משימות תכנות.ײ

קצת מוזר לי בהנתן שסוגים מסויימים של רשתות הן turing complete, אני מניח שהנקודה המעניינת היא ײבקלותײ. אתה יכול להרחיב?
תשע (מליון) בכיכר ביום שישי 698334
אני לא בטוח למה הכוונה ברשתות שהן טיורינג-שלמות. אם אתה רוצה תפרט, אבל בכל מקרה, אין לנו אלגוריתם להוכחת משפטים במתמטיקה או לתכנות ברמה שמתחילה אפילו לדגדג בני אדם (מומחים), אז מה עוזר אם רשת עצבית היא טיורינג-שלמה?

אני לא כל כך יודע מה מעניין בטענה שלי שהבעיות האלו לא ניתנות בקלות לרדוקציה לבעיית סיווג או דירוג או איפטום-המהלך-הבא או זיהוי תבניות בקלט. זו לא טענה מלומדת. אם למישהו יש רעיון איך לעשות רדוקציה כזו, או קישור למחקרים שעשו זאת, זה יהיה מעניין.

הוספתי "בקלות" כי אם מתעלמים מבעיות סיבוכיות או רמות אבסטרקציה אז זה קל. רוצה תוכנית שמסדרת רשימת מספרים, או תוכנית למשחק אנגרי בירדז? קל מאוד כבעיית סיווג: ייצר הרבה תוכניות אקראיות (או אפילו בצורה חצי-אינטליגנטית עם היורוסטיקות), תן למתכנת (או לקוד מחשב שאינו רשת עצבית) לסווג אותן ל"תוכנת אנגרי בירדז"/"לא תוכנת אנגרי בירדז". מצא פרמטרים רלוונטיים‏1 והזן לתוכנת רשת עצבית. אמן את הרשת העצבית, וכשהיא מוכנה הזן לתוכה עוד יותר הרבה תוכניות אקראיות. ברגע שהיא תודיע על אחת מהן "אה, זו בהסתברות גבוהה תוכנת אנגרי בירדז", עצור. הנה קיבלנו מערכת מחשב שעיקרה רשת עצבית והיא מתכנתת אנגרי בירדז (בסבירות גבוהה).

1 מה הבעיה למצוא פרמטרים רלוונטיים? כזכור, אני מתעלם מבעיות סיבוכיות או רמות אבסטרקציה, אז לצורך העניין נתייחס לקוד המחשב בקלט כמחרוזת של תווים. הפרמטרים הרלוונטיים הם (1) התו הראשון במחרוזת, (2) התו השני במחרוזת, (3)...
כן, אני יכול לחשוב בעצמי על האופטימיזציה המופלאה של להתייחס ל-tokens בשפת התכנות במקום לתווים.

אוקיי, "רדוקציה בקלות" היא לא המילה הכי מתאימה כאן. מה שאנחנו רוצים הוא "רדוקציה סבירה", בלי לרדת יותר מדי רמות אבסרטקציה ולעלות יותר מדי סדרי גודל ברמת הפירוט.
תשע (מליון) בכיכר ביום שישי 698337
אוקי, תודה על התשובה.

אני חושב שצריך לדייק במשפט ײאין לנו אלגוריתם להוכחת משפטים במתמטיקה או לתכנות ברמה שמתחילה אפילו לדגדג.. ײ. אם מדובר על אלגוריתם שיכול להוכיח כל משפט, או לתכנת כל דבר - זה משהו שגובל בבינה כללית, לא? (בלשון המעטה. זה קשה גם למומחים אנושיים). ברור שאנחנו רחוקים מזה.

אבל אם מדובר בהוכחת משפטים ספציפיים במתמטיקה, זה דווקא תחום מאד וותיק במדעי המחשב ועם הישגים (כלומר, הצליח להוכיח משפטים שבני אדם לא הצליחו). לגבי הקשר של רשתות עצביות לתחום: אני משאיר כאן קישור למאמר שהכותרת שלו היא Deep network guided proof search.

לגבי תכנות.. תחשוב על האלגוריתם שמאמן רשתות ניורונים. זוהי משימת תכנות פרופר (לייצר קוד שמסווג משהו). רק כאן, דווקא המומחה האנושי לא מדגדג את ההישגים של הרובוט המאמן.

בהקשר לײאפטמום המהלך הבאײ - אם אני חושב על machine learning ועל תת התחום supervised learning - הוא נשמע לי כמו בעיית אופטימזציה קלאסית. יש לך אוסף כלים כלשהו (לוח וגיר, דוגמאות אימון, פרמטרים של רשת הניורונים, מה שתרצה) ובעזרתם אתה צריך לגרום לתלמיד לקבל ציון כמה שיותר טוב - ותוך זמן סביר. כלומר אתה צריך לבחור בתבונה מה הכלי הבא אותו אתה מפעיל. דווקא נשמע לי מתבקש להשתמש ברשת נירונים כדי לתכנת (כלומר לאמן) תוכנות אחרות.
תשע (מליון) בכיכר ביום שישי 698340
אפטום המהלך הבא הוא אחד מסוגי הבעיות שהתחייסתי אליהן כבעיות מתאימות לרשת נוירונים.
תשע (מליון) בכיכר ביום שישי 698341
אבל התייחסת לתכנות כאל בעיה בלתי מתאימה.
הראיתי איך היא כן - אפשר להשתמש ברשתות ל supervised learning
תשע (מליון) בכיכר ביום שישי 698353
אז לא הבנתי את כוונתך, ואני עדיין לא. "עבודה של מתכנת" היא (לצורך העניין) קבלת מפרט לתוכנה בשפה אנושית, והפקת קוד מחשב שיבצע את המפרט. האם אתה יכול להראות איך מגיעים באמצעות למידה מפוקחת לרשת נוירונים שתעשה את זה?
תשע (מליון) בכיכר ביום שישי 698357
''מפרט לתוכנה בשפה אנושית'' הוא להבנתי בעיית בינה כללית.
''מפרט למסווג שיודע לזהות הונאות כרטיס אשראי בהתבסס על אוסף דוגמאות'' הוא בעיני גם בעיה תכנות, רק בעייה ספציפית שבעבר העסיקה מתכנתים אנושיים. וכאן יש אלגוריתם שמשאיר אבק למתכנתים אנושיים.
תשע (מליון) בכיכר ביום שישי 698359
אוקיי, ברור. כשכתבתי ''משימות תכנות לא ניתנות בקלות לרדוקציה לאחד משלושת סוגי הבעיות שרשתות עצביות יודעות עקרונית לעשות.'' לא התכוונתי שאף משימת תכנות אינה ניתנת וגו' - הרי כל רשת עצבית פותרת משהו שאפשר היה לממש (פחות טוב) כמשימת תכנות קלאסית. התכוונתי שמגוון משימות התכנות שמתכנת אנושי ממוצע יכול לעשות לא ניתן וגו'.
תשע (מליון) בכיכר ביום שישי 699786
הרעיון שגם תהליך הלמידה של הרשת לא מחייב התערבות אנושית נשמע לי מגניב בהחלט. אני מתאר לעצמי שבלב הבא יוותרו על השתתפות אנושית גם בנסיעות עצמן. מכוניות אוטונומיות ללא נהג ונוסעים ישוטטו להן בדרכים בשעה שאנחנו נתפנה לדברים חשובים יותר כמו שיגור תגובות לאייל.
תשע (מליון) בכיכר ביום שישי 699798
רעיון נחמד, אבל מי ישלם על הדלק?
תשע (מליון) בכיכר ביום שישי 699805
אח, אתה בטח זוכר שלאפרים קישון זכות יוצרים על רעיון דומה. קומביין שחורש, זורע, קוצר, טוחן, אופה ואוכל.
תשע (מליון) בכיכר ביום שישי 699820
בארור.

יותר קרוב לנושא שלנו, כשהוא שמע שיש מחשבים שמשחקים שח הוא אמר שהוא יקנה שניים שישחקו זה עם זה והוא יוכל ללכת לראות סרט. ברוח הדברים, פעם הדפסנו חומר כל כך סודי שהצענו לחבר את המדפסת ישירות למגרסה (קישון הציע שילוב של עיפרון ומחק לקבלת תוצאה דומה עבור מסמכים ידניים).
תשע (מליון) בכיכר ביום שישי 699825
ברוח הימים האחרונים, צריך לפתח מכונה שמוחקת את זכרונם של אנשים מסוימים מיד כשהם שומעים חומרים סודיים ביותר.
בעצם, אולי זה כבר בפיתוח, כרגע נראה רק שהמכונה מוחקת תפקודים מוחיים אחרים ולאו דוקא את הזכרון.
תשע (מליון) בכיכר ביום שישי 698284
(מצטרף לדיון במקום אקראי)

בלי להמעיט מהחשיבות ומהפוטנציאל של למידה עמוקה, יש פה אולי עוד שותפים לסנטימנט שלי, שרשתות נוירונים הן אובייקט מתמטי משעמם ומגושם?
תשע (מליון) בכיכר ביום שישי 698286
א. כן, יש.
ב. יש כאלה שמנסים בכל זאת למצוא את התיאוריה המתימטית האסתטית יותר שעומדת מאחורי ערימת החוטים המשעממת ומגושמת - ראה למשל ההרצאה הזאת של מיקי אלעד שמנסה לקשר רשתות נוירונים עמוקות לייצוגים ספארסיים‏1 של תמונות.
ההרצאה מומלצת גם כי היא שוטפת ומעניינת והמרצה עושה מלאכתו נאמנה, אבל אני מזהיר מראש (אחרים, לא את יובל כמובן) שבניגוד לקישור אחר ששמתי כאן, היא הופכת לטכנית די מהר ומכפילה מטריצות ווקטורים על ימין ועל שמאל‏2.

1 אשמח למילה עברית טובה יותר בשביל Sparse.
2 הכנס בדיחה אולטרה-גיקית על מתי זה מותר כי מרחבים דואליים, קו-וקטורים ובלה בלה בלה.
תשע (מליון) בכיכר ביום שישי 698288
תודה, אצפה בהרצאה הזו מאוחר יותר.

התרגום המקובל ל-sparse בהקשר של מטריצות הוא "דליל", אבל אולי כאן יותר יתאים "חסכוני".
תשע (מליון) בכיכר ביום שישי 698291
קרוב לודאי שאתה טועה בגדול. רשתות עצביות הן נושא מרתק ומהפכני שטומן בחובו מתמטיקה מרגשת וחדשנית. מי ששם לעצמו יעד של להגיע להבנה מעמיקה של התחום, יגלה שיש כאן נושא מורכב וקשה מאד שלפחות בעבר רב היה בו הנסתר על הנגלה.
הבעייה הכמעט יחידה של התחום בעבר (נניח לפני חילופי האלף), היו ההישגים והביצועים המאכזבים ממש. אומרים לי כאן שהתמונה השתנתה ומשתנה בימים אלו ממש.
אומרים לי שהתשובה טמונה ב"העמקת" הרשתות. לי הדבר היחיד שזה אומר, זה הגברת הסיכוי ל- overfitting. אבל מן הסתם אני טועה. השכבות הנוספות של הרשתות יכולות לגלם בתוכן אלגוריתמים מתמטיים ופיזיקליים חזקים המסייעים לפיתרון הבעיות. אשרי המאמין.
ההרצאה שממליצים עליה כאן אולי תוכל לעזור. בכל מקרה גם בעבר הלא כל כך אופטימי של התחום, אף אחד לא טען שמדובר בנושא משעמם וחסר פוטנציאל.
תשע (מליון) בכיכר ביום שישי 698295
יכול להיות שאני מזדהה, אבל האם זה משמעמם ומגושם באופן שונה ממערכות לפתרון נומרי של משוואות?
תשע (מליון) בכיכר ביום שישי 698322
בהסתייגות שאני לא מבין גדול ברשתות נוירונים או באנליזה נומרית (אבל בכל זאת מבין משהו), אז כן - רשתות נוירונים נראות לי יותר משעממות מהזווית המתמטית, כי למיטב ידיעתי כיום, בפועל, הן בעיקר אוסף של יוריסטיקות. אשמח להתבדות אחרי שאצפה בעיון בהרצאה של מיקי אלעד.
תשע (מליון) בכיכר ביום שישי 698335
למה אתה מתכוון? כארכיטקטורה כוללת, רשתות עצביות הן מנומקות היטב מבחינה מתמטית, להבנתי - כלומר, מובן היטב ברמה מתמטית למה תהליך האימון של רשת עצבית מעלה את ההסתברות שלה לסווג נכון, וזה אפילו לא לגמרי טריוויאלי אם כי גם לא מאוד מסובך, כך שאני מניח שאפשר לראות פה יופי.

הבחירה של אבני הבניין לרשת (איזו פוקנציה בכל נוריון, ועוד כמה פרמטרים כאלה) היא באמת אוסף היוריסטיקות לא מנומקות. במובן הזה אני מסכים, זה מכוער.
תשע (מליון) בכיכר ביום שישי 698451
זה לא רק הבחירה של אבני הבניין, אלא גם השימוש ב-gradient descent (סטוכסטי או לא) בתור שיטת האופטימיזציה בלב תהליך הלמידה. זאת אחת היוריסטיקות היותר מבאסות, לטעמי.
תשע (מליון) בכיכר ביום שישי 698296
בלי להמעיט מהחשיבות ומהפוטנציאל של למידה עמוקה, יש פה אולי עוד שותפים לסנטימנט שלי, שהכנת רשת עצבית היא משימה תכנותית (במובן רחב של "תכנותית") משעממת ומכוערת?

עדיין לא עשיתי את זה ממש. הייתי לאחרונה בסדנה שנתנה טעימה מזה, ונורא לא בא לי לעשות את זה ממש.
(אני יכול לפרט יותר אם זה מעניין מישהו.)
תשע (מליון) בכיכר ביום שישי 698299
עד כמה שאני מבין אתה כבר מזמן לא מתכנת את הרשת שלך לבד, בכמה רמות:

א. אף אחד כבר לא מתכנת נוירונים, קישורים לנוירונים אחרים, ואת המתימטיקה עצמה של קידום קדימה ואחורה של הרשת כדי לשנות את ערכי הקשרים. אתה משתמש בחבילות תוכנה מוכנות (Tensorflow של גוגל כדוגמה אופיינית) שאתה מספר להן כמה שכבות יש לרשת, בוחר פונקציות הפסד (loss functions) ידועות, מספר להם איפה יושבות תמונות האימון והתיוג שלהן שלך על המחשב, ומכאן אתה כמעט במרחק לחיצת כפתור מלגרום לרשת לרוץ בעצמה ולהתאמן על המידע שנתת, עד לקבלת רשת שעובדת בדיוק מסוים.

ב. רמה למעלה - אפילו על סעיף א' כבר הרבה מדלגים. אתה רוצה רשת לזיהוי לטאות ירוקות עם קרניים בתמונות? אתה לוקח רשת *מוכנה* מהאינטרנט, רצוי זו שהיא מדינת-האמנות בתחום של זיהוי אובייקטים בתמונה בשנה האחרונה. עכשיו אתה לא נוגע בה, אלא רק מאמן את השכבה האחרונה שלה (טוב, אולי כמה כאלה) על תמונות הלטאות הירוקות שלך. קוראים לזה transfer learning וכבר הגיגול הקצר הזה מראה לך כמה הפרקטיקה הזאת פופולרית‏0.

ג. אכן, ברמה מסוימת זו משימה הנדסית ולא תיאורטית, כפי שהיא מיושמת ברוב החברות היום.

ד. מה, ולכתוב עוד פעם איזה אוביקט סי-פלוס-פלוסי‏1 עם כל פונקציות הגישה והפעולות עליו זו לא משימה תכנותית משעממת ומכוערת? הרשה לי לגחך‏2.

0 על קצה המזלג - ההנחה המובלעת היא שכשהרשת המקורית למדה על זיליון תמונות מבסיסי הנתונים הידועים, המידע שטמון ברוב השכבות הראשונות שלה הוא בעיקר איך לפרק תמונות לחלקים/תכונות שטובים עבור סיווג עצמים כאלה ואחרים. משזה נעשה, עכשיו רק צריך לבחור בסוף אילו תכונות כאלה מאפיינות תמונות של לטאות ירוקות ולא של כרובים סגולים.
1 השפה שכיעור ושעמום הם מעמודי התווך שלה, על פי דעתי הלא מלומדה.
2 לפחפח בשפה העכשווית.
תשע (מליון) בכיכר ביום שישי 698311
לך יצא לעשות במו ידיך משימה של אימון רשת עצבית, אבל לא תרגיל מוכן אלא באמת משימה שלא נעשתה קודם?

מי שקורא את א' ו-ב' שלך יכול לתהות למה עדיין מהנדסי תוכנה מבריקים עובדים על רשתות עצביות - ואני לא מדבר על שיפור הארכיטקורה של הכלים, אלא על בעיות סיווג נתונות, עם קלטים נתונים. מהנדסים מבריקים עובדים עליהן קשה ולא תמיד מצליחים.

ממה שאני הבנתי (כאמור לא מנסיון יד ראשונה, אבל זה מה שאמרו במפורש אנשים שעשו את זה כמה וכמה פעמים), במשימה כזו העבודה היא ניסוי וטעייה עם פרמטרים שונים, ניקוי והתאמה של הקלטים, ואם התוצאות לא טובות, שבירת הראש מה לא עבד ואם זה משהו שקל לתקן, או שפשוט הקלטים שלך לא מספיק טובים, ואולי אתה דווקא צריך לנסות את הקומבינציה ההיא של הפרמטרים שעדיין לא ניסית. כמו כן, "הצלחה" או "אי הצלחה" הם לא חד משמעיים - גם כשיש לך הצלחה מסוימת, ואפילו רבה, אתה יכול לנסות לשפר עוד ועוד, אבל זה כל הזמן בניסוי וטעייה. הניסיון נותן לך קצת היורסטיקות מה לנסות, והמנהל אולי אומר לך מתי להפסיק, אבל תשובות חד משמעיות אין.

משימה תכנותית מהסוג שכיף לי היא "תממש פונקציונליות כזו וכזו". ואז אתה כותב קוד שאמור לפתור את זה, וכמו במקרה של הרשת העצבית הוא לא מיד עובד נכון. אבל אתה יודע שזה אפשרי, ושזה בידיך; אתה יודע שתצליח בסוף. כשיש בעיה יש לך כלים להתמקד עליה, ולהתקדם באופן שאתה יכול להיות בטוח שאתה מתקדם. וכשאתה מצליח, אתה יודע חד משמעית שהצלחת. באמת יש מידה רבה של חזרה על אותן בעיות בכל משימה, אבל לי זה כיף.

ברור לי לחלוטין למה אנשים מסוימים מעדיפים את סוג המשימה של לימוד רשת עצבית. אולי אפשר לומר שתכנות אולד-סקול כמו שאני אוהב זה לחלשים. אותי הסוג האחדש מרתיע. לגמרי עניין של טעם.

אגב, יכול להיות שתוך שנים מעטות אופי העבודה עם רשתות עצביות ישתנה - האתגרים שציינתי מריחים כמו בעיות שעוד קצת שפשוף של הטכנולוגיה אולי יעלים אותן. אני מחכה, בתקווה שגם כך נותרו לי עדיין כמה חודשי רלוונטיות...
תשע (מליון) בכיכר ביום שישי 698292
אני לא ממש מתמצא בנושאים האלה, אבל בגדול אני חושב שהצלחה בפתרון בעיה אחת לא בהכרח מוכיחה שתהיה הצלחה גם בבעיה אחרת. כל בעיה היא בעיה.
אגב, נושא ההבחנה בין איש לאישה לפי הפרצוף עלה על דעתי כנימוק בוויכוח עם אותו חבר, כדי להראות שלא כל מה שקל לאדם קל למכונה‏1. חשבתי אז שלו היו מטילים עלי לפתור בעיה כזאת לא הייתי יודע מניין להתחיל ולכן הבאתי את הדוגמה הזאת. לא תיארתי לעצמי שמישהו יחשוב שפתרון הבעיה הזאת הוא כל כך חשוב ששווה להשקיע בו, והוא אף ייעשה זאת ואפילו יצליח. לעומת זה ההבחנה הפתולוגית נראית לי ממש חשובה, ואם תהיה הצלחה בה היא תביא להקלת נטל עצום ולחסכון כלכלי אדיר.

1 שהתקיים, אגב, לא לפני כשלוש שנים, כשהחבר עסק בכך, אלא לא מזמן.
תשע (מליון) בכיכר ביום שישי 698280
עשרים הדקות הראשונות של ההרצאה הזאת למשל נותנות מבוא קל לצפייה שבין השאר מסביר מה מיוחד בשלוש השנים האחרונות.
תשע (מליון) בכיכר ביום שישי 737258
חפשתי את התגובה הזאת משום שבעוונותי אני זקוק לשירות הזה ונאמר לי שהתשובה תגיע בערך אחרי חודש וחצי (מאתמול). ואני רואה שהתגובה נכתבה לפני יותר משלוש שנים, ודומה שאם השתנה משהו הוא שהתורים רק התארכו, ומן הסתם השיטות אותן שיטות וזמנו של המחשב כפתולוג עדיין לא הגיע.
תשע (מליון) בכיכר ביום שישי 737263
עיקר הבעיות כעת אינו בתחום המחקרי אלא היישום בפרקטיקה.

אלמלא הימנעותך המוצהרת מקריאת מאמרים באנגלית הייתי מציע לך לקרוא את הסקירה הזאת.

דגדגנים:

* The establishment of the entire industry of computational pathology requires far-reaching changes of the three essential elements connecting patients and doctors: the local laboratory, the scan center, and the central cloud hub/portal for data processing and retrieval.

* The Camelyon Grand Challenge 2016 (CAMELYON16 challenge), is a worldwide machine learning-based program to evaluate new algorithms for the automated detection of cancer in hematoxylin and eosin (H&E)-stained whole-slide imaging (WSI), has achieved encouraging results with 92.4% sensitivity in tumor detection rate. In contrast, a pathologist could only achieve 73.2% sensitivity
(הדגשות שלי)
עיקר שכחתי: 737264
תהיה בריא!
עיקר שכחתי: 737267
תודה. אני לא מודאג.
תשע (מליון) בכיכר ביום שישי 737266
קשה לי להאמין.
לו זה היה כך האם אינך חושב שקופות החולים המופלאות שלנו (בזכות כצנלסון) שכל כך הצטיינו במבצע החיסונים, לא היו מאמצות שיטה שהייתה חוסכת להן הון עתק ומשרתות נאמנה את לקוחותיהן?
תשע (מליון) בכיכר ביום שישי 737269
מבצע החיסונים דרש יכולות שונות לגמרי של קופות חולים - בעיקר אדמיניסרטיביות.

קופות החולים לא יכולות להרשות לעצמן ליישם טכנולגיות מהפכניות באמת לפני שיש לכך תמיכה פוליטית/ציבורית. הציבור מוכן לקבל טעות רופא, אבל פספוס של אבחנה בגלל טעות מחשב עלולה לעלות לקופה הרבה כסף כפיצויים, שלא לדבר על הזעם ציבורי. אותה מכשלה גורמת לכך שמטוסי נוסעים עדיין מונחתים ע"י טייסים בשר ודם.
תשע (מליון) בכיכר ביום שישי 737273
מטוסי נוסעים לא מונחתים על ידי טייסים בשר ודם אלא על ידי הטייס האוטומטי כבר המון שנים. אבל, לפחות עד לפני מספר שנים, ההמראה במטוסי נוסעים הייתה נעשית תמיד על ידי טייסים בשר ודם (לדעתי, מסיבות לא ענייניות: המטוס עמוס בדלק, וכו', אבל לא מסיבה של בעיה בדעת הציבור)‏1.
לפי מה שציטטת הסיכוי לפספוס במחשב קטן יותר. איני חושב שלאור זאת יהיה למישהו קייס חזק יותר מאשר אם השגיאה הייתה שגיאת אדם.

1 אני הטסתי פעם מטוסים קלים, אבל המידע הזה ידוע לי מדברים ששמעתי לפני מספר שנים מגיסי ושהוא שמע מאח של כלתו, שהוא קברניט באל על, ללא קשר לכישורי הטייס שלי.
תשע (מליון) בכיכר ביום שישי 737275
למיטב ידיעתי אתה טועה בעניין הנחיתות (מלבד יוצאים מן הכלל כמו נחיתה בתנאי ראות גרועים ביותר).

"הסיכוי לפספוס" הוא לא משהו שעושה רושם רב מדי על לקוח טיפוסי שמשפחתו נהרגה בגלל טעות מחשב, וכך גם על המדיה שתעשה מזה צימעס. בדומה, הסיכוי לתאונת דרכים צריך להיות קטן *באופן ניכר ביותר* מהסיכוי של נהג בן אנוש לתאונה, לפני שהרגולטורים יאשרו מכונית אוטונומית לחלוטין.
תשע (מליון) בכיכר ביום שישי 737285
והא ראיה- תאונה של מכונית אוטונומית עושה כותרות מסביב לעולם, אבל תאונות של מטומטמים על ההגה קורות באלפיהן וזוכות לכל היותר לסרטון ביוטיוב.
תשע (מליון) בכיכר ביום שישי 737293
ובכל זאת כמעט כל הטיסה במטוס נוסעים (למעט ההמראה לפחות עד לפני כמה שנים) מתנהלת על ידי טייס אוטומטי ולא שמעתי על שום טענות או תביעות בעניין הזה.
תשע (מליון) בכיכר ביום שישי 737298
כל תאונת מטוס מקבלת כותרות, אבל התאונות בגלל ה MCAS קיבלו פי עשר.
תשע (מליון) בכיכר ביום שישי 737339
זה נכון, אבל הטייס האנושי מוכן לקחת פיקוד במידת הצורך (אלא אם הוא גאון שנותן לילד שלו לשחק עם ההגאים). לו הטייסים היו הולכים לישון והמטוס היה מתרסק בגלל בעיית מחשב היית שומע טרוניה או שתיים ממשפחות הנוסעים.
תשע (מליון) בכיכר ביום שישי 737344
זה נכון, והאמת היא שחשבתי על כך קודם. ברור שאם ניתן לבן אנוש ''לפקח'' על פעולת הפיענוח, לא נחסוך זמן, והעניין יהפוך למיותר. לכן, באמת, ההשוואה עם טיסה אוטומטית היא השוואה לא מוצלחת.
תשע (מליון) בכיכר ביום שישי 737347
זה לא לגמרי נכון, כפי שהעיר צפריר; הדעת נותנת שיש מקרים פשוטים בהם הסיכוי לטעות מחשב נמוך עד כדי כך שאפשר לתת תשובה בלי להטריד את הפתולוג האנושי בכלל. אני לא יודע מה הכמות של מקרים בהם אין (כמעט) שום חשש לפתולוגיה בין אלה שנבדקים, אבל אני מוכן לנחש שהיא אינה זניחה.
תשע (מליון) בכיכר ביום שישי 737349
ישנו פרוייקט של חברת מדטרוניק שמיצרת מצלמה זעירה שנבלעת על ידי הפציאנט ומשדרת תמונות במהלך סיורה בתוך מערכת העיכול. יש שם תכנה שאמורה לבחור מתוך כל התמונות את אלה שימסרו למפענח האנושי. אבל במקרה הזה פשוט אי אפשר אחרת כי מדובר במספר עצום של תמונות.
תשע (מליון) בכיכר ביום שישי 737353
מנסיוני בתחום דומה - רוב רובן של התמונות מסוננות במקרים כאלה כי הן ממש דומות לתמונות שנלקחו לפניהן. ובשביל זה לא צריך רשת חכמה מדי (או רשת בכלל).
תשע (מליון) בכיכר ביום שישי 737363
אל תזכיר לי את המצלמה הארורה הזאת!
תשע (מליון) בכיכר ביום שישי 737366
?
תשע (מליון) בכיכר ביום שישי 737368
כשיש פתולוגיה רצינית, לפעמים היא נתקעת לה באיזו לולאת מעי מיותר למרות שהגלולה שניתנת לפני כן לוודא שזה לא יקרה (ומתמוססת בלי נזק אם כן נתקעת) עברה בהצלחה את מסלול המכשולים. זה גורר ניתוח.
תשע (מליון) בכיכר ביום שישי 737369
טוב לדעת.
תשע (מליון) בכיכר ביום שישי 737346
נזכרתי במה שאמר "אלוף ההפלות" של חייל האוויר - אפשטיין, שבתכנית טלוויזיה שנעשתה עליו תיאר את עבודתו בקברניט באל על‏1 כעבודה שהוא לא היה קורא לה עבודה: "לשבת ולהשגיח על המחשב. . ."

1 כתבתי בהתחלה "קברניט באייל", ותקנתי כשראיתי זאת ב"תצוגה מקדימה". מנפלאות המוח האנושי. . .
תשע (מליון) בכיכר ביום שישי 737348
בעקבות מה שכתבת על נחיתה אוטומטית קראתי קצת על הנושא ולמדתי שהטייסים טוענים שיותר קל להם להנחית את המטוס ידנית מאשר לפקח על הטייס האוטומטי מבצע את הנחיתה.
תשע (מליון) בכיכר ביום שישי 737351
אני שמעתי לפני שנים רבות מטייס באל על (קרוב משפחה של אשתי, אבל לא אותו טייס מהתגובה הקודמת), שבאל על מכריחים אותם להשתמש בשרותיו של הטייס האוטומטי‏1 כדי שיתרגלו לצורת הטסה כזאת.

1 אבל איני זוכר בשיחה ההיא התייחסות להמראה או נחיתה, אם כי מאד ייתכן שדובר גם על כך.
תשע (מליון) בכיכר ביום שישי 737352
בחומר שקראת, האם כתוב איך בדרך כלל מתבצעת הנחיתה? ידנית או אוטומטית?
תשע (מליון) בכיכר ביום שישי 737364
ידנית, לכן כתבתי לך שלמיטב ידיעתי אתה טועה.
תשע (מליון) בכיכר ביום שישי 750779
סקוט אהרונסון חושב כמוני בעניין זה:

"Unfortunately, it’s become clear that, even after self-driving cars become safer than humans, regulatory and psychological barriers will slow their adoption or maybe even prevent it entirely. A huge part of the reason is that, even if self-driving cars can soon cause (say) 10x fewer fatalities per mile than human drivers do, when they do cause fatalities, it will be salient and scary and weird—the AI mistaking a pedestrian’s shirt pattern for a green light or whatever."
תשע (מליון) בכיכר ביום שישי 737302
אם כך היישום המתבקש היא מערכת שמנתחת ניתוח ראשוני של תמונה ועוזרת לשפר את התפוקה של הרדיולוג.
תשע (מליון) בכיכר ביום שישי 737312
הנושא הפעם הוא פתולוגיה ולא רדיולוגיה.
תשע (מליון) בכיכר ביום שישי 737318
אותו דבר. כלומר, מערכת שמצביעה על אזורים מעניינים ומעלה ניחושים.
תשע (מליון) בכיכר ביום שישי 737327
אבל מה הקלט של המערכת שלך?
תשע (מליון) בכיכר ביום שישי 737340
שיקופיות.

עכש"ז זאת היתה אחת הבעיות בשעתו: המערכת התאמנה על קלט שהגיע ממכונה מסוימת, ומכונות אחרות (בשטח) אינן מוציאות תמונות בדיוק באותו הסטנדרט. הייתי מצפה שיצליחו להתגבר על זה בזמן שחלף מאחר ואפשר לכלול בבסיס הנתונים לאימון מגוון רחב של קלטים ממכונות שונות עובדה שהמערכות לזיהוי פנים עובדות יפה עבור מצלמות ותנאי תאורה שונים). אבל מה אני מבין, אולי נדרשת רמה הרבה יותר גבוהה של איכות הקלט כדי למצוא שינויים זעירים.
תשע (מליון) בכיכר ביום שישי 737358
בגלל הקורונה ימ״ש יש יותר שימוש בדרכים שונות שלא דורשות מפגשים של פציינט עם רופא. מה שאומר שהרבה יותר דברים כבר עוברים בצורה דיגיטלית, וחלק מהם גם נשמרים. מה שנשמר אולי גם מנותח.
תשע (מליון) בכיכר ביום שישי 737338
אכן, מתבקש. בשעתו היו בעיות לא פשוטות ואני לא עוקב אחרי ההתפתחויות כך שאינני יודע מה המצב לאשורו כרגע. אולי עומר יוכל לעזור כאן.

מכל מקום, אני מסכים עם רוח התגובה של דב: לפני שלוש שנים הייתי יותר אופטימי בשאלה איפה נהיה היום מהבחינה הזאת.
תשע (מליון) בכיכר ביום שישי 737362
אני גם תחת הרושם שחזון המכוניות האוטונומיות איבד משהו מהתנופה שלו, לא? לפני כמה שנים כולם אמרו שזה אוטוטו קורה.
תשע (מליון) בכיכר ביום שישי 737365
לכל הפחות איבד הרבה מההייפ, שניזון בשעתו מהצהרות אופטימיות מאד כמו אלה של אלון מאסק.
תשע (מליון) בכיכר ביום שישי 737545
כאילו לפי הזמנה, הנה משהו ישר מהתנור שקשור לענייננו.

דגדגן: " Trained to see patterns by analyzing thousands of chest X-rays, a computer program predicted with up to 80 percent accuracy which COVID-19 patients would develop life-threatening complications within four days, a new study finds."

מצד שני, מי יכול לסמוך על AI כאשר התרגום של גוגל לאותו משפט נראה כך:

"מחקר חדש גילה כי תוכניות מחשב ניבאו לראות דפוסים על ידי ניתוח אלפי צילומי רנטגן בחזה, וחיזו אותם עד 80 אחוזי דיוק אשר חולי COVID-19 יפתחו סיבוכים מסכני חיים"?
תשע (מליון) בכיכר ביום שישי 737403
אני לא משוכנע. מכיר את סיפור הTherac-25 [Wikipedia]? באג תוכנה במכשיר הקרנה שהרג שלושה מטופלים ופגע קשה בעוד שלושה לפחות, לפני כ-‏35 שנה? אני שמעתי עליו פעם אחת, בעברי במחקר הנדסת תוכנה. רוב מהנדסי התוכנה לא שמעו עליו, ורוב הציבור הרחב על אחת כמה. עברו הלאה. אני חושב, בלי הוכחה, שהציבור בשל לקבל מקרים של שגיאות טכנולוגיה, בכלל זה קטלניות, בטיפול רפואי, כשם שהוא מקבל (בקושי) שגיאות אנוש, ובהתחשב בכך שהמשאבים ממילא לחוצים עד כלות וקל להציג את המצב (ובצדק) כבחירה בין החלטות ממוכנות תוך שעתיים בחינם לבין החלטות אנושיות בתוך שבועיים וביוקר. למעשה, יש לי הרגשה אינטואיטיבית שיהיה קל יותר רגשית לקבל אסון רפואי בגלל טעות מחשב מאשר בגלל טעות אנוש. הסיכון בתביעות הנזיקין ממילא מועבר לחברות ביטוח, כלומר למספרים גדולים, ואני לא רואה כאן בעיה.
תשע (מליון) בכיכר ביום שישי 737401
אכן, אני מצטרף בבושה למועדון (המכובד, יש לציין להגנתי) של אופטימיים-מדי טכנולוגית. עכשיו אני כבר לא חושב שזה יהיה אפילו שלוש שנים מעכשיו.
אני לא מציין להגנתי את מה שציין שכ"ג, שהאתגרים הם יותר מנהלתיים/ציבוריים מטכנולוגיים, זה היה ברור ונתון גם לפני שלוש שנים, ושקללתי את זה בניחוש שלי.
תשע (מליון) בכיכר ביום שישי 699824
לפי המחקר הזה שילוב של בני אדם עם מערכות ממוחשבות נותן תוצאות אופטימליות. ציטוט: "Combining our deep learning system's predictions with the human pathologist's diagnoses increased the pathologist's AUC to 0.995, representing an approximately 85 percent reduction in human error rate". כלומר נחסכו לא פחות מ- 85% מטעויות אנוש שהרופאים עשו!

כאשר הניסוי הזה נערך ביצועי המערכת הממוחשבת לבדה היו נחותים בהשוואה לרופאים (7.5% שגיאות לעומת 3.5% שגיאות רופאים) אבל לפי כתבה ב CNBC לאחר שהמערכת הממוחשבת המשיכה ללמוד היא הצליחה להשיג תוצאות טובות יותר מהרופאים!

אם הייתי סטודנט לרפואה, לא הייתי בוחר פתולוגיה בתור ההתמחות שלי.
Not so elementary, Watson 701187
שגיא כהן שופך ב ynet קצת מים קרים על ההתלהבות שלי, לפחות בכל הקשור לווטסון.

המאמר ב WSJ כאן אם למישהו יש דולר מיותר.

חזרה לעמוד הראשי

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים