בתשובה לירדן ניר-בוכבינדר, 31/10/15 20:21
הלכה למעשה 666951
"זה לא אומר שיש טעם לתכנת משהו למצבים כאלה שהוא יותר מתוחכם מ"בלום בכל הכוח"" איזו גישה תבוסתנית! בגלל שהאלגוריתם האנושי הוא מבוסס אינסטינקט ולא משאיר מקום לשיקולים הגיוניים אנחנו רוצים להשתמש באותו אלגוריתם גם במקום בו אנחנו יכולים, לפחות תיאורטית, לנסות לשפר אותו? וזה רק בגלל שלא מצאנו פתרון טוב לשאלה מה נכון לעשות במצבי חירום מסויימים? בשביל מה אנחנו משלמים לכל הפילוסופים והמומחים לאתיקה ומוסר?

בוא נתחיל משאלה פשוטה: כשאנחנו לא מדברים על ישראל אלא על איזו ארץ רחוקה שאין לנו שום קשר רגשי לתושביה, האם נראה לך הגיוני שהגישה התועלתנית תהיה מקודדת במכוניות באותה ארץ, כך שהמכונית תפעל להקטנת כמות הנפגעים בכל מקרה חירום (אני מציע להתעלם לרגע משיקולים מורכבים יותר, למשל כמה שוים חיי ילד לעומת חיי מבוגר, וכד')? אם התשובה חיובית, נשאר לנו לטפל רק באלמנט הנפשי שכרוך ביישום. אני, כנהג, הייתי מעדיף אלגוריתם שיפעל תמיד להגדלת הבטחון האישי שלי ושל נוסעי המכונית שלי, ואם צריך להרוג כמה עשרות ילדי גן בשביל זה, שיהיה. אבל מאד לא הייתי רוצה שאצל השכן שלי יפעל אלגוריתם כזה, ובעצם המצב לא שונה מהרבה קונפליקטים דומים בחיינו, שאותם אנחנו פותרים ע"י קבלת עקרון ההכללה (שאומר, למי שאינו יודע, "מה ששנוא עליך אל תעשה לחברך". בערך.).

אם רוצים להמנע מחקיקה, חברות הביטוח הן אלה שאמורות לפתור את הבעיה עבור אותו חלק מהציבור שעבורו עקרון ההכללה מופשט מדי. מאחר והמבטחות הן תועלתניות פאר אקסלנס, הן יתנו הנחות בביטוח החובה למי שיתקין את האלגוריתם שלהן, ההוא שממזער את הנזק הכולל בכל תאונה, ויטילו פרמיה גבוהה על מי שיתעקש להתקין אלגוריתם אגואיסטי. חוץ מכמה מליונרים הציבור יעדיף את התוכניות הזולות, כי ממילא התאונות אף פעם לא קורות לו אלא לאנשים זרים (אותה הצעה שהצעתי בקשר לחובת חגירת חגורת הבטחון או קסדה לרכיבה על אופנוע), ובלצ"ג.
הלכה למעשה 666956
נתחיל מזה שאנחנו לא יודעים בוודאות שהצעד הזה יהרוג X אנשים. הניחוש הבסיסי שלי שצריך להימנע מ"גרימת נזק" ודי מסובך לנסות לכמת את הנזק שיכול לנסות להגרם במקומות שונים.
הלכה למעשה 666959
ברור שזה מסובך, אבל לא נראה לי שזה מסובך במידה שפוסלת את האפשרות למצוא משהו טוב יותר מעצימת עיניים ולחיצה על הבלם.
הלכה למעשה 666957
לי דוקא נשמע מפחיד שהמכונית שלי לא תעניק עדיפות, ולו כלשהיא, לחיי הנוסע. בעיקר מאחר וזה מגדיל את סיכויי הפגיעה שלו (או של כל אחד אחר כיום, כנהג) יחסית למצב שהיה נהוג עד לבוא המכונית החשמלית.
זה נראה לי מסוג הדברים שיכול מבחינה ציבורית למנוע משמעותית את המעבר לטכנולוגיה הזאת - הרעת הבטיחות האישית יחסית למצב הנוכחי.
ההשוואה לכמה עשרות ילדי גן היא מוגזמת כמובן, ואפשר לשים ספים מתאימים (או להיזכר שהמילה 'עדיפות' משמעה איננה אני ואפסי עוד, אלא נתינת שקלול יתר מידתי אבל לא גורף לבטיחות הנוסע).

ובקשר לסוגריים - הסריטו את קודם, לפניך, זה לא משנה.
הלכה למעשה 666960
עשרות ילדי הגן הם רק כדי להציל את חיי שלי. חיי האחרים יוקרבו, כמובן, בתנאים דומים.

אני מסכים איתך בכך שהמחסום העיקרי הוא הרעת התנאים כביכול של הנוהג ברכב, אבל אם אפשר יהיה להוכיח שלמרות העדיפות לילדי הגן במקרים יוצאי דופן, החישוב כולל עדיין בטוח יותר עבורך להפעיל את האלגוריתם כי ברוב הגדול של המקרים הוא ימנע את התאונה מלכתחילה, יש לי הרגשה שלא מעט אנשים רציונליים יעשו את הבחירה הנכונה. בוחרי הליכוד, לעומת זאת, ימשיכו למות בהמוניהם על הכביש, וכך אתה יוצא מורווח פעמיים.

בקצת יותר רצינות - אכן יש סף כניסה לא פשוט למכוניות האוטומטיות כל עוד יש גם נהגים אנושיים על הכביש - יהיו ללא ספק הרבה מאניאקים שינצלו את מקדמי הבטיחות של האוטומט כדי לזכות ביתרונות המוכרים, אבל כשהאנכרוניזם הזה ייאסף את אבותיו (או אל מגרש הגרוטאות הסמוך) הבטיחות הכללית תגדל למרות שפה ושם יהיו מקרים בהם היית יכול, אולי, לצאת טוב יותר מתאונה אחת מסוימת על חשבונם של אחרים.
הלכה למעשה 666964
אגב, להמחשת הגישה התועלתנית של חברות הביטוח אני יכול להביא אנקדוטה אישית:
כשרכשתי רכב בעת שהותי בארה"ב, בשיחה עם סוכן הביטוח הוא העלה את התסריט של מפגש בצבאים שחוצים את הכביש במפתיע‏1, והאם על הנהג להסיט את הרכב במהירות הצידה, גם במחיר פגיעה בעץ בצידי הכביש. העצה הידידותית והברורה שלו היתה: Go for the deer!
כשהרציונל הוא שבמקרה הצבי אתה יכול לטעון אחר כך שאינך אחראי לנזק הביטוחי כי הצבי קפץ מול הפגוש שלך, אבל במקרה העץ תתקשה לטעון שהעץ קפץ והפתיע אותך, ומי באמת יכול להוכיח שראית צבי ולכן נכנסת בעץ, נהג מרושל שכמוך?

1 מה שאגב קרה לי לאחר מכן מספר פעמים, חלקן קרובות (מאד!) אבל לשמחתי ללא פגיעות כלשהן.
הלכה למעשה 667115
לא הבנתי - במצב שבו שוק הביטוח מחולק בין מספיק חברות, והן לא מתאגדות לאיזה תקן, לחברת ביטוח כדאי למזער את הנזק ללקוח שלה, גם על חשבון נזק גדול יותר לאחרים, לא?

ואם בשתי הפסקאות הראשונות היית רציני - לא, גם כשאנחנו מדברים על ארץ אחרת ואנשים שאני לא מכיר, לא נראה לי הגיוני לקודד גישה תועלתנית לחיי אדם. אבל אנחנו גולשים לכיוון מה ראוי, ובתגובתי הקודמת דיברתי על מה אני מעריך שיקרה בפועל: (א) אני לא חושב שהרבה מהנדסי תוכנה ומנהלים שלהם יסכימו להיכנס לפינות האלו. אני מכיר היטב מהנדס תוכנה אחד שלא יסכים. (ב) אנחנו משלמים לפילוסופים ומומחי אתיקה, אבל לא מקבלים מהם תפוקה שיש לה נפקות מעשית יציבה, (ג) אני בספק רב אם הטכנולוגיה באמת צריכה להוביל לשם. בשביל לממש במכונית החלטות כאלו אתה צריך יכולות מחשוביות ומכניות גבוהות מאוד. אתה יכול כבר להשקיע אותן בלהוריד עוד יותר את הסיכון להגיע למצב תאונה שבו יש דילמה.

אם אתה שואל אותי מה ראוי - בהינתן (ב) ו-(ג), אני חושב שלא ראוי שמהנדסי תוכנה ומנהליהם ייכנסו לפינות האלה.
הלכה למעשה 667119
לא, חברת הביטוח צריכה לשלם לצד ג'.
המטרה של כל חברות הביטוח שהנזק שנגרם באחריות הלקוח שלהם יקטן ככל האפשר. בין אם נזק לעצמו או לאחרים.
הלכה למעשה 667138
אה, ביטוח צד ג', נכון.
הלכה למעשה 667121
מבחינת הקושי המוסרי של המתכנת - מה ההבדל בין זה לבין האחריות המוסרית של מהנדס הרכב שעיצב את הפגוש וקובע מה יקרה להולך רגל בתאונה?

ומה אם המשתמש האנושי בנהג האוטומטי בוחר את רמת האלטרואיזם שהוא מעדיף בין 1 ל 10?

האם מבחינתך הקושי המוסרי נובע מהבחירה שמתבצעת ע"י המתכנת או עצם העיסוק בנושא?

אם מתכנתים יותר רגישים להחלטות מוסריות ממהנדסי מכונות זה מעלה כמה שאלות מעניינות. אולי זה בגלל התחושה שהמתכנת מייצר משהו דמוי סוכן שעושה בדיוק מה שהמתכנת הגדיר לו לעשות, ואילו המהנדס מייצר אובייקט שכל אחד יכול לעשות בו מה שהוא רוצה.
הלכה למעשה 667139
לומר שמעצב הפגוש "קובע מה יקרה להולך רגל בתאונה" זה דמגוגי (אני יודע שלא בכוונה). אין מחירון חיי אדם מוחלט שמוצמד להחלטות עיצוביות של הפגוש. יש בכלל בעיצוב פגושים טרייד-אוף של בטיחות מול משהו? לא מנסים פשוט לעשות אותם הכי בטוחים שאפשר, במסגרת גבולות גזרה [הא!] כלליים של עיצוב ומחיר? אולי לגבולות הגזרה האלה משמעות בטיחותית כלשהי, אבל גם אם כן זה לא משהו שמעצב הפגוש מתמודד איתו חזיתית [הא!] בזמן שהוא עובד.

מה אם המשתמש בוחר בין 1 ל-‏10? אני כופר בדיוק בזה שאנחנו קרובים בכלל ליכולת טכנולוגית, שלא לדבר על צורך טכנולוגי, לתכנת שליטה כזו. אולי נגיע לשם יום אחד רחוק, אולי לא.

אני חושב שהעניין הקריטי כאן הוא שאנחנו - ואני מניח שגם מהנדסי המכוניות האוטומטיות היום - לא יכולים באמת לשלוט באיזושהי רמה של סבירות בתוצאות של אלגוריתמי היגוי שונים במצב של תאונה מתקרבת תוך שלוש שניות ואובדן בלמים. עכשיו אתם אומרים לי "כן, אבל בוא רגע בשביל הצחוקים וההחכמה האינטלקטואלית נניח שכן יש שליטה ודאית." אז לא: חוסר הידיעה הזה הוא קריטי לכל המחשבה המוסרית שלנו. אני לא יודע אם שמים על זה מספיק דגש בפילוסופיה של המוסר. אולי צריך לתת לזה שם: "עיקרון אי הודאות". זאת אולי הבעיה בדילמות קרונית: אומרים לאנשים לקבל החלטה מוסרית בסיטואציה שזרה למחשבה המוסרית שלהם. היא זרה להם, ואולי הם לא מודעים לזה, לא בזה שפתאום יש להם שליטה על מה יקרה לאחרים, אלא בזה שאנחנו זורקים עליהם ודאות (או אי-ודאות שמנוסחת בהסתברויות מספריות מדויקות) שבתוצאות ההחלטות שלהם.

אני לא אומר שאי ודאות זה טוב. יותר ידע זה יותר טוב. אולי יום אחד נגיע ליכולת ואפילו לצורך לתכנת מכונות להתנהגות בדילמות קרונית. אם וכאשר ילדינו יהיו שם, "החוש המוסרי" שלהם יהיה שונה משלנו עכשיו. אני חושב שהדבר הנכון הוא... לחכות ולראות מה יראה להם נכון באותו מצב. אנחנו יכולים לנחש, אבל אני בספק אם אנחנו יכולים לשפוט אותם. ההיסטוריה הטכנולוגית כבר חידדה את חושינו המוסריים כשהמצאנו את הרובה, את פצצת המצרר, את פצצת האטום, וגומר.

חזרה לעמוד הראשי המאמר המלא

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים