בתשובה למיקי מילר, 26/11/12 2:06
האם מעורבות אנושית מקטינה את המסוכנות? 607928
לעניין המוקשים: תגובה 607641.

לעניין פגיעה בחפים מפשע: בינתיים ההצבה של סוללת כיפת ברזל באיזור תל אביב דרשה שינוי במסלולי טיסות מטוסים שהגיעו מהים לנחות בנתב"ג. המערכת מיועדת להרוס סוגים מסויימים של עצמים. חוקי הרובוטיקה דורשים הרבה מעבר למה שיש לנו היום, והם עלולים ליצור רובוטים מופרעים.
טוב, זה כל כך מתבקש כאן 607975
1. לא יפגע רובוט לרעה בבן אדם, ולא יניח, במחדל, שאדם יפגע.
2. רובוט חייב לציית לפקודותיו של אדם, כל עוד אינן סותרות את החוק הראשון.
3. רובוט ידאג לשמור על קיומו ושלמותו, כל עוד הגנה זו אינה עומדת בסתירה לחוק הראשון או לחוק השני.

כל הזכויות שמורות ל-א"א.
טוב, זה כל כך מתבקש כאן 607984
כדאי שנתקדם מתקופת אסימוב שהיום אנחנו יודעים שהחוקים הללו פוגעים קשות בזכויות הרובוטים
טוב, זה כל כך מתבקש כאן 607992
'כשהיום' אנחנו שוכחים שידענו איך לאיית.
טוב, זה כל כך מתבקש כאן 607985
הבעיה הבסיסית היא שההגדרה הזו מחייבת הבנה מורכבת מאוד של מצבים.

שמעתי אתמול שוב על דוגמת ההתקפה על קוצבי הלב. התקנים רפואיים לא מעטים שמושתלים בגוף כוללים אפשרות לתקשורת אלחוטית כדי לקרוא את המצב, לשלוט על ההתקן ולעדכן את התוכנה. מסתבר שיש לא מעט בעיות עם זה. לא מדובר על התקפה חדשה במיוחד (נדמה לי שהיא פורסמה כבר לפני שנה או חצי שנה. לפני כחודש גרסה קצת יותר מעניינת שלה תפסה יותר כותרות).

מסתבר שהגרסה הכי פשוטה של ההתקפה הזו היא פשוט ניסיון לגמור להתקן את הסוללה. ההתקן הוא התקן בעל הספק נמוך. ההנחה של מפתחיו הייתה שהוא לא יידרש לשדר יותר מדי פעמים לאורך חייו. אם יוזמים אליו התקשרויות תכופות, מעירים אותו יותר מדי (לא נותנים לו לישון) וצריכת הזרם שלו עולה פלאים. הנה דוגמה לשיקול בטיחות קטן ומאוד לא טריוויאלי. אני בטוח שיש המון שיקולים כאלה. האם התקן בודד יכול להכיל מספיק ידע על העולם כדי להכיר את כל השיקולים הללו?

ונניח שכן, האם הרובוט יאשר לי לחצות את הכביש או להיכנס למכונית ולנסוע?

לסיום, פרטים נוספים על אפוקליפסת הרובוטים.
טוב, זה כל כך מתבקש כאן 607993
מה שתפס אותי בלינק שלך הוא הניסוח הנפלא הבא:

What people don't appreciate, when they picture Terminator-style automatons striding triumphantly across a mountain of human skulls, is how hard it is to keep your footing on something as unstable as a mountain of human skulls.
טוב, זה כל כך מתבקש כאן 608051
ולכן המציאו את BigDog, ויש לו עוד חברים.
טוב, זה כל כך מתבקש כאן 608086
פ-בם פם פ-בם!
תגובה 608008
וכתתו חרבותם לאתים 608125
אז בתור קונטרה, הנה קטע חמוד
טוב, זה כל כך מתבקש כאן 608059
הממ, יש אפשרות גם לתאונת קוצבים ולא רק להתקפה זדונית: המכונה המשדרת אצל הרופא משדרת חזק מדי, ומבצעת את השינוי אצל כל החבר'ה שבתור בחוץ.

האם אפשר לפתור את כל בעיות האבטחה של הקוצבים על-ידי סיסמת גישה חזקה, שהפציינט יישא עמו כמסמך חשוב, אפילו בדיסקית על הצוואר? זה חשוף להתקפה שבה לוקחים ממנו את הדיסקית, אבל מי שיכול לעשות את זה יכול כבר סתם לחנוק את הפציינט עם הדיסקית והשרשרת שלה.
טוב, זה כל כך מתבקש כאן 608363
במינוח עכשווי אתה נוגע כאן בבעיית ה-Friendly artificial intelligence [Wikipedia].

אסימוב היה כנראה קצת נאיבי. אולי תאר לעצמו רובוטים כפרטים המתפקדים בתוך החברה האנושית, ולא הבין שהחברה כולה יכולה להשתנות ולהפוך לישות חדשה ושונה לחלוטין מהקיום האנושי.

קשה לישות בעלת יכולת קוגניטיבית מוגבלת לקבוע כללים שיכוונו לאורך זמן התנהגות ישות שונה בעלת יכולת קוגניטיבית גדולה יותר והולכת וגדלה. נדמה לי שיודקובסקי (ראה קישורים אליו בויקיפדיה) השווה באופן ציורי את הבעיה לבעיה העומדת בפני קוף שרוצה לתכנן כלוב שהחברה האנושית לא תוכל לברוח ממנו ותאלץ לשרת את הקופים.

אם תקבע כללים מופשטים מדי תתקל בבעיית הפרשנות. אם תקבע כללים קונקרטיים מדי אתה עלול להתקל במימוש מפלצתי. אפשר לנסות לא לקבוע כללי עשה ועל תעשה, אלא כלל מהסוג "גרום לאנשים לשלם לך עבור מוצרים ושירותים שאתה מיצר". הרעיון הוא להעמיד מול בינת-העל את חוכמת ההמון שתתאים את עצמה לתנאים המשתנים, לנסות ליצור את בינת-העל בארכיטקטורה מבוזרת כדי שתרסן את עצמה בצורה זו או אחרת. חסידי שוק חופשי יאהבו כלל כזה, ויתכן שקצת משחק במטאפיזיקה מאשר לראות בחברות מסחריות סוג של בינות-על למרות שהן "מורכבות" מבני אדם. הבעייה כאן היא שעדיין יש כללים, יש בעיה להגדיר מי הוא אדם ועדיין יש צורך במנגנון חקיקה שניתן לתקיפה ולמניפולציה. בקיצור, עסק ביש.

יש מי שחושב שאם אתה לא יכול ולא רוצה לבלום אותם או לרגלץ אותם - הפוך להיות אחד מהם. במותג המשחקים Mass Effect [Wikipedia] הפתרון המועדף הוא סימביוזה בין הקיום הביולוגי לסינטטי. בסרט היפני מ-‏1995(!) Ghost in the Shell [Wikipedia] הגיבורה הראשית לא ממש בטוחה אם נותר בגופה (במעטפת שלה) שריד ביולוגי כלשהו או שהיא כולה סינטטית. ברור שהמרכיב הקוגניטיבי (Ghost) של הגיבורים נמצא ברשת (בענן במינוח עכשווי) והם יכולים "לצלול" תוך אווטרים פיזיים שונים.

בהצלחה לכולנו.

חזרה לעמוד הראשי המאמר המלא

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים