בתשובה לירון, 30/09/16 22:53
חזון או שגעון גדלות 684423
או קצת משניהם, לא?
בכל מקרה נשמע שהפרוייקט של מאסק, יצליח או ייכשל, פחות מסוכן לעתיד האנושות מזה הבדיוני שקישרת אליו.
______
אחלה הופעה של גאי פירס, ותודה על הקישור. רק למה אחרי הכל 'פרומתיאוס' יצא סרט כל כך גרוע?
חזון או שגעון גדלות 684460
נכון, המצגת של ווילנד עוסקת בבינה מלאכותית (כנראה David), אבל בגדול חברת וויילנד, ומאוחר יותר ווילנד-יוטאני, עסקה במסעות בחלל וב-Terraforming [Wikipedia]. המועמד הטבעי הראשון לכך הוא מאדים, וזה בדיוק מה שאיילון מאסק מציע לעשות.

ווילנד מוכן למות, אבל מאסק מעדיף להשאר בשלב זה על כדור הארץ, מפני שהמסע למאדים מסוכן מדי. הוא רוצה לראות את ילדיו גדלים, זה התרוץ שלו. האמת היא שוולנד הוא גבר-גבר, ומאסק הוא גיק עם ציחקוק מוזר. מעניין, אגב, מה מקור הכריזמה של מאסק, ההופעה שלו לחלוטין לא דומיננטית.

אני לא חושב שבינה מלאכותית חזקה מסוכנת לאנושות. בסופו של דבר, באחרית הימים, טכנולוגיה כזאת תשנה את האנושות, ואולי אפילו את ההגדרה מיהו בן אנוש. אני לא רואה בכך סכנה אלא תקווה גדולה (תקווה משיחית אולי). אני לא חושב שבעתיד הנראה לעין הבינות המלאכותיות יקומו עלינו‏1. בכלל לא ברור לי שבינה מלאכותית חזקה מחייבת מודעות, או רצון חופשי. בכל אופן אותן בינות מלאכותיות פיראטיות, שאיזה בן זונה ביולוגי הצמיד להן מודעות ויצרים סאדיסטיים, יצטרכו להתמודד, לא נגד אנשים, אלא נגד אנשים והבינות המלאכותיות שלהם.
___
הסרט פנטסטי (הפונז לא מבין בסרטים, אני מציין לעצמי). אם היה באמת גרוע לא היה איכפת לך שהוא גרוע, יש המון סרטים גרועים. יש בסרט אפקט וואו יותר מפעם אחת, מיסתורין, מתח, ואפילו עומק. לא סתם האינטרנט מלא בתאוריות שמסבירות מי הם המהנדסים, מה משמעות סצינת הפתיחה, מה הקשר שלהם למיתוסים על אלים קדומים. הסרט מעניין מאוד, ולא כקדימון לסידרה הידועה. הבעיה שאיזה אידיוט צייר שפם על המונה ליזה. וזה מעצבן, כלומר מדוע עשו את זה לסרט נפלא כל כך? ברור שהשפם הוא סינדרום "אידיוטים בחלל". ההתנהלות של הצוות מתאימה אולי לחבורה של נערי רחוב, ולא למדענים או אנשי צוות של חללית.

1 קראתי לאחרונה שמצלמות אינטרנט אירגנו מתקפת DDoS.
חזון או שגעון גדלות 684463
ווילנד הוא "גבר-גבר", כי הוא דמות בידיונית שמשוחקת על ידי שחקן חתיך ומסוקס, שזה חלק מה- job description שלו, בניגוד לאילון מאסק שאמור להבין טכנולוגיה ואף אחד לא יגייס עבורו דולר בגלל שהוא נראה טוב או לא.
להתלונן על כך זה כמו להתלונן על זה שאילון מאסק הוא לא אלף שנושא חרב כפולת-להב ולובש שריון. כן, גם זו דמות בידיונית.

לי לא ברור בכלל איך ניתן ליצור בינה מלאכותית "אמיתית" שתהיה צייתנית לחלוטין. ברגע שהיא לא כזו, אין שום סיבה שלפחות חלק מהגילומים שלה לא יחליטו מרצונם שיותר מתאים להם להרוג אנשים מלטפל בתינוקות מעצבנים. ואם הבינות המלאכותיות השפויות זה קו ההגנה שלך, אני לא רוצה להיות שם כשזה יקרה. קווי הגנה טיבם להיפרץ.

_____________
אכפת לי שהסרט גרוע, כי א. הוא המשך (גרוע) לסדרת סרטים מיתולוגית‏1 ו-ב. דוקא היה לו פוטנציאל להיות סרט טוב. אבל איכשהו הצליחו להרוס את הפוטנציאל הזה. וזה הרבה יותר מעצבן ומאכזב מעשרות סרטי מד"ב כושלים ללא פוטנציאל מלכתחילה‏2. ההתנהלות של הגיבורים ובעצם של כל האנשים שמקיפים אותם זה לא דבר משני בסרט. בסרט דרמה ניו-זילנדי קטן זה כמעט הכל, אבל גם בסרט מד"ב עתיר אפקטים זה חלק מאד מאד משמעותי מהסרט. וכשההתנהגות של כל הדוקטורים שם דומה לזו של נערי רחוב, זה טוחן לאבק דק כל שביב אמינות שהצופה מוכן לקבל, והופך את הסרט לגרוע ואף מעצבן בקלקלתו.
כן, אז מה שנשאר לפאנ-בויס הגיקים באינטרנט זה להמציא תיאוריות משל עצמם - חלקן אני בטוח הרבה יותר מוצלחות ממה שסופר בסרט או אפילו ממה שהתכוונו לספר ולא סיפרו - אבל זה לא מראה שום דבר על איכותו של הסרט, אולי להיפך.

1 באופן דומה הכשלון של סדרת סרטי "ההוביט" היה צורב הרבה יותר מזה של עשרות סרטי פנטזיה כושלים שיוצאים כל שנה.
2 נדמה לי שלמדתי או קראתי פעם איזו הגדרה שאומרת שטרגדיה היא הפער ה*מזערי* בין מה שקרה לבין מה שיכול היה לקרות. וככל שקטן הפער, גדולה הטרגדיה.
חזון או שגעון גדלות 684466
ראשית, אני מבין בינה כמנגנון בנית מודלים. למשל מנגנון שבהינתן הארכיטקטורה שלו, מוצא תאור קצר ככל האפשר של הקלט שלו. בינה מלאכותית חזקה היא בינה שהמודלים שלה כוללים מושגים מופשטים. אין לנו כיום תאוריה מתמטית של מושגים מופשטים או של תאוריות מופשטות. אנחנו לא יודעים למדוד, נניח במושגים של תורת האינפורמציה, את התועלת של מושג מופשט. אנחנו לא יודעים איזה סוגי מושגים כאלה קיימים ומה היחסים ביניהם.

נניח שהייתה בידינו ארכיטקטורה של בינה מלאכותית חזקה ותאוריה מתמטית של מושגים מופשטים. לא ברור לי מדוע בהכרח אלגוריתם שמממש ארכיטקטורה כזאת, זקוק לתכונות נפשיות יותר מאלגוריתם שמממש רגרסיה לינארית. האוטונומיה של המנגנון התבוני יכולה להיות אך ורק בתחום מציאת המודל. נניח שהייתה לך בינה מלאכותית חזקה, והיית מזין לתוכה מאמרים מדעיים, ומצפה ממנה להציע תאוריות חדשות - כפי שאתה מזין נקודות לאלגוריתם הרגרסיה, ומצפה ממנו לבצע אקסטרפולציה. מדוע תוכנה כזו זקוקה בהכרח למודעות או בכלל ליכולת ליצר לעצמה מוטיבציות באופן עצמאי?

כמובן, אם תהיה לנו תאוריה של מושגים מופשטים, אפשר יהיה ליצר בינות מלאכותיות שהמוטיבציות שלהן מוגדרות במונחים של מושגים מופשטים, והבינה המלאכותית מחליטה באמצעות היצירתיות שלה מה דרך היעילה ביותר לממש מה שהיא מבינה שצריך לממש. כאן יכולות להתקבל תוצאות משעשעות. אבל אני מניח שאפשר יהיה לרסן פרשנויות מזיקות באמצעות רשימות ארוכות של כללי "על תעשה" - כללי מוסר. יתכן שברוב המקרים אפשר והגיוני יהיה להפריד בין הלמידה היצירתית, או בניית המודלים, ובין השימוש. הלמידה תתבצע אוף-ליין בשלב הפיתוח; התהליך או הרובוט התבוני ישתמש בעותק מוכן, והאוטונומיה היצירתית שלו תהיה מוגבלת.

אני מציע לזכור שתי נקודות: האחרת היא שבינה - מלאכותית או אנושית - היא עדיין בינה. יש לנו נסיון עם יצורים תבוניים שמבצעים פעולות אנטי חברתיות. הנקודה השניה היא שיש כבר בחברה שלנו ישויות תבוניות שאינן בני אדם, והן אפילו בעלות תבונה ועוצמה גדולה בהרבה מזו של אדם כלשהו: אירגונים, למשל תאגידים גדולים.

ברור שיהיו בינות מלאכותיות פיראטיות, ויהיו עברינים או אירגוני פשע וטרור שישתמשו בבינות מלאכותיות. אבל גם האוכלוסיה ההגונה וגופי האכיפה ישתמשו בבינות מלאכותיות, וכפי שיש היום איזון בין פעילות אכיפת חוק ופעילות עבריינית, אין סיבה לחשוב שלא יהיה כך גם בעתיד.
חזון או שגעון גדלות 684518
תגובה יפה.
חזון או שגעון גדלות 684521
כמה נקודות קצרות, בתקווה לתגובה ארוכה יותר בהמשך:
א. אני לא דיברתי על תכונות נפשיות או מודעות. אלה אנשי קש שאתה העלית לבמה, כדאי לוותר עליהם מאחר והם רק מסבכים את הטיעון שלא לצורך.

ב. "בינה - מלאכותית או אנושית - היא עדיין בינה." המשפט הראשון ריק ממשמעות. מאחר והבינה היחידה שאנחנו מכירים היא האנושית, אין לנו בעצם שום מושג מה מגדיר או מאפיין בינה מלבד זאת המוכרת לנו. ברמה מסוימת יש זהות מוחלטת כמעט בין "בינה אנושית" לבין בינה. ומאחר ואין לנו מושג איך תראה בינה אחרת, מלאכותית או חייזרית, ההנחה שהיא "רק בינה == אנושית" לוקה בחסר. זה כמו שמי שמכיר רק מים נוזלים, יאמר "מים - בחלל הריק או על פני השמש, או באוקיינוס - הם רק מים, תן לי בקבוק זכוכית ואני אוכל להחזיק אותם בתוכו".

ג. "יש לנו נסיון עם יצורים תבוניים שמבצעים פעולות אנטי חברתיות." - ולנו יש נסיון עם מפציצים שזורקים פצצות, אחד כזה לא מטריד אותנו, אמרו תושבי הירושימה.

ד. ההגדרה של ארגון כיישות תבונית היא כל כך far fetched (תגיד, היית בצבא?), שאתה לא יכול לזרוק אותה ככה סתם בלי לנמק אפילו.

ה. "וכפי שיש היום איזון בין פעילות אכיפת חוק ופעילות עבריינית, אין סיבה לחשוב שלא יהיה כך גם בעתיד." - זה בטח ציטוט מתוך Famous last words. האיזון בין יכולת הטרור של הפלסטינאים לבין אכיפת החוק הצה"לית קרס באוקטובר 2000. ו-‏11 חודשים אחר כך קרס האיזון הקודם בין יכולת אכיפת החוק של צבא ארה"ב ליכולת הפעילות העבריינית של האיסלאם הקיצוני. מתפיסת הבטחון של ישראל ערב מלחמת יום כיפור ועד קריסת ליהמן בראדרס, ההיסטוריה מלמדת אם כבר בדיוק ההיפך - יש את כל הסיבות לחשוב שלא יהיה כך בעתיד.
חזון או שגעון גדלות 684548
התרחיש של בינה מלאכותית חזקה שממנו חוששים אלון מאסק וחבריו הוא שונה מאד ממה שאתה מתאר.
היא מסוכנת בגלל שהיא חכמה בכמה סדרי גודל ושונה מאד מאיתנו (כלומר אין לה מודעות או מוטיבציות או מצפון, ואי אפשר לדמות אותה למשהו שאנחנו מכירים).

על קצה המזלג:
- אנחנו עלולים לאבד את היכולת להגביל את החוכמה שלה, כי היא יודעת לשפר את עצמה וכל גרסא יודעת לשפר את עצמה עוד יותר, וכן הלאה. ככה היא מגיעה לרמת אינטליגנציה כ"כ קיצונית. זה נושא שלם בפני עצמו, אאל"ט הוא נקרא intelligence explosion .
- קשה להגביל את מה שהיא עושה (כי אנחנו לא באמת יודעים לנסח כללי מוסר בצורה מדויקת, בטח לא בצורה שתגביל ישות כל כך חזקה).
- גם אם המטרה שלה היא לכאורה תמימה (למשל מציאת תאוריות במתמטיקה), היא יכולה לעשות דברים שלא העלינו על דעתנו ולא צפינו (למשל לצור מגפה ביולוגית כדי לבדוק תאוריה כלשהי, וזוהי עוד דוגמא מתונה).

אם בכל זאת להשתמש בדימוי, תאר לעצמך נמלים שאיכשהו מגדלות ייצור אינטליגנטי כמו אדם. הם אומרות לו שידאג ששום דבר רע לא יקרה לקן שלהן ומגבילות אותו ע"י הגבלת כמות החלבונים בדיאטה שלו (כי מנסיונן מידת החכמה קשורה לכמות החלבונים). אותו אדם יבין שהדרך הכי טובה להגן על הקן היא להיות יותר חכם. הוא ילמד את עצמו בדרכים שהנמלים כלל לא מדמיינת (למשל יעשה ניסויים). בסופו של דבר הוא ישים את קן הנמלים בתוך אקווריום מזכוכית. זה לא מה שהנמלים קיוו שיקרה..

התרחיש הזה הוא לא וודאי, אבל מספיק שתהיה בינה אחת שתתנהג באופן כזה כדי להמית אסון גדול. ובגלל זה רבים וטובים מודאגים.
חזון או שגעון גדלות 684554
לחובבי המדע בדיוני, יש סיפור קצר שנקרא I Have No Mouth, and I Must Scream שמתאר מה יכול לקרות כשבינה מלאכותית משפרת את עצמה עד אין סוף.

חזרה לעמוד הראשי המאמר המלא

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים