בתשובה להפונז, 01/10/16 16:22
 |
|
 |
||
|
||||
 |
ראשית, אני מבין בינה כמנגנון בנית מודלים. למשל מנגנון שבהינתן הארכיטקטורה שלו, מוצא תאור קצר ככל האפשר של הקלט שלו. בינה מלאכותית חזקה היא בינה שהמודלים שלה כוללים מושגים מופשטים. אין לנו כיום תאוריה מתמטית של מושגים מופשטים או של תאוריות מופשטות. אנחנו לא יודעים למדוד, נניח במושגים של תורת האינפורמציה, את התועלת של מושג מופשט. אנחנו לא יודעים איזה סוגי מושגים כאלה קיימים ומה היחסים ביניהם. נניח שהייתה בידינו ארכיטקטורה של בינה מלאכותית חזקה ותאוריה מתמטית של מושגים מופשטים. לא ברור לי מדוע בהכרח אלגוריתם שמממש ארכיטקטורה כזאת, זקוק לתכונות נפשיות יותר מאלגוריתם שמממש רגרסיה לינארית. האוטונומיה של המנגנון התבוני יכולה להיות אך ורק בתחום מציאת המודל. נניח שהייתה לך בינה מלאכותית חזקה, והיית מזין לתוכה מאמרים מדעיים, ומצפה ממנה להציע תאוריות חדשות - כפי שאתה מזין נקודות לאלגוריתם הרגרסיה, ומצפה ממנו לבצע אקסטרפולציה. מדוע תוכנה כזו זקוקה בהכרח למודעות או בכלל ליכולת ליצר לעצמה מוטיבציות באופן עצמאי? כמובן, אם תהיה לנו תאוריה של מושגים מופשטים, אפשר יהיה ליצר בינות מלאכותיות שהמוטיבציות שלהן מוגדרות במונחים של מושגים מופשטים, והבינה המלאכותית מחליטה באמצעות היצירתיות שלה מה דרך היעילה ביותר לממש מה שהיא מבינה שצריך לממש. כאן יכולות להתקבל תוצאות משעשעות. אבל אני מניח שאפשר יהיה לרסן פרשנויות מזיקות באמצעות רשימות ארוכות של כללי "על תעשה" - כללי מוסר. יתכן שברוב המקרים אפשר והגיוני יהיה להפריד בין הלמידה היצירתית, או בניית המודלים, ובין השימוש. הלמידה תתבצע אוף-ליין בשלב הפיתוח; התהליך או הרובוט התבוני ישתמש בעותק מוכן, והאוטונומיה היצירתית שלו תהיה מוגבלת. אני מציע לזכור שתי נקודות: האחרת היא שבינה - מלאכותית או אנושית - היא עדיין בינה. יש לנו נסיון עם יצורים תבוניים שמבצעים פעולות אנטי חברתיות. הנקודה השניה היא שיש כבר בחברה שלנו ישויות תבוניות שאינן בני אדם, והן אפילו בעלות תבונה ועוצמה גדולה בהרבה מזו של אדם כלשהו: אירגונים, למשל תאגידים גדולים. ברור שיהיו בינות מלאכותיות פיראטיות, ויהיו עברינים או אירגוני פשע וטרור שישתמשו בבינות מלאכותיות. אבל גם האוכלוסיה ההגונה וגופי האכיפה ישתמשו בבינות מלאכותיות, וכפי שיש היום איזון בין פעילות אכיפת חוק ופעילות עבריינית, אין סיבה לחשוב שלא יהיה כך גם בעתיד. |
 |
 |
 |
|
|
|
||
|
||||
|
תגובה יפה. | |
|
|
|
|
|
||
|
||||
|
כמה נקודות קצרות, בתקווה לתגובה ארוכה יותר בהמשך: א. אני לא דיברתי על תכונות נפשיות או מודעות. אלה אנשי קש שאתה העלית לבמה, כדאי לוותר עליהם מאחר והם רק מסבכים את הטיעון שלא לצורך. ב. "בינה - מלאכותית או אנושית - היא עדיין בינה." המשפט הראשון ריק ממשמעות. מאחר והבינה היחידה שאנחנו מכירים היא האנושית, אין לנו בעצם שום מושג מה מגדיר או מאפיין בינה מלבד זאת המוכרת לנו. ברמה מסוימת יש זהות מוחלטת כמעט בין "בינה אנושית" לבין בינה. ומאחר ואין לנו מושג איך תראה בינה אחרת, מלאכותית או חייזרית, ההנחה שהיא "רק בינה == אנושית" לוקה בחסר. זה כמו שמי שמכיר רק מים נוזלים, יאמר "מים - בחלל הריק או על פני השמש, או באוקיינוס - הם רק מים, תן לי בקבוק זכוכית ואני אוכל להחזיק אותם בתוכו". ג. "יש לנו נסיון עם יצורים תבוניים שמבצעים פעולות אנטי חברתיות." - ולנו יש נסיון עם מפציצים שזורקים פצצות, אחד כזה לא מטריד אותנו, אמרו תושבי הירושימה. ד. ההגדרה של ארגון כיישות תבונית היא כל כך far fetched (תגיד, היית בצבא?), שאתה לא יכול לזרוק אותה ככה סתם בלי לנמק אפילו. ה. "וכפי שיש היום איזון בין פעילות אכיפת חוק ופעילות עבריינית, אין סיבה לחשוב שלא יהיה כך גם בעתיד." - זה בטח ציטוט מתוך Famous last words. האיזון בין יכולת הטרור של הפלסטינאים לבין אכיפת החוק הצה"לית קרס באוקטובר 2000. ו-11 חודשים אחר כך קרס האיזון הקודם בין יכולת אכיפת החוק של צבא ארה"ב ליכולת הפעילות העבריינית של האיסלאם הקיצוני. מתפיסת הבטחון של ישראל ערב מלחמת יום כיפור ועד קריסת ליהמן בראדרס, ההיסטוריה מלמדת אם כבר בדיוק ההיפך - יש את כל הסיבות לחשוב שלא יהיה כך בעתיד. |
|
|
|
|
|
|
||
|
||||
|
התרחיש של בינה מלאכותית חזקה שממנו חוששים אלון מאסק וחבריו הוא שונה מאד ממה שאתה מתאר. היא מסוכנת בגלל שהיא חכמה בכמה סדרי גודל ושונה מאד מאיתנו (כלומר אין לה מודעות או מוטיבציות או מצפון, ואי אפשר לדמות אותה למשהו שאנחנו מכירים). על קצה המזלג: - אנחנו עלולים לאבד את היכולת להגביל את החוכמה שלה, כי היא יודעת לשפר את עצמה וכל גרסא יודעת לשפר את עצמה עוד יותר, וכן הלאה. ככה היא מגיעה לרמת אינטליגנציה כ"כ קיצונית. זה נושא שלם בפני עצמו, אאל"ט הוא נקרא intelligence explosion . - קשה להגביל את מה שהיא עושה (כי אנחנו לא באמת יודעים לנסח כללי מוסר בצורה מדויקת, בטח לא בצורה שתגביל ישות כל כך חזקה). - גם אם המטרה שלה היא לכאורה תמימה (למשל מציאת תאוריות במתמטיקה), היא יכולה לעשות דברים שלא העלינו על דעתנו ולא צפינו (למשל לצור מגפה ביולוגית כדי לבדוק תאוריה כלשהי, וזוהי עוד דוגמא מתונה). אם בכל זאת להשתמש בדימוי, תאר לעצמך נמלים שאיכשהו מגדלות ייצור אינטליגנטי כמו אדם. הם אומרות לו שידאג ששום דבר רע לא יקרה לקן שלהן ומגבילות אותו ע"י הגבלת כמות החלבונים בדיאטה שלו (כי מנסיונן מידת החכמה קשורה לכמות החלבונים). אותו אדם יבין שהדרך הכי טובה להגן על הקן היא להיות יותר חכם. הוא ילמד את עצמו בדרכים שהנמלים כלל לא מדמיינת (למשל יעשה ניסויים). בסופו של דבר הוא ישים את קן הנמלים בתוך אקווריום מזכוכית. זה לא מה שהנמלים קיוו שיקרה.. התרחיש הזה הוא לא וודאי, אבל מספיק שתהיה בינה אחת שתתנהג באופן כזה כדי להמית אסון גדול. ובגלל זה רבים וטובים מודאגים. |
|
|
|
|
|
|
||
|
||||
|
לחובבי המדע בדיוני, יש סיפור קצר שנקרא I Have No Mouth, and I Must Scream שמתאר מה יכול לקרות כשבינה מלאכותית משפרת את עצמה עד אין סוף. | |
|
|
| חזרה לעמוד הראשי | המאמר המלא |
| מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
 RSS מאמרים |
כתבו למערכת |
אודות האתר |
טרם התעדכנת |
ארכיון |
חיפוש |
עזרה |
תנאי שימוש
|
© כל הזכויות שמורות |