בתשובה לשייח ספיר, 21/10/07 10:52
לרבע את הלולאה. 461133
מה ההבדל בין חיקוי ותחושה של ממש? על סמך מה אתה קובע שבנך מרגיש ממש, ולא סתם מחקה אותך ואת אמא שלך, יוצריו ומקור הקוד הגנטי שלו? מה הופך את התגובות של הבן שלך ליותר אותנטיות משל המחשב? שום דבר, מלבד הטעות שאליה אתה מגיע בגלל יכולת ההזדהות שלך עם הבן ולא עם תוכנת המחשב.

"לא יודע. אבל עובדה שאני מבין." - עובדה? תוכיח! (לא עובדה ולא נעליים.)

"משום שהיא כוללת בתוכה הבנת משמעות" - סלח לי, אבל אני לא מבין. על איזו משמעות אתה מדבר? על המשמעות "תנור - חם - כואב"? תוכנת מחשב יכולה בקלות להבין בדיוק באותה המידה מידע שכזה. על המשמעות "אדום"? זה לא מכיל שום הבנה, זה genetically hard coded לגמרי, זהה לחלוטין לפעולה של מכונה - תופעה פיזיקלית כלשהי מתרחשת בעין (עצבים מושפעים מקרני אור), וחלק מהעין מבצע פעולה פיזיקלית, מבלי להבין בכלל את משמעותה, תכליתה או כל דבר אחר, שגורמת לתופעה פיזיקלית נוספת, שאנחנו מתארים כשידור מידע, לחלק נפרד לגמרי של הגוף, שחי בנפרד ולא מתקשר בכלל עם החלק ששלח את ההודעה (הקולטנים עצמם, בניגוד לשרירים שמזיזים את העין ואת העפעפיים, למשל).

"זו טעות איומה, לדעתי" - ולדעתי זו תובנה עמוקה על התודעה האנושית. ע"ע "אדום" ו"תנור - חם - כואב".
לרבע את הלולאה. 461149
לבעית המשמעות: http://en.wikipedia.org/wiki/Chinese_room
לרבע את הלולאה. 461215
למה אתה חושב שהמוח האנושי עושה משהו שונה מהותית מהמחשב הזה?
לרבע את הלולאה. 461226
זה מבוסס על ההבחנה בין תחביר לסמנטיקה, האם אתה כופר גם בה?
לרבע את הלולאה. 461244
האם התשובה שמפיק המתרגם, שאיננו דובר סינית, איננה רק נכונה תחבירית, אלא גם הגיונית ולעניין?
לרבע את הלולאה. 461247
השאלה בדבר ערך האמת של התשובה המופקת אינה רלוונטית.
המימד שמעניין פה הוא היחס של המתרגם עצמו לתשובה שהוא נתן, איזה מין קשר יש ביניהם, ועל איזה עקרונות הוא מושתת.
לרבע את הלולאה. 461294
אם תפריד (בדמיונך בלבד - לא לנסות בבית) את המוח שלי לחתיכות קטנות, תווכח בקלות שאף אחת מהן לא מבינה את ההודעה שאני מקליד כרגע. עדיין, לא רק שההודעה נכונה סינטקטית, יש לה אפילו משמעות סמנטית, ועוד אחת כזאת שרלוונטית לדיון. אם הבחור בחדר יפיק את אותה ההודעה בתגובה לשלך, ועוד הודעות דומות בבהירותן בתגובה לשאר הודעותיך, לא הגיוני שלא להסיק שהוא חלק ממערכת ‏1 שהיא תבונית באותה המידה כמוני, על חלקי המוח הרבים והנפרדים שלי, ולא משנה מה התהליך שהוא עובר בכדי להפיק את ההודעות האלו, כל עוד הוא עושה זאת באופן אוטונומי (כוונתי - לא מקבל שדרים *נוספים* מן החוץ. שספר הכללים שמנחה אותו נכתב על ידי אחר לא משנה לדיוננו).

1 חלקה השני - ספר הכללים. השלישי - דפים שעליהם הוא כותב גזירות ביניים, בשל זכרונו המוגבל, והעט שבה הוא משתמש.
לרבע את הלולאה. 461298
זה הגיוני כל זמן שלא יודעים שהוא כותב על בסיס מניפולציה תחבירית, ברגע שיודעים את זה הגיוני להסיק שהוא לא תבוני.
לרבע את הלולאה. 461299
קרא שוב - אמרתי שהוא חלק אחד ממערכת שהגיוני להסיק שהיא תבונית. אני אוסיף - אין שום הגיון להסיק שהאדם הממוצע הוא תבוני, ושהיא - המערכת שהוא חלק אחד בה - איננה, אם הוא מנפק את אותן התשובות.
לרבע את הלולאה. 461300
מהי המערכת הגדולה יותר שהאדם התבוני הוא חלק ממנה? (כלומר מי שנותן את הפלט בטיעון הסיני)?
לרבע את הלולאה. 461303
בהודעה שביקשתי ממך לקרוא שוב הסברתי שהחלק השני הוא ספר החוקים, והשלישי הוא ניירות (או מחשב) שבהם הוא משתמש כעזר לזכרונו בעת שהוא מבצע חישובים ארוכים.
לרבע את הלולאה. 461155
אנחנו מותנים אינטואיטיבית לפרש התנהגויות אנושיות כמעידות על עולם פנימי. כך אנחנו בנויים. כמובן שזו לא הוכחה לכך שיש לזולת עולם פנימי. אני לא יודע אם אתה מרגיש דברים. אני רק מאמין בזה. אבל אני יודע, בוודאות שאין למעלה ממנה, שאני מרגיש דברים.

"עובדה? תוכיח!" - אני לא צריך להוכיח לעצמי שאני מבין, משום שאני מודע להבנה שלי. אני גם לא צריך להוכיח לך שאתה מבין משום שאתה מודע להבנה שלך.

העין לא מבינה מהו "אדום". עצבי הראיה לא מבינים מהו "אדום". הנוירונים של עיבוד המידע הויזואלי לא מבינים מהו "אדום". רק התודעה שלך מבינה מהו אדום. לתוכנת מחשב אין תודעה ולפיכך כל מה שהיא יכולה לעשות זה לעבד מידע. היא יכולה להדפיס הודעה "הטמפרטורה היא שבעים וארבע מעלות" בתגובה לקלט מתרמומטר, אבל היא לא יכולה להרגיש את הכאב. מה כואב בביטים? יש בובות שבוכות כאשר משכיבים אותן. אבל הן לא באמת עצובות, אתה יודע. הבהיוויוריזם לא מוביל לשום מקום...

המון תלמידים שונאים לימודי מתמטיקה משום שמה שמלמדים אותם בבית הספר זה אלגוריתמים. תכפיל בזה; תחסר מזה; תציב בנוסחה ותחשב. מי שמכיר את האלגוריתם, ואפילו יתרגל אליו, יוכל אולי לפתור את הבעיות אבל הוא לא מבין מתמטיקה. הבנה זה משהו אחר, סוג של "קליק" תודעתי שנמצא מעבר לשיטה לחשב דברים. זה לא הרגל, למרות שהרגל מסייע לזכור את הפרטים וזה בהחלט עוזר להגיע להבנה.
לרבע את הלולאה. 461216
התמקד בבקשה בפסקה *.

אתה אולי "יודע שאתה מרגיש דברים", אבל אתה לא יודע מה טבע ההרגשה הזאת (לא יותר מאדם שחוטף [בסרט הוליוודי] כדור בתחת וצועק "משהו נשך אותי!"), ואין לך שום בסיס להגיד לי שמחשב לא יכול להרגיש הרגשה מקבילה (אם לא יותר אפילו יותר "מודעת" ו"תבונית").

אתה צריך להוכיח לי שאתה מבין (את משמעות הפעולות שאתה מבצע). אני בכלל לא משוכנע בכך. וכשנחשוב על מבחנים שישכנעו אותי שאתה מבין, יהיה תורו של המחשב לעבור אותם, ואם הוא יעבור אותם באותה הצלחה כמוך, לא תהיה לי ברירה אלא להסיק שאו שגם הוא מבין, או שהמבחן פסול - ואז, גם למסקנה *שאתה* מבין קפצתי מהר מדי.

פסקה * - הכיוון שאליו חתרתי הוא שגם חלקי המוח השונים לא "מבינים", בצורה שאתה מבין את מונח ה"הבנה", מהו אדום, אלא הם מכונות שפועלות בנפרד וביחד, ומפיקות תוצאות שרק נראות לך כ"הבנה" (שוב, כהבנתך את מושג ה"הבנה"). תודעה? המצאה לשונית שמקורה בטעות, ושתשאר גם אם הטעות תמוגר, בשל הקלות שהיא מכניסה לשיחה.

"רק התודעה שלך מבינה מהו אדום. לתוכנת מחשב אין תודעה" - אני לא יכול להדגיש מספיק כמה המשפט הזה חסר בסיס. ראה פסקה קודמת.

אני לא מעוניין לפתוח כרגע בדיון על הטעויות שעושים מורי המתמטיקה של ימינו בארץ. אני טוען שגם ברמות הגבוהות ביותר של המתמטיקה - ומצטט מתמטיקאי ידוע שם (שאת שמו אינני זוכר) שמסכים איתי - כל מה שאתה יכול לעשות זה להתרגל, לא להבין; להסיק כללים מהסוג "אם מחברים חמישה תפוזים לשני תפוחים, מקבלים קבוצת פירות שיש התאמה חד-חד-ערכית בינה לבין קבוצת הילדים במשפחה החרדית הממוצעת." מה שאתה מתאר כ"קליק" של ה"הבנה" שגם אם היינו מחברים ארבעה פילים לשלושה סוסים היינו מקבלים את אותה תוצאה מופלאה, זה גם כן התרגלות בלבד - זה מבוסס על הסקה מהפרט אל הכלל, לא "הבנה" קסומה.
לרבע את הלולאה. 461257
אני יודע ב_ד_י_ו_ק מה טבע ההרגשות שלי, מעצם העובדה שאני חווה אותם. אני אולי לא יודע מה המנגנונים הפיזיולוגיים והפיסיקליים שיצרו אותן חוויות, אבל אני מכיר את החוויות מגוף ראשון, מבפנים, באופן בלתי אמצעי ומוחלט לחלוטין. האם מחשב (כלומר, מנגנון מכני המיישם אלגוריתמים קלאסיים, ללא שום פונקציונליות רלוונטית נוספת) יכול לחוות חוויות כאלו? לדעתי לא, ונתתי מספר הסברים מדוע. וזה לא בגלל שמחשב הוא יציר מלאכותי הבנוי מחומרים אנאורגניים. זה בגלל שמחשב בנוי לעיבוד מידע ותו לא, ואילו חוויה מודעת היא יותר מכך.

אם אתה מבין את משמעות הפעולות שאתה מבצע, יש לך סיבה טובה להאמין לכך שאני, הבנוי באופן דומה מאוד לך, ומתנהג באופן דומה מאד, מבין גם כן. מצד שני איזו סיבה, תיאורטית או אמפירית, יש לך להאמין שמערכת אלגוריתמית יכולה להבין משהו?

יש שורה שלמה של מושגים בסיסיים שמאבדים את משמעותם אם מניחים שתודעה היא "המצאה לשונית שמקורה בטעות". למשל "רצון", "הווה", "כוונה", וגם "הבנה" ו"משמעות". בעל כורחך אתה נגרר לפוזטיביזם לוגי, תפיסה פילוסופית שנחלה כשלון חרוץ בניסיון להציג מודל קוהרנטי של השפה האנושית. אבל הבעייה הכי גדולה פה היא שאפילו אתה לא ממש מאמין בזה. אתה עדיין מתייחס לעצמך כאל ישות אינטגרטיבית בעלת רצונות, חוויות ועולם פנימי, לא כאל "מכונות שפועלות בנפרד וביחד". ברמה האינטלקטואלית המופשטת אתה יכול להכחיש את עצמך, אבל זו תזה שנמצאת בדיסוננס מוחלט למה שאתה חש ומרגיש.
לרבע את הלולאה. 461280
אני מניח שאחרים "מבינים" לא בגלל איך שהם בנויים, אלא בגלל איך שהם מתנהגים. אני מאמין שההתנהגות (כמו) שלהם ניתנת לחיקוי מושלם במכונת טיורינג. מכאן אפשר לנחש שגם בינה מלאכותית תזכה לאותה פריוולגיה שאני מעניק להם: אני אניח שהיא "מבינה".

זה לא טיעון פילוסופי מוצק לכך שהיא *באמת* "מבינה". אבל אין לי טיעון פילוסופי מוצק גם לכך שהם "מבינים".
לרבע את הלולאה. 461297
"אני יודע ב_ד_י_ו_ק מה טבע ההרגשות שלי, מעצם העובדה שאני חווה אותם" - אני חולק על כך. אני לא מסכים להנחתך הסמויה שאתה ישות יחידה ומונוליטית.

"מצד שני איזו סיבה, תיאורטית או אמפירית, יש לך להאמין שמערכת אלגוריתמית יכולה להבין משהו?"

דבר ראשון, כמו שהסברתי כבר, אני לא חושב שהתודעה שלנו היא כמו שנראה לי שאתה מדמיין אותה, מן דבר מונוליטי ועצמאי, ואני לא מסכים איתך לגבי טבעה של "הבנה".

דבר שני, תשובה שתפורה יותר עבורך מאשר לשאלה - בגלל שאני לא רואה מניעה תיאורטית לבנות מערכת שתחקה את התהליכים הרלוונטיים במוח שלי, אם לא ביקום שלנו, אז באחד דמיוני, שנבדל רק בכך שהוא מכיל כמות גדולה הרבה יותר של חומר, ושעתיד להתקיים לזמן רב הרבה יותר, כך שמחשב עם מספיק זכרון יוכל להבנות בה, ואפשר יהיה לאפשר לו לרוץ לפרק הזמן האסטרונומי שידרש ממנו. גם טרם שוכנעתי שהיקום שלנו לא עומד בדרישות האלו. מערכת כזאת, או לפחות היציר שלה, יהיה תבוני בדיוק כמוני. אז מה אם הוא מנוהל על פי מערכת חוקים שנקבעה מבחוץ? אני יצרתי את עצמי ואת חוקי הפיסיקה המנהלים את מוחי, וכתוצאה מכך, את תודעתי?

"אבל הבעייה הכי גדולה פה היא שאפילו אתה לא ממש מאמין בזה" - אם אדוני קורא מחשבות, אולי אדוני רוצה להיות ה-wingman שלי? וברצינות - אני כן מאמין בזה, ממש מאמין בזה. אני לא רואה מה אמרתי שסותר את זה.
לרבע את הלולאה. 461381
אני יודע שאני "ישות יחידה ומונוליטית" משום שאני יודע שאני ישות יחידה ומונוליטית. זה לא מסקנה אמפירית. זו ידיעה בלתי אמצעית של עצמי את עצמי. אפשר להמציא עד קץ הדורות תיאוריות לגבי פירוק התודעה ומבנה המוח, אבל הם לעולם לא יוכלו לבטל את הוודאות שבעצמי. כשחם לי אני יודע שחם לי וכשקר לי אני יודע שקר לי. אני לא צריך תרמומטר לשם כך.

"אני לא רואה מניעה תיאורטית לבנות מערכת שתחקה את התהליכים הרלוונטיים במוח שלי" - גם אני לא רואה מניעה כזו. אבל זה לא מה ששאלתי. שאלתי לגבי מערכת אלגוריתמית. מדוע אתה משוכנע שהמוח הוא מערכת כזו? על סמך מה?

אם אדם עומד ברחוב וצועק "אני לא קיים" קשה להתייחס אליו ברצינות. אם אתה כותב שתודעה היא "המצאה לשונית שמקורה בטעות" האפקט דומה. לא צריך לקרוא מחשבות כדי להבחין בדיסוננס. אתה כותב "אני כן מאמין בזה, ממש מאמין בזה". מי זה ה"אני" הזה שמאמין, ומה משמעות העובדה שהוא "מאמין" במשהו?
לרבע את הלולאה. 461397
אבל יש כמה תיאוריות רציניות מאוד לגבי "ריבוי חוטים" (multithreading) במוח‏1, כך שלא ברור כלל אם כל אחד מאיתנו הוא "ישות יחידה ומונוליטית". ישות יחידה, כן, אבל מונוליטית? לא ודאי.

1 לא מפליא, בהנתן שהמוח הוא dual-core, shared-bus architecture.
לרבע את הלולאה. 461409
המוח פועל בוודאי באופן סופר מקבילי, אבל אני עוסק רק בתודעה. תחושת העצמי שלי היא מה שמגדיר מבחינתי את ה''מונוליטיות'' שלה.
לרבע את הלולאה. 461426
[צ] אני יודע שאני "ישות יחידה ומונוליטית" משום שאני יודע שאני ישות יחידה ומונוליטית[/צ]
אני יודע את ההפך (משום שאני יודע את ההפך).

[צ] זו ידיעה בלתי אמצעית של עצמי את עצמי [/צ]
בדיוק כמו הידיעה הבלתי אמצעית של השכן חובש הכיפה שלי, שאנחנו אחים, והידיעה הבלתי אמצעית שלי, שאנחנו לא. סלח לי, אבל אין לי שום כוונה ליחס חשיבות לדיעותיך הבלתי מנומקות שלך על עצמך.

[צ] מדוע אתה משוכנע שהמוח הוא מערכת כזו? על סמך מה? [/צ]
לא חושב שאמרתי שהמוח הוא "מערכת אלגוריתמית". אמרתי שהמוח הוא מכונה, ושההתנהגויות המורכבות שהוא מפיק נראות לך בטעות כמו "הבנה", "מודעות עצמית" וכו', ושלמעשה הן אך ורק תופעות פיסיקליות, שאין שום מניעה תיאורטית שמכונה מסוג שונה - נגיד מחשב מהדגם המוכר לנו, אבל חזק יותר - יוכל להפיק התנהגות מקבילה להן; ושהיא תהיה "מודעת לעצמה" ו"מבינה" **ו"אמיתית"** בדיוק באותה המידה.

[צ] אם אדם עומד ברחוב וצועק "אני לא קיים" קשה להתייחס אליו ברצינות. [/צ]
אבל זה בכלל לא מה שטענתי. מה שטענתי הוא שטבע הקיום שלי שונה לגמרי מכמו שאתה מציג אותו. השתדל בבקשה לדייק.
לרבע את הלולאה. 461489
אם השכן שלך *חושב* שאתם אחים, אז הוא יודע בוודאות שזה מה שהוא חושב. הידיעה של אדם את המחשבות שלו היא בלתי אמצעית. מצד שני הידיעה שהארץ היא כדור, או שהירח עשוי גבינה, בין אם זו ידיעה נכונה ובין אם היא שגויה, איננה ידיעה בלתי אמצעית. היא טענה לגבי המציאות האמפירית, לגבי עולם התופעות ולא לגבי עולם החוויות, והיא תלויה בפרשנות שאתה נותן לקלט החושים.

אם אתה כותב "אני יודע את ההפך" אתה צריך לפרש מיהו ה"אני" שיודע זאת. אם יש "אני", מסויים, ספציפי, אינטגרטיבי שיודע משהו, כיצד הוא יכול להעיד על אי הקיום של עצמו? האם אינך שם לב לסתירה העצמית?

"אמרתי שהמוח הוא מכונה" - כל דבר בעולם התופעות הוא מכונה, בכלל זה המוח. איפה טענתי אחרת? ניתן, עקרונית, ליצור מכונה חושבת. ניתן, עקרונית, גם ליצור אדם במבחנה. אולם זה לא יהיה מחשב, אלא משהו שעושה שימוש אחר בחוקי הטבע.

"ההתנהגויות המורכבות שהוא [המוח] מפיק נראות לך בטעות כמו 'הבנה', 'מודעות עצמית' וכו', ושלמעשה הן אך ורק תופעות פיסיקליות" - יש לך בלבול מושגים. "הבנה" ו"מודעות עצמית" אינן התנהגויות ובטח לא תופעות. הם נואמנה, לא פנומנה. יכול להיות להם ביטוי התנהגותי, אולם אין הן שקולות לביטוי ההתנהגותי. ברור שהמוח הפיסיקלי יוצר את כל ההתנהגויות האנושיות, וקיומו חיוני גם לקיומה תודעה, אולם אינך יכול לספק איפיון מלא ושקול ערך למושג כמו "הבנה" על בסיס גדלים פיסיקליים מדידים יותר משאתה יכול לתאר סימפוניה לחרש מלידה.
לרבע את הלולאה. 461513
אני מקבל שהתשובה שלי עם השכן לא הייתה טובה, אבל אני עדיין לא מסכים עם כל השאר.

''כיצד הוא יכול להעיד על אי הקיום של עצמו'' - שוב, לא אמרתי שאני לא קיים, אלא שאני לא ישות מונוליטית ושאני שונה בטבעי ממה שנראה לך. מצב אנלוגי הוא שאני כותב ''אנחנו לא אלעד, אנחנו חמישה אנשים שכותבים את ההודעה הזו ביחד,'' ואתה עונה לי שלא יכול להיות שאף אחד לא כתב את ההודעה הזאת.

נמאס לי מהדיון.
לרבע את הלולאה. 461603
אז מה אם אתה ישות לא מונוליטית? זה לא סותר את עיקרי הדברים של השייח בפתיל הזה.

אני בהחלט מאמין שה"אני" וידיעותיו וחוויותיו הוא תוצאה של מערכת מורכבת, מבוזרת ומבולגנת - אבל שמועיל ותקף לראות את המערכת הזו ברמת ההפשטה שבה היא כן ישות אחת - אני. ואני מסכים בהחלט עם השייח (בעקבות דקארט וקאנט וכאלה) שהחוויות שלנו בגוף ראשון הן נתון ודאי, ששום ידיעה על התת-מערכות לא יכולה להפריך. למעשה, הודאות הזו היא תנאי בסיסי בכל הסקה תצפיתית ובכל הסקה לוגית (איך אתה יודע שהמחוג של האמפרמטר הראה 8? כי ראית זאת. איך אתה יודע שראית זאת? אתה פשוט יודע. מה שנחשב למדעי הוא רק מה שפומבי, אבל כל מי שרוצה לעשות שימוש כלשהו בידע הפומבי הזה (למשל, לדעת אותו) צריך להשתמש במנגנוני הגוף-ראשון הלא פומביים שלו.
לרבע את הלולאה. 461633
"אז מה אם אתה ישות לא מונוליטית?" - אז מה? אז אני רומז למה שאני כן - אוסף של אטומים חסרי בינה, שמרכיבים רקמות בודדות במוח שלי, שגם הן חסרות בינה, וכל העסק הזה, למרות שהוא מכניסטי לגמרי, מרכיב משהו שחושב, מרגיש ומודע לעצמו - לפחות לדעתו של שייח ספיר. ואם החלבונים הבלתי-מודעים של המוח שלי מסוגלים להקים דבר שכזה, למה שדבר דומה לא יוכל לקרות גם עם רכיבים וירטואליים? ואני לא מתכוון רק לסימולציה של מוח אנושי על מחשב, אלא גם לתוכנות מקוריות וחדשות שיפיקו התנהגות שנראית לנו מודעת לעצמה. כשספיר מסתכל על מחשב, הוא מתעקש להשתמש רק בזום הגבוה ביותר שעומד לרשותו, ולהצהיר "לא יכול להיות שסט חוקים של העברת אפסים ואחדים מימין לשמאל ייצר 'מודעות'!" אבל כשהוא מסתכל עליי ועל עצמו, הוא פתאום מוכן להביט בתמונה הגדולה, לראות רק את התוצאה המורכבת שמופקת, את הרגשת העצמיות הסובייקטיבית שלו (שלא ברור לי עדיין למה מחשב לא מסוגל לה), והוא מסרב לבחון "את הברזלים", ולראות שאני והוא לא שונים מהותית ממחשב, מהבחינה שיש לנו מודעות שמורכבת מאוסף (מצטער על החזרה) של דברים לא-מודעים.

"אבל שמועיל ותקף לראות את המערכת הזו ברמת ההפשטה שבה היא כן ישות אחת - אני" - גם אני חושב ככה, ולכן אני בכלל מדבר על "אני".
לרבע את הלולאה. 461666
אבל השייח כתב "אני יודע ב_ד_י_ו_ק מה טבע ההרגשות שלי, מעצם העובדה שאני חווה אותם", ואתה כתבת שאתה חולק על כך. למה?

לעיקר הדברים, השאלה שבמחלוקת היא "נניח שהתודעה האנושית היא תוצאה של תהליכים פיזיקליים פשוטים ברמה הנמוכה (נדמה לי שגם השייח מסכים להנחה הזו), האם ייתכן שניתן להפיק תודעה כתוצאה של תהליכים *חישוביים* פשוטים?" ונניח ששמים בצד את טיעון פנרוז ודומיו, ומבקשים להישאר בתחום הטיעונים המטאפיזיים.

אז נראה לי שיש ביניכם מחלוקת סמויה, שכדאי להציף אותה, על מי נטל ההוכחה. מצד אחד, אנחנו יודעים איך אפשר להפיק כתוצאה מתהליכים חישוביים אפקטים של הנפש כמו זכרון, הסקת מסקנות וכו'. מצד שני, אין לנו עדיין מושג ירוק איך להפיק תודעה. מכיוון אחר, אין לנו עדיין מושג ירוק איך להסביר את התודעה על-סמך מה שאנחנו יודעים על פעילות הנוירונים ומרכיבי המוח - אילו היינו יודעים, היינו יכולים אולי להרכיב את הרכיבים החישוביים המתאימים בסדר הנכון, ולדעת שנקבל תודעה. אבל אנחנו לא.

אתה ואחרים כאן שוב ושוב דורשים מבחנים התנהגותיים לתודעה. אבל זו נראית לי מלכתחילה דרישה לא הוגנת: אנחנו יודעים מה זה בכלל תודעה על סמך החוויות בגוף ראשון. לכן קשה מאוד לשכנע שמבחנים התנהגותיים כלשהם יעידו על תודעה - שוב, נשאלת השאלה על מי חובת ההוכחה.

אני דווקא משתעשע במחשבה שאפשר לבחון האם למכונה מלאכותית תבונית-מבחינה-התנהגותית יש קוואליה‏1, כך: נשאל אותה "האם יש לך קוואליה?". אפשר, כמובן, לתכנת אותה כך שהיא בכל מקרה תענה "כן". אבל אני לא מעוניין כאן במכונה שתעבור את מבחן טיורינג. עם קצת מזל, אני מקווה שאם אפשר לתכנת מכונה תבונית-מבחינה-התנהגותית, אז אפשר לתכנת אותה שתהיה *כנה* - שמתוך הבנת הקוד שלה אנחנו יודעים שהיא לא משקרת‏2. אם אין לה קוואליה, בהכרח או שהיא תאמר "לא", או שהיא תאמר "אני לא מבינה מה זה קוואליה", ולא נצליח להסביר לה. במילים אחרות, הסיבה הכי משכנעת שגורמת לי להאמין שלרוב האנשים יש קוואליה היא שדי קל להסביר לרובם מה זה קוואליה.

1 בפתיל אחר התווכחתי עם השייח, וטענתי שלטעמי קוואליה היא לא תנאי קריטי לתבוניות, ושמה שתבוני מבחינה התנהגותית הוא מבחינתי תבוני-נקודה, גם אם אין לו חוויה של הבנה. הסיוג כאן "מבחינה התנהגותית" הוא כדי להישאר במונחים שיותר בקונצנזוס.
2 יכול להיות ששקר הוא תוצר לוואי הכרחי של תבונה, ויכול להיות שהוא תוצר-לוואי שאינו הכרחי אבל שברמת מורכבות התוכנה של תבונה-התנהגותית כבר לא נדע האם היא עשויה לשקר או לא. אבל שתי האפשרויות האלה נראות לי אינטואיטיבית קצת פחות סבירות מהאפשרות שאני מניח - כאמור, עם קצת מזל.
לרבע את הלולאה. 461672
כתבתי שאני מסכים שהדוגמה עם השכן לא הייתה טובה. העניין שהשכן מדבר על משהו חיצוני לו, בזמן שהוא מדבר על משהו פנימי לו, היה חלק מהסיבה שהדוגמה עם השכן לא טובה.

לדעתי חובת ההוכחה על מי שטוענים שיש בתודעה משהו שהוא מעבר למשהו מכניסטי, שההרגשת העצמי היא משהו מיוחד שיש טעם להתייחס אליו, ולא רק להתנהגויות שנובעות ממנו. זה שאנחנו לא מבינים *עד הסוף* איך הגוף האנושי מפיק את התודעה והתנהגויותיה, לא אומר שהפקת אותן ההתנהגויות בדרכים אחרת היא פחותה או שונה מהותית. למה? כי אין לנו שום ראיה שזה לא ככה. כי הראיות היחידות שיש לנו לשם השוואה הן ההתנהגויות המופקות, וטרם הוצגה סיבה להאמין שזה לא מספיק, שיש בכלל משהו מעבר לזה.
לרבע את הלולאה. 461684
"חובת ההוכחה על מי שטוענים שיש בתודעה משהו שהוא מעבר למשהו מכניסטי" - אם "מכניסטי" = פיזיקלי, אני מסכים, ואני חושב שגם השייח. אם "מכניסטי" = חישובי, לא התשכנעתי על מי חובת ההוכחה.

בעצם, אני צריך שתזכיר לי את עמדתך בנוגע לקוואליה. נניח שמחשב מתנהג כמו בעל-תודעה. האם, לשיטתך
(א) יש לו תודעה, ויש לו קוואליה
(ב) יש לו תודעה, אבל אתה לא יודע האם יש לו קוואליה או לא
(ג) אין דבר כזה קוואליה
(ד) אחר (פרט)
seek, and ye shall find 461728
לשמחתי הרבה, יש בויקיפדיה ציטוט בנושא של מי שכתביו בנושאים הנ"ל תמיד גורמים לי להרגיש שהוא הוציא לי את המילים מהפה (ושיפץ אותן משמעותית) - מארווין מינסקי. שוב אני מצליף בעצמי על שלא מצאתי את הזמן להמשיך לקרוא את ספרו The Society of Mind.

"Now, a philosophical dualist might then complain: "You've described how hurting affects your mind — but you still can't express how hurting feels." This, I maintain, is a huge mistake — that attempt to reify 'feeling' as an independent entity, with an essence that's indescribable. As I see it, feelings are not strange alien things. It is precisely those cognitive changes themselves that constitute what 'hurting' is — and this also includes all those clumsy attempts to represent and summarize those changes. The big mistake comes from looking for some single, simple, 'essence' of hurting, rather than recognizing that this is the word we use for complex rearrangement of our disposition of resources".

דרך אגב, מה זה "*יש* לך קוואליה"? חשבתי שהמשמעות של "קוואליה" הוא "טבעה של התחושה", או "איך זה מרגיש לחוש [את איקס]". מבלי לקרוא את כל הערך, נראה שויקיפדיה מסכימה איתי.
seek, and ye shall find 461801
בדיון הזה עלתה האפשרות, שלרוב האנשים נראית אפשרית לוגית (ולחלקם נראית גם אקטואלית), שתחושת האדום שלך שונה מתחושת האדום שלי - לצורך העניין (בעקבות ניסוי המחשבה הפילוסופי הסטנדרטי לעניין הזה) נניח שאני חווה אדום כפי שאתה חווה ירוק, וההפך. קל לראות שלא ניתן יהיה להסיק הבדל כזה מהתנהגותנו. האם לך זה נראה אפשרי לוגית?

(קוואליה היא "איך זה מרגיש לחוש", בדגש על החווייה. לרבים, וגם לי, נראה אפשרי לוגית שמשהו יתנהג, לפחות מרוב הבחינות, כמוני, אבל ללא חוויית תחושה. תחת הנחה זו יש משמעות לשאלה "האם יש לו קוואליה", ששאלתי דווקא בגוף שלישי ולא שני.)
seek, and ye shall find 461804
אז אולי תוכל להבהיל לי מה קשורה קוואליה לעניין הבינה מלאכותית?

קוואליה בצד ונוירולוגיה בצד, האפשרות שיש משהו *בהתנהגות* האנושית שאינו ניתן לתיאור אלגוריתמי נשמע לי מיסטי. זה אולי קצת מסובך, אבל בלתי אפשרי באופן עקרוני? אני לא מצליח להבין למה.

הנה ניסוי מחשבתי: מצליחים לבנות מכונה שמתנהגת בדיוק כמו אדם, ומסוגלת לנהל שיחות ומערכות יחסים בסביבה אנושית כמוני וכמוך. אבל בזכות פריצת דרך מדעית-פילוסופית, אפשר להוכיח שהיא לא חווה דבר (על סמך האופן בו בנו אותה, לא על סמך באופן בו היא מתנהגת).

זו הצלחה או כישלון, לתומכים בתזה החישובית?
seek, and ye shall find 461862
לדעתי היא לא קשורה. לעניין הניסוי שלך - אני מנחש שמחנה התומכים בתזה החישובית יתחלק לכאלה שיראו בזה הצלחה, כאלו שיראו בזה כישלון, ורוב שיחשבו שזה לא משנה. אבל שאלה יפה בהחלט.
seek, and ye shall find 461808
אפשרי, אבל לא משנה דבר. מאותה הסיבה שזה לא מדיד - לא משנה דבר - זה גם לא מעניין (''לא מעניין'' מהבחינה של ''חשוב''. לשבת ולתת למחשבות להתרוצץ על זה דווקא שורף את הזמן יופי).
seek, and ye shall find 461834
אז בוא נתחיל מזה שאתה קצת חולק על מינסקי: כאב הוא לא זהה לסט מסוים של נטיות ההתנגותיות, לכל היותר ההבדל ביניהם לא מעניין.

חוץ מזה, ההבדל הזה הוא עיקרו של מה שמתכוונים אליו לרוב כשמדברים על תודעה. יכול להיות שלרוב הצרכים תודעה היא באמת לא כל כך מעניינת כמו שעושים ממנה: כפי שאמרתי כבר בדיון, אני בהחלט אשמח לקרוא למחשב "נבון" גם אם אין לו שמץ של *חוויית* הבנה.
seek, and ye shall find 461846
הסבר בבקשה שוב באיזו צורה אני חולק על מינסקי.
seek, and ye shall find 461864
מהציטוט שהבאת ממינסקי קשה לי לשים את האצבע בדיוק מה דעתו בסוגיה, אבל רוח הדברים שאני מבין היא שהכאב, וכמוהו תחושת הירוק, אינן אלא סך ההתנהגויות (יחסי הקלט-פלט), והקשרים למצבי נפש אחרים, שקשורים בראיית ירוק (בז'רגון, התזה הפונקציונליסטית, אחותה הצעירה והמוצלחת של התזה הביהייביוריסטית). בניסוי המחשבה שבו אנו הפוכים רק בתחושת הירוק הסובייקטיבית שלנו, אין בינינו הבדלים בהתנהגויות ובקשרים, ומכאן שאין הבדל בתחושת הירוק.
seek, and ye shall find 461901
ואני חולק עליו?
seek, and ye shall find 461965
אתה הסכמת שיש הבדל (אמנם לא מעניין) בתחושת הירוק.
seek, and ye shall find 461998
לא אמרתי שיש הבדל, אמרתי ש"אפשרי" שיש הבדל. אני לא חושב שמינסקי יתווכח עם זה. יש הבדל בין מערכת שזוכרת את מספר העיניים שלי כ-int או כ-uint? יש הבדל. משפיע על משהו? לא ממש. ואם אי-פעם יהיו לי מספיק עיניים בכדי ש-uint לא יספיק, אז יהיה לנו כבר הבדל מדיד בין שתי התפיסות של המספר - או, אם נחזור למקור, להבדל בין מי שתופס ירוק כאדום.
לרבע את הלולאה. 461680
והנה, תוך זמן קצר דורפל בא והזכיר לך שלפעמים קשה מאד להסביר לאנשים מה זה קוואליה.
לרבע את הלולאה. 461320
"זה בגלל שמחשב בנוי לעיבוד מידע ותו לא, ואילו חוויה מודעת היא יותר מכך"

זה הנתון, או מה שאתה רוצה להוכיח?

"ברמה האינטלקטואלית המופשטת אתה יכול להכחיש את עצמך"

אם אני מאמין בכל לבי שלדולפינים, כלבים, נדנדות (ומחשבים) יש תודעה עצמית - מדוע אני מכחיש את עצמי? אני ישות אינטגרטיבית בעלת רצונות, חוויות ועולם פנימי, אבל כך גם אתה, וגם המחשב שייבנה בעוד 100 שנה (אולי).
לרבע את הלולאה. 461384
אני רוצה להדגיש שיש הבדל (לפעמים גדול) בין ה*מודעות* להבנה לבין ההבנה עצמה.
לרבע את הלולאה. 461387
אני רוצה להדגיש שיש הבדל (לפעמים גדול) בין ההבנה עצמה לבין הבנה.
מכופף הבננות 461393
ובאמת, אני לא הבנתי.
מכופף הבננות 461400
במידה שהתכוונתי למשהו שדורש הבנה, הרי זה הדבר הבא - שכיוון שבמושג "הבנה" נכלל עניין של "אמת" (כלומר, קצת קשה לומר שמישהו הבין את X אם הוא לא הבין אותו "נכון"), וכיוון שחלק גדול מאוד מהדברים שאנחנו "מבינים" יכולים להתגלות כשגויים מאוחר יותר (כך שהדיעבד מתברר שבעצם לא הבנו אותם), אזי לא כל הבנה היא הבנה, בעצם...
קווליפיקציה של קוואליה 461449
אני ניסיתי להגיד משהו קצת שונה. נתקלתי כבר באנשים שניכר בהם בעליל שהם אכן חוו את חווית ה*קליק* ששייח ספיר דיבר עליו ושהם אכן *חוו* הבנה, אבל רק אחרי שהם היו צריכים להתמודד עם הדבר (שאותו הם היו אמורים להבין) התברר לצופה מן הצד שהם אינם מבינים. מה שמעניין הוא שהם לפעמים המשיכו לטעון שהם מבינים. אני מניח שכל האנשים הללו הם אוטומטים חסרי תודעה על פי הגישה של שייח ספיר. זה גם מראה את החשיבות של צופה חיצוני כשבאים להבדיל בין החוויה של מודעות לבין המודעות עצמה‏1.

1 ואל תשאלו אותי כיצד מישהו שאין לו תודעה יכול לחוות חוויות.
קווליפיקציה של קוואליה 461459
זה לא כל כך ברור לי. אשמח לדוגמא.
קווליפיקציה של קוואליה 461475
פעמים רבות קרה לי שחוויתי הבנה (נגיד בקשר לפתרון של בעיה) ורק מאוחר יותר התברר לי ששגיתי ושה''הבנה'' שלי הייתה שגויה (לפעמים מאד שגויה).
קווליפיקציה של קוואליה 461476
תודה. (נדמה לי ש)הבנתי.
קווליפיקציה של קוואליה 461477
נתת פעם שיעורים פרטיים בחשבון? אני כן (זה היה כישלון טוטלי מצידי, אבל הפקתי כמה תובנות) . נתקלתי במספר תלמידים ש"הבינו" את ההסבר שלי, הברק בעיניהם ניצת, ואז כשלו בתרגיל. כשלו פעם ופעמיים, אבל כל פעם, לאחר שהם עקבו שוב אחרי הפיתרון שלי, שוב הבריק הברק בעיניהם. פעם פגשתי חבר לכיתה שלי לפני הבחינה, ושוחחתי איתו על תרגיל מטיפוס מסויים. הוא "הרגיש" שהוא הבין אותו. כשהוא יצא מהמבחן הוא שמח לבשר לי שבבחינה היתה שאלה בדיוק כזאת ושהוא בטוח בציון טוב. הוא טעה. קראתי גם שסמי הזיה מסויימים מספקים *תחושה* של הבנה. אז אם מישהו מרגיש שהוא מבין, אני סומך עליו שזאת התחושה שלו, אבל אני לא סומך על ההבנה שלו בלי הוכחות נוספות.

יש כמובן גם את הטיפוסים ההפוכים שבטוחים שהם לא מבינים כלום ובסוף מצליחים יפה, אבל במקרה כזה יותר קשה להבדיל בין דימוי עצמי נמוך לבין מפחד מעין הרע.
קווליפיקציה של קוואליה 461480
נתתי שיעורים פרטיים במתמטיקה ועניין כזה לא זכור לי, אבל זה היה מזמן.
לא זכור לי מצב של בחינה במתמטיקה שבה הערכתי לא נכון את הבנתי (בדרך כלל בתחושה שאכן הבנתי...). לא זכור לי גם מצב של בחינה בפיזיקה (בתיכון, לא המשכתי בזה) שבה הערכתי לא נכון את הבנתי או את הציון הצפוי לי (בדרך כלל בתחושה שלא הבנתי, אבל שעברתי היטב את הבחינה)...
קווליפיקציה של קוואליה 461482
אז כנראה שאין לך קוואליה.
קווליפיקציה של קוואליה 461484
וממה אתה מסיק את זה?
קווליפיקציה של קוואליה 461485
סתם, תחושה.
קווליפיקציה של קוואליה 461488
עכשיו הוכחת לי שלך יש...
קווליפיקציה של קוואליה 461509
"הגישה של שייח ספיר" היא שהחוויה של הבנה היא תנאי הכרחי להבנה (ובפרט, להבנה נכונה), לא שהיא תנאי מספיק. אבל אם לא התקיימה חווית ההבנה, למשל אם תלמיד שינן אלגוריתם לפתרון בעייה מסויימת מבלי לעבור תהליך נפשי מסוים, אותו "קליק" תודעתי בו מתבהר לו מדוע זה פתרון *נכון*, מובטח לך שהוא לא מבין.
קווליפיקציה של קוואליה 461566
לא. ביקשו ממך להוכיח שאתה מבין ואמרת שאין צורך בכך משום שאתה ''מודע'' להבנה שלך. זאת שטות. הרבה אנשים מודעים לכך שהם מבינים אבל למרות המודעות הם לא מבינים. קרא לזה תודעה כוזבת. חובת ההוכחה, גם כלפי עצמך, לא מסתיימת ב''מודעות'' להבנה שלך.

חזרה לעמוד הראשי

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים