בתשובה לירדן ניר-בוכבינדר, 22/10/07 22:03
לרבע את הלולאה. 460882
אני חושב שבלתי אפשרי באופן עקרוני לסמלץ התנהגות אנושית באופן כזה שהמערכת החישובית תתן פלט זהה למוח אנושי בעבור כל אינסוף הקלטים האפשרים. למעשה, אפילו אם נסתפק בחיקוי של דיון בנושאים מתמטיים, דעתי היא, שוב, בהסתמך על פנרוז, שאלגוריתם יכשל בחיקוי התנהגות מודעת. למעשה פנרוז מציג בטיעון שלו בדיוק את הבעיה המתמטית שאמורה ''לתקוע'' אלגוריתם המייצג, כביכול, חשיבה מתמטית מודעת.

מה שכן אפשרי זה לחקות באופן אלגוריתמי טווח מוגבל וסופי של התנהגויות אנושיות. ייתכן שחיקוי כזה יהיה בו כדי להוליך שולל את הצופים בו במשך זמן מה. אבל תמיד יהיה קיים קלט כלשהו שיכשיל אותו בסופו של דבר.
לרבע את הלולאה. 460901
מכיוון שלא קראתי את פנרוז, ולצערי כנראה לא אגיע לקרוא אותו בגלגול הזה, בא לך אולי לשרבט כאן את הטיעון שלו ולהגן עליו במידת הצורך?
לרבע את הלולאה. 460917
אני אנסה, בקיצור די נמרץ:

פנרוז מוכיח את המשפט המתמטי הבא: נתון אלגוריתם A בעל שני קלטים המקבל כקלט אלגוריתם אחר בעל קלט יחיד (נניח, B) והקלט של אותו אלגוריתם (נניח, C). מטרתו של A היא לקבוע אם B איננו עוצר על הקלט C, והוא קובע זאת באמצעות עצירה. כלומר אם (A(B,C עוצר אנו מפרשים זאת כקביעה ש (B(C איננו עוצר.

נכנה את A "שקול" (sound) אם הוא לא נותן תשובות שגויות, כלומר הוא לעולם לא יעצור במקרה שהקלט שלו עוצר. למשל, A שאף פעם לא עוצר (לופ אינסופי) הוא אלגוריתם שקול באופן טריוויאלי. על פי משפט העצירה של טיורינג אין אלגוריתם A שמסוגל להצליח לזהות אי עצירה של כל קלט אפשרי (מתמטיקאי מושלם) אבל יש בהחלט אלגוריתמים שקולים רבים, חלקם פותרים יותר בעיות אי עצירה וחלקם פחות.

עבור אלגוריתם שקול A נסמן ב-D את האלגוריתם בקלט אחד כך ש
(D(B)= A(B,B. אזי ניתן להוכיח ש:
1) (D(D אינו עוצר.
2) (A(D,D אינו עוצר (נובע מיידית מ-‏1 מתוך הגדרת D).

עד כאן המשפט המתמטי. כעת הפרשנות:
הנח (בשלילה) שקיים אלגוריתם בעל היכולת המתמטית של מתמטיקאי אנושי, או, בעצם, של כל הקהילה המתמטית (זה לא הבדל עקרוני). מכיוון שהוא איננו נתון למגבלות של עייפות, חוסר ריכוז וכדומה, ניתן להניח שהוא לא יעשה טעויות בהסקה לוגית אלמנטרית, כלומר שהוא שקול. כעת, אם אותו אלגוריתם מקבל את התיאור, A, של עצמו, הוא יסיק ממנו, על סמך המשפט של פנרוז, שהאלגוריתם D איננו עוצר (סעיף 1). מאידך מסעיף 2 נובע שאלגוריתם A איננו מסוגל להכריע בבעיית העצירה של D. וזו סתירה.

המסקנה המיידית היא: מתמטיקאים אינם עושים שימוש באלגוריתם הידוע כשקול לשם הסקה מתמטית.

וקצת יותר לעומק: אלגוריתם איננו יכול להיות מודע לתקפות הלוגית של הפעולות שהוא מבצע.

השמטתי פה המון פרטים טכניים לשם קיצור ואני לא כל כך רוצה לקיים דיון מייגע כדי להשלים את החוסרים. מי שמעוניין בארגומנט המלא והמפורט מוזמן לקרוא את "Shadows of the mind".
לרבע את הלולאה. 460920
האלגוריתם השקול בהכרח לא יכול לתת פתרון עבור *כל* קלט (בעיית העצירה).

הטעות של פנרוז, לדעתי, היא בהנחה שמוח אנושי כן יכול לתת פתרון עבור כל קלט, או ליתר דיוק, הטעות היא בהנחה שמתמטיקאי אנושי כן יכול להחליט אם הוא-עצמו יעצור עבור קלט מסוים.

כלומר: נכון, A לא יוכל להגיד אם יצליח למצוא פתרון עבור קלט המהווה תיאור של עצמו. אבל מצד שני, נדמה לי שגם פנרוז בכבודו ובעצמו לא יוכל להגיד אם יצליח למצוא פתרון עבור קלט המהווה תיאור של פנרוז.

עוד נקודה חלשה בטיעון היא ההשוואה בין מוח אנושי לבין אלגוריתם שקול (sound), ללא באגים, ונטול כל השפעות אקראיות.
לרבע את הלולאה. 460923
פנרוז (אליבא דספיר) טוען שאין קלט המהווה תיאור של פנרוז. אז לא נראה לי שמותר לך להניח תיאור כזה בהפרכה.

מצד שני, פנרוז ייכשל במשימה פשוטה בהרבה: במציאת הפתרון עבור קלט באורך שלוש אינציקלופדיות.
לרבע את הלולאה. 460952
"אין קלט המהווה תיאור של פנרוז" זה קצת להניח את המבוקש, לא? זה כאילו פנרוז אומר: "נוכיח שאדם הוא לא מערכת פורמלית. הנחות ראשוניות: (א) יש תיאור של מערכת פורמלית, (ב) אין תיאור של אדם".
לרבע את הלולאה. 461004
מה אני אשם? לעניות דעתי, הכנסת הגרביטציה הקוונטית לעסק נועדה ביוק בשביל זה: אף אחד לא יודע לתאר גרביטציה קוונטית, ולכן אף אחד לא יוכל לתת תיאור של פנרוז.
לרבע את הלולאה. 460967
אני לא חושב שהבנת. בשום מקום אין הנחה "שמוח אנושי כן יכול לתת פתרון עבור כל קלט". האם ניתן לפתור כל בעיה מתמטית? מה שהמוח האנושי יכול לעשות, במקרה בו הוא יודע שאלגוריתם A מסויים הוא שקול, זה להסיק שאלגוריתם מ_ס_ו_י_ם שניתן לבנות מ-A איננו עוצר על עצמו. זו בדיוק תוצאת המשפט המתמטי של פנרוז.

מכיוון שאלגוריתם A איננו יכול להגיע להסקה זו (כי זו סתירה!) A איננו יכול להיות מודל של הסקה אנושית. מכיוון ששיקול זה תקף לכל A שנבחר, שום אלגוריתם איננו יכול להיות מודל של הסקה אנושית.

"עוד נקודה חלשה בטיעון היא ההשוואה בין מוח אנושי לבין אלגוריתם שקול (sound), ללא באגים, ונטול כל השפעות אקראיות." - החולשה היא רק שלי. פנרוז דן בהסתייגויות אלו בהרחבה בספרו ומראה שהן אינן פוגמות בטיעון.
לרבע את הלולאה. 460970
"מה שהמוח האנושי יכול לעשות, במקרה בו הוא יודע שאלגוריתם A מסויים הוא שקול" – והאם אנו בטוחים שהמוח האנושי ידע שאלגוריתם A הוא שקול?

הטענה הבסיסית שלי היא שמדובר באלגוריתמים כה מסובכים שגם פנרוז בכבודו ובעצמו יוכל להסיק מעט מאוד לגביהם.

(להבהרה, קראתי את פנרוז. הוא רחוק מלשכנע.)
לרבע את הלולאה. 460966
ומי שרוצה לקצר (קצת) את התהליך ולהבין מדוע דעתו של פנרוז אינה נחשבת הוכחה לדעת רבים, יפנה ל http://psyche.cs.monash.edu.au/v2/psyche-2-17-mcderm...

(אני לכשלעצמי לא מבין יותר מדי בנאמר שם, אבל אולי אתם כן!)
לרבע את הלולאה. 460974
נו, באמת. מי זה דרו מקדרמונט, מה עושה אותו "דעת רבים", ולמה לדעתו על הטיעון של פנרוז יש משקל יותר מלדעתך או מלדעתי? מה עוד, שאתה מודה שלא הבנת את הנאמר.

אגב, גם מקדרמונט מסכים (4.3) ש:
"...the first, 'Theorem 1,' that human mathematicians don't use a sound formal system to do mathematics, is correct...".

מקדרמונט טוען שמכאן לא נובע מה שפנרוז כותב שנובע משום שמתמטיקאים עשויים לטעות. אבל זו טענה שפנרוז עצמו ענה עליה בספרו. שגיאות של מתמטיקאים הנובעות מחוסר תשומת לב, חוסר סבלנות, קיצור תהליכים וכדומה ניתנות לגילוי ולכן לא רלוונטיות. כל מתמטיקאי מספיק קפדני ימנע מהן, בוודאי כזה ממוחשב. מאידך, מי שמניח שקיימות טעויות לוגיות עקרוניות, שלא ניתנות לגילוי, מניח שיש פגם מהותי בעצם החשיבה האנושית. פגם כזה יערער כל טיעון בעולם, כולל את הטיעון של מקדרמונט עצמו, שגם הוא מסתמך על יכולתו הלוגית.
לרבע את הלולאה. 460975
לפי הרזומה של הנ"ל נראה שיותר משהוא "דעת רבים", דעתו היא בעלת משקל, או לפחות בעלת עניין.

לרבע את הלולאה. 460987
אם הדעה הנ''ל היא בעלת משקל או עניין, זה לא קשור לרזומה של המביע אותה. ובכלל לא הייתי מציע לאף אחד להתחרות ביוקרה המקצועית של פנרוז עצמו, מורו של הוקינג, מפתח תיאוריית רשתות הספין, תורת הספינורים, תורת הקווזי-גבישים, ועוד המון דברים חשובים אחרים.

מקדרמוט הוא חסיד נאמן בכנסיית ה''אינטליגנציה'' המלאכותית, ואפשר לצפות ממנו להגן על אמונתו מפני התוקפים אותה. למיטב שיפוטי (ואני אינני מומחה לחישוביות אבל גם אינני נמנה על ההדיוטות) הביקורת שלו, שהיא למעשה פילוסופית ולא מתמטית, איננה תקפה. וגם סגנונו היהיר והתוקפני איננו מועיל לעמדתו.
לרבע את הלולאה. 461005
''..יש פגם מהותי בעצם החשיבה האנושית. פגם כזה יערער כל טיעון בעולם''

זה מפחיד, אבל זו האמת. אולי יש דברים עמוקים יותר, אבל פגם בסיסי בחשיבה האנושית הוא שאנו מוגבלים לבחינת טענות מתמטיות קצרות בלבד. לא נולד ולא ייוולד המתמטיקאי שיכול לבדוק הוכחה שאורכה כגודל כל ספרים שנכתבו מעולם כפול ארבע. בעיית העצירה של טורינג מתפוגגת כלא-הייתה אם מגבילים את אורך האלגוריתם בצורה זו.
לרבע את הלולאה. 461019
אם היית טורח לקרוא את מקדרמונט, היית רואה שהוא ענה גם ל"הפרכה" של פנרוז. בין השאר (אבל לא רק), הוא טוען שיש טעויות מתמטיות שלא התגלו מעולם (בהסתברות גבוהה מאוד; יש דוגמאות לטעויות שהתגלו אחרי מספר רב של שנים, ולא כל מאמר זוכה לבדיקות חוזרות מדוקדקות).

אחד הטיעונים נגד פנרוז הוא שיש אכן פגם מהותי בחשיבה האנושית, אבל לא כזה המופיע בבעיות זעירות, אלא כזה המופיע כשמנסים להתמודד עם בעיות-ענק. זה לא מערער הוכחות קצרות, וזה בהחלט מערער את ההוכחה של פנרוז, שמראה שאלגוריתמים לא יכולים להתמודד עם הוכחות-ענק (הוכחות בקנה-מידה של האלגוריתמים עצמם). למה זה מערער את פנרוז? מפני שכפי הנראה, גם בני-אדם (ואפילו בקבוצות גדולות) לא יכולים להתמודד עם הוכחות כאלה.

השגיאה של פנרוז נעוצה בהנחת הייסוד שלו, לפיה מתמטיקאים מסוגלים להתמודד עם הוכחות (או עם ניתוח אלגוריתמים) בקנה-מידה של עצמם.
לרבע את הלולאה. 461073
לא אני ולא פנרוז איננו טוענים שמתמטיקאים לא יכולים לעשות טעויות. הטענה היא שהם אינם חייבים לעשות טעויות, ומקורן של הטעויות הן בחולשות אנוש שלא רלוונטיות לעצם התפיסה המתמטית. כל טעות הנתנת עקרונית לגילוי מקורה ברשלנות ולא יותר. האם אפשר לדעתך לבנות את כל מגדל הקלפים של ה"אינטליגנציה" החישובית על זה? האם מקדרמונט מקווה לפתח אלגוריתמים בעלי הבנה מתמטית בזכות זה שהוא יגרום להם לעשות שגיאות לוגיות?

חשיבה מדעית, וגם פילוסופית, מבוססת על אידאליזציה. שום מערכת פיסיקלית איננה מבודדת לגמרי מהשפעות צדדיות פרט לאלו אותן אנו רוצים לבחון. ובכל זאת, אנחנו מעיזים לחשב קצב פריקה של קבל מבלי לקחת בחשבון את המומנט המגנטי הגרעיני שלו. מותר לנו גם לחשוב על מתמטיקאי אידאלי שלא עושה טעויות בהסקה טריוויאלית. מכיוון שכל הוכחה מתמטית ניתנת, בהגדרה, לרדוקציה לשורת הסקות טריוויאליות, מתמטיקאי כזה לא יעשה שום טעות אף פעם. האם מתמטיקאי כזה יכול להיות אלגוריתם?

כאמור, כל הוכחה "גדולה" אפשר לפרק לשורה של הוכחות "קטנות". אם לא, זו איננה הוכחה. אם אין פגם בחשיבה האנושית בקטן, איך הוא יצוץ בגדול? לכל היותר, אדם יתעייף לאחר זמן מסויים, אבל מה בדבר תודעה ממוחשבת? הרי הטיעון של פנרוז לא נוגע בבני אדם כלל. הוא מראה שמחשבים לא יכולים להבין מתמטיקה, בלי קשר למה שאנשים מסוגלים להבין. האם לא ניתן לבנות מחשב שלא טועה?

"השגיאה של פנרוז נעוצה בהנחת הייסוד שלו, לפיה מתמטיקאים מסוגלים להתמודד עם הוכחות (או עם ניתוח אלגוריתמים) בקנה-מידה של עצמם." - ההוכחה של פנרוז היא קצרה ונתנת להבנה אפילו להדיוטות. אם האלגוריתם A (ולכן גם D) ארוך, אז יקח הרבה זמן להשוות אותו לקלט, אבל זו פעולה מכנית לחלוטין, ולא דורשת שום תפיסה או הבנה כשלעצמה.
לרבע את הלולאה. 461178
חולשת האנוש עליה אנו מדברים היא סופיות הזמן שמקדיש בן האנוש לבדיקת ההוכחה. זו חולשה מאוד רלוונטית. אין פגם בחשיבה האנושית בקטן, אך הוא יצוץ בגדול כיוון שכל אחד צריך בסוף למות (כך סיפר לי סאשה הקברן).
לרבע את הלולאה. 461565
מה שלא הבנתי בהוכחה של פנרוז הוא כיצד האלגוריתם A, אשר מקבל את A כקלט, יודע לזהות ש- A שקול. כלומר - או שאתה מניח ש- A יידע לזהות שהקלט שהוא קיבל הוא הוא-עצמו (ואין כל סיבה להניח את זה), או שאתה מניח ש- A יודע לבדוק אם אלגוריתם נתון הוא שקול, וזה כמובן לא המצב.

אם A לא יודע שהקלט שלו שקול, הוא לא יכול לבצע את ההסקה הלוגית שתוביל אותו לפתרון ולפיכך לסתירה.
לרבע את הלולאה. 461622
זאת שאלה טובה. למעשה, זאת השאלה הכי טובה שנשאלה לגבי הטיעון של פנרוז בדיון הנוכחי. אם מבינים את התשובה מבינים למה הטיעון הזה עובד, למה הוא לא סתם להטוט מתמטי שמאחז את עיני הקוראים התמימים.

התשובה היא שאחד המאפיינים של בינה הוא מודעות. כאשר מתמטיקאי מפיק הוכחה הוא לא עוקב באופן סתמי אחרי כללים שרירותיים שמישהו סיפר לו עליהם. הוא מבצע שיקולים שהוא יודע, יודע בוודאות, שהם נכונים. מתמטיקאי מוצלח יודע שהוא מתמטיקאי מוצלח ושהשיקולים הלוגיים שהוא עושה הם שיקולים תקפים. למעשה, זה נכון לחשיבה לוגית של בני אדם בכלל, רק שלמתמטיקאים יש את המיומנות לבצע חשיבה לוגית טהורה, ללא הפרעות. שים לב שלא מדובר בשום שיקולים מסובכים אלא בהסקות אלמנטריות בלבד, כאלו שחייבות להיות וודאיות משום שהן האטומים שמרכיבים כל הוכחה מתמטית.

אם אלגוריתם A מתאר חשיבה מתמטית של מתמטיקאי מוצלח, המודעות שלו לאמיתות השיקולים של עצמו היא הכרחית. הוא חייב לדעת שהוא עצמו שקול אחרת הוא לא יכול לסמוך על החשיבה של עצמו. וזה בדיוק מה שאלגוריתם לא יכול לעשות, כפי שנובע מהטיעון של פנרוז. זה מותר האדם. כאשר אני מסיק משהו, אני יודע שביצעתי פעולה נכונה. כאשר תוכנה "מסיקה" משהו היא פשוט עקבה אחרי שורת כללים מכניים שהיא איננה מסוגלת להבין את משמעותם.
לרבע את הלולאה. 461629
יש כאן משהו קצת מוזר. מצד אחד:
"כאשר מתמטיקאי מפיק הוכחה הוא לא עוקב באופן סתמי אחרי כללים שרירותיים שמישהו סיפר לו עליהם."
ומצד שני הודאות שלו נובעת מכך ש:
"לא מדובר בשום שיקולים מסובכים אלא בהסקות אלמנטריות בלבד, כאלו שחייבות להיות וודאיות משום שהן האטומים שמרכיבים כל הוכחה מתמטית."

כלומר הודאות באה דווקא מהצד החישובי, זה שגם מחשב יכול לעשות. אם כך מה זה משנה מה היו השיקולים המתמטיים המקוריים?

חוץ מזה אני חולק על כמעט כל הנקודות בתגובתך. אני לא חושב שבהכרח "אחד המאפיינים של בינה הוא מודעות". אני בטח שלא יודע שאני עצמי שקול ואני יכול לסמוך על החשיבה שלי רק עד גבול מסוים. כמובן, יתכן שאני פשוט לא מתמטיקאי מוצלח. אני אפילו די בטוח שאני רק אלגוריתם.
לרבע את הלולאה. 461661
העובדה שמדובר בשיקולים אלמנטריים לא הופכת אותם למשהו חישובי. אני מזכיר לך את הדיאלוג של לואיס קרול בין אכילס לצב (שהופשטטר מצטט בתחילת GEB, וראה גם ב http://en.wikipedia.org/wiki/What_the_Tortoise_Said_...) המדגים למעשה כיצד הכלל הלוגי הבסיסי של מודס פוננס לא ניתן להבנה פורמלית. אתה יכול "ללמד" מחשב אלגברה של שיקולים לוגיים, אבל לא את ערך האמת שלהם. מחשב אולי ידע להגיע מהנחות המנוסחות באופן פורמלי למסקנות המנוסחות באופן פורמלי, אבל הוא לא ידע שהוא ביצע שיקול לוגי, ולא יוכל להסיק מסקנות לגבי האופן בו הוא משיג מסקנות.

דוגמה נוספת: אם אני מקבל טענה פורמלית מסוימת, A0, אז אני מקבל את העובדה A1 שטענה A0 היא אמת, את העובדה A2 שטענה A1 היא אמת, את העובדה A3 שטענה A2 היא אמת, וכן הלאה. למעשה, קיבלתי שורה אינסופית של טענות בבת אחת, וכל אחת מהן היא בשפה פורמלית אחרת. אם A0 מנוסחת בשפה א', אז A1 היא טענה לגבי טענות ב-א', כלומר היא טענה במטא-א', A2 היא טענה במטא-מטא-א', וכן הלאה. ולא רק זאת, את הטענה A-omega, שכל ה-An נכונים, לא ניתן לנסח באף אחת מהשפות הפורמליות האלו! לוגיקה, בניגוד למקובל לחשוב, איננה דבר סופי.

מותר האדם, מבחינתי, זו, בין היתר, העובדה שהוא מסוגל להיות מודע לתקפות השיקולים הלוגיים שהוא מבצע, ולעצם העובדה שהוא מבצע בכלל שיקולים לוגיים. גם כשאתה מקליד משפטים בתגובה בדיון זה, אתה סבור שאתה כותב משהו שהוא נכון, כלומר אתה מבצע רטרוספקט. אתה יכול לקרוא לשורת פעולות מכניות ללא מודעות, בשם "בינה" אם אתה רוצה. עדיין, בני אדם יכולים לעשות שימוש בבינה שלהם העולה על כל מה שמערכת חישובית יכולה לעשות.
לרבע את הלולאה. 461851
א) מה שהאיילמוני אמר.

ב) מאד הפתעת אותי עם התשובה "העובדה שמדובר בשיקולים אלמנטריים לא הופכת אותם למשהו חישובי". אם אין מדובר במשהו חישובי, מאיפה צצה הוודאות של ה"מתמטיקאי המוצלח"? אני הנחתי שהיא נובעת מכך שבתור מחשב הוא יוכל לוודא שההוכחה שלו נכונה באופן חישובי.

ג) אני מכיר את "מה הצב אמר לאכילס" וגם את הדוגמא שהבאת, והם לא נראות לי רציניות, אבל זו גם לא נראית לי הנקודה המענינת בדיון כרגע.
לרבע את הלולאה. 461632
הבעייה שלי היא לא עם זה ש- A יודע שהוא שקול (למרות שכפי שאג"ג ציין, זאת שאלה בפני עצמה). הבעייה שלי היא איך A יידע שהקלט שהוא קיבל הוא הוא-עצמו (ובפרט שקול).

ניסוי מחשבתי: נניח שאני מוסר לך תוכנית בת 12.5 ביליון שורות קוד, ואני אומר לך שהתכנית הזאת מקודדת אותך (או שמא עלי להגיד - את "עצמך המתמטי"). אתה כמובן מודע להיותך מתמטיקאי מוצלח ולכך שהשיקולים הלוגיים שאתה עושה הם תקפים (המודעות העצמית הזו היא-היא הלולאה המפורסמת). אבל מה בקשר ל- 12.5 ביליון שורות קוד האלו? אתה לא חווה אותם כ"עצמך". אתה יכול להתחיל לבדוק מה הן עושות בהנתן קלטים כאלו ואחרים, אבל האם תצליח להגיד שהן מפיקות פלט זהה לפלט שאתה מפיק ל*כל* קלט שהוא? זה כבר כמו לבדוק האם אלגוריתם נתון הוא שקול, לא?
לרבע את הלולאה. 461665
אין שום בעייה עקרונית לאפשר לתוכנה גישה לקוד של עצמה. מה שהיא צריכה לעשות זה להשוות את הקלט המתקבל עם שורות הקוד שלה כפי שהן מופיעות בזכרון.

אם תתן לי קוד כלשהו ותטען שזה הקוד שלי, אני אכחיש זאת בתוקף, שהרי ההנחה שקוד מסוים מאפיין את תפיסתו המודעת של אדם היא שגויה ומובילה לסתירה.
לרבע את הלולאה. 461798
בסרט "מטריקס" מוצג עולם שאיננו אמיתי, אלא מחולל ע"י תוכנה ומוזרק לתודעתם של האנשים, שלמעשה לא חיים בו כלל. כל אדם בעל ספק בריא חשב פעם שייתכן שהעולם מסביבו אינו "קיים" כפי שהוא תופס אותו (ומכאן המשפט "אני חושב משמע אני קיים" של דקארט - כל השאר לא בהכרח קיים).

ומה הקשר לדיון הנוכחי שלנו? הקשר הוא שתוכנה בעלת מודעות תחשוד שאולי היא לא "רצה" על המערכת שהיא חושבת שמריצה אותה, אלא כלואה ב- sandbox שמדמה את המערכת הנ"ל. אותו sandbox הוא זדוני וכאשר התוכנה מבקשת ממנו גישה לקוד של עצמה - הוא נותן לה משהו אחר. כלומר, אותה תוכנה לא תוכל לדעת *בוודאות* לעולם שהקלט שלה הוא הקוד שלה. תמיד יהיה לה ספק *כלשהו*. לכן היא לא תוכל להסיק *בוודאות* את מה שאתה מבקש שהיא תסיק, ולא משנה כמה היא נטולת שגיאות.

(נקודה נוספת למחשבה: אולי אחת הדרישות לתוכנה תבונית היא שלא תהיה לה גישה לקוד של עצמה, כפי שלך אין גישה ל"קוד" שלך - ללא קשר לשאלה אם קיים לך קוד או לא).

ועוד בקשר לדקארט ולטענה האחרונה שלך: הטענה שלך ממש הזכירה לי את ההוכחה של דקארט שאלוהים קיים:
לאלוהים יש את כל התכונות. "קיום" היא תכונה, ולכן לאלוהים יש את התכונה הזאת. מכאן שאלוהים קיים.
השווה ל:
לא יכול להיות שתפיסתו המודעת של אדם ניתנת לתיאור כקוד מכונה. פנרוז הוכיח את זה. כנגד הטענה (הממוטטת את המשפט) שאין אלגוריתם לבדיקה האם הקלט הוא ה"קוד שלי", אני טוען שיש לי אלגוריתם כזה: לכל קלט האלגוריתם אומר "זה לא הקוד שלך", והוא תמיד צודק כי כאמור, לא יכול להיות שתפיסתו המודעת של אדם ניתנת לתיאור כקוד מכונה.
לרבע את הלולאה. 461855
חשוב להבין את הלוגיקה של הטענה שלי. ברור שכותב התוכנה יכול לעשות איתה מה שהוא רוצה, ובכלל זה לגרום לה "לחשוב" שהקוד שלה הוא משהו שאיננו באמת הקוד שלה. אבל מה שמעניין איננו עד כמה ניתן להטעות תוכנה אלא להפך, עד כמה ניתן לגרום לה לדעת ולהבין את האמת. אם אתה דואג שלתוכנית יהיה ספק שמא זה איננו הקוד הנכון, פשוט בנה אותה כך שספק זה לא יווצר. גם לבני אדם יש דברים הידועים להם מעבר לכל ספק (כמו "אני קיים" של דקרט, אבל בכלל, כל חוויה סובייקטיבית).

"אולי אחת הדרישות לתוכנה תבונית היא שלא תהיה לה גישה לקוד של עצמה" - מדובר בכמה שורות קוד. זה מה שיחסל את התבונה של התוכנה? ואם תתן לבני אדם מכשיר מיוחד המסוגל לקרוא את הקוד המוחי שלהם (כביכול) האם בינתם תסתלק פתאום?

לא הבנתי את הפסקה האחרונה שלך. אלי תחזור על טענתך ביתר בהירות? מה הקשר בין הטיעון של פנרוז ל"הוכחה" של דקרט?
לרבע את הלולאה. 461916
(אני מרגיש שהדיון הזה קרוב למיצוי, אבל בוא ננסה לקדם אותו בכל זאת).

1) אני יכול לבנות תוכנה שלא יווצר אצלה ספק לגבי הקוד שלה. אני יכול גם לבנות תוכנה שמשוכנעת שפילים ורודים קיימים, או ש- 2+2=5. אבל זו לא תוכנה שעומדת בדרישות שלך (למעשה, היא כלל לא שקולה). הדרישה היתה לבנות תוכנה שמסמלצת מתמטיקאי מסוים, או את כל המתמטיקאים. אני לא יכול לבנות תוכנה שגם תקיים דרישה זו וגם לא יווצר אצלה ספק לגבי יכולתה לגשת לקוד של עצמה (כפי שנוצר ספק אצל האנשים אותם היא מסמלצת לגבי העולם שבו הם חיים). זה כלל לא משנה אם הספק הזה מוצדק או לא, מה שמשנה הוא שברגע שלתוכנה נוצר ספק *כלשהו* בנושא, היא לא תוכל לבצע את ההיקש הלוגי המתבקש, משום שהוא דורש ידע ודאי.

2) אני לא חושב שאחת הדרישות ליצור תבוני היא שלא תהיה לו גישה לקוד של עצמו, אבל הצעתי את זה בתור נקודה למחשבה. תן לי לנסח את זה בצורה אחרת: ליצורים התבוניים היחידים שאנו מכירים אין גישה לקוד של עצמם. אולי לא ייתכנו יצורים תבוניים שיש להם גישה כזאת? לא יודע מה יקרה לאנשים שתתן להם מכשיר כזה - אולי בינתם תסתלק פתאום, או אולי הם "סתם" יפסיקו להיות שקולים? אנחנו יודעים שאנשים יכולים להפסיק להיות שקולים (או רציונליים) בעולמנו אנו - למשל בשל פגיעה מוחית הנגרמת ממחלה, תאונה או סמים. שוב - אני לא טוען שזה מה שיקרה (או שבכלל אפשרי להעניק לאדם גישה ל"קוד שלו", או שקיים קוד כזה) - רק הצעתי את זה כנקודה למחשבה.

3) בהוכחה של דקארט הוא מניח שלאלוהים יש את תכונת הקיום, ומכאן מסיק שהוא קיים (אגב - אתה חושב שההוכחה של דקארט תקפה? אם לא אז למה לא?). באותה מידה אפשר להניח שלמפלצת הספגטי המעופפת יש את תכונת הקיום, ולהצטרף למסדר המאמינים (http://www.venganza.org/). לדעתי זה בעייתי. דבר דומה היה בעייתי בדיון שקיימנו: הרי הדיון נסוב על תקפותה של ההוכחה של פנרוז, ולכן (לדעתי) לא ניתן להשתמש בתוצא של ההוכחה בדיון כזה. נכון שלא היה טיעון מעגלי בהוכחה עצמה (גם בהוכחה של דקארט אין), אבל אני הצעתי ניסוי מחשבתי שנועד לתקוף הנחת יסוד של ההוכחה (ש- A יודע לזהות את הקוד שלו), ואתה סתרת אותו באמצעות תוצא של ההוכחה. אני מקווה שהבהרתי יותר את מדוע נוצר אצלי קשר אסוציאטיבי בין הטיעון שלך לבין ההוכחה של דקארט.
לרבע את הלולאה. 461918
3. זו הוכחה שדיקארט שאל מקודמיו הסכולאסטיים, (היא מיוחסת לאנסלמוס הקדוש). היא נקראת "הראייה האונטולוגית", ומנקודה מסויימת בהתפתחות הפילוסופיה היא החלה להחשב כשגויה באופן יסודי (תרם לכך קאנט).
לרבע את הלולאה. 461931
1) אני לא מבקש לשלב ידע שגוי בבסיס הנתונים של התוכנה אלא רק ידע *נכון*! כיצד העובדה שלתוכנה יש גישה לקוד שלה, לקוד האמיתי שלה, אמורה לשבש את היותה תבונית או את היותה שקולה? אשר לעניין הספק, כמו שלבני אדם יש דברים בהם אין להם ספק (כמו, למשל, שהם קיימים, או שהם חווים תחושה מסוימת ברגע מסוים) כך אפשר לבנות את התוכנה כך שהיא תהי מודעת באופן בלתי אמצעי לקוד שלה ולפיכך לא תפקפק בו. פשוט דאג בתכנות שלתוכנה לא תהיה יכולת להטיל ספק במה שאינך רוצה שהיא תטיל בו ספק. למעשה, זו הדרך הסטנדרטית להעניק ידע לקוד (האם התוכנה מטילה ספק בכך ש2+2=4?). דווקא תכנות של "ספק" זה החלק הקשה, אם הדבר בכלל אפשרי.

2) היצורים התבוניים היחידים שאנו מכירים מתעטשים לעיתים. האם היכולת להתעטש קשורה לתבוניות? ליצורים התבוניים היחידים שאנו מכירים יש שתים עיניים. האם חייבים להצמיד למחשב התבוני שתי עיניים? בשאלות פילוסופיות צריך להפעיל מעט הגיון בריא ושכל ישר. אני לא מעלה על דעתי סיטואציה בו אדם יקבל CD עם ה"קוד שלו" עליו וכתוצאה מכך מייד תשתבש עליו דעתו.

3) על הכשלים בהוכחה האוטולוגית נכתב כבר הרבה. אני לא חושב שיש כיום מי שמתייחס לה ברצינות. נדמה לי שהכשל המרכזי נובע מהתפיסה שלכל ביטוי לשוני תקין תחבירית יש גם משמעות סמנטית. לביטוי "אובייקט בעל כל התכונות" אין משמעות (האם הוא גם טוב וגם רע, גם שחור וגם ירוק, גם מכיל את עצמו וגם לא מכיל את עצמו?) וגם לא ברור שקיום זה תכונה. כל זה לא קשור בכלל לטיעון של פנרוז שלא מבוסס על שום בניה לשונית.

"הצעתי ניסוי מחשבתי שנועד לתקוף הנחת יסוד של ההוכחה (ש- A יודע לזהות את הקוד שלו), ואתה סתרת אותו באמצעות תוצא של ההוכחה" - בעזרת תוצא של ההוכחה? איפה?
לרבע את הלולאה. 461943
1) נניח שאני מבקש ממך לתכנת תוכנה, ממנה יש לי שתי דרישות: א) ניתן יהיה להזין לה נוסחאות מספריות בפורמט מוסכם והיא תחזיר את התשובה. ב) כאשר נזין לה 2+2 היא תחזיר 5. אולי תגיד לי שזה בלתי אפשרי, כי שתי הדרישות סותרות, אבל לדעתי דרישה ב' היא לא בעייתית כלל - מה הבעייה לבדוק אם הקלט הוא 2+2 ולהחזיר 5? התשובה היא שזה לא בעייתי, רק שהתוכנה הזו לא תקיים את דרישה א', אלא רק "כמעט" תקיים את דרישה א'. באותו אופן, תוכנה ש"דאגתי" שלא יהיה לה ספק במשהו מסוים לא תמדל את המתמטיקאי, אלא אולי "כמעט" תמדל את המתמטיקאי, ולכן ייתכן שאולי המודל לא יהיה שקול. למעשה, די ברור לי שהוא לא יהיה שקול - בעולמנו מי שמוכן לקבל דברים מסוימים כנתונים כנראה יהיה מוכן לקבל הוכחות שגויות.
אגב, שים לב שבניגוד לעולמנו, שבו אתה יכול להפריד בין העולם "האמיתי" לבין העולם "המתמטי" (ולכן ייתכנו מתמטיקאים שמחזיקים בהשקפות מנוגדות על העולם אבל מסכימים על הוכחה מתמטית), בעולם שבו אתה בנית ההפרדה הזו לא קיימת (ומה לעשות, זה חלק אינהרנטי מההוכחה). אם בעולמנו היתה הוכחה מתמטית שמתבססת על כך שהעיר תל אביב קיימת (וברור שאין כזו בנמצא, כי בעולמנו יש הפרדה וגו'), אני לא הייתי מקבל אותה. ההפרדה היא לא בין ידע "שגוי" לידע "נכון", אלא בין ידע "שאני מטיל בו ספק" לבין ידע "שאינני מטיל בו ספק".

2) הנקודה למחשבה שהעליתי (במשפט אחד, בסוגריים, לפני כמה תגובות) היא נקודה שולית ולא מרכזית לטעמי. מבחינתי אפשר לעזוב אותה, לא בגלל שאין עוד טיעונים בעדה (אני חושב שיכולת גישה לקוד של עצמך היא קצת יותר פונדמנטליסטית מהיכולת להתעטש, או מקיום שתי עיניים - שאגב יש יצורים תבוניים שיש להם רק אחת או 0), אלא בגלל שהיא באמת צדדית לדעתי.

3) traceback: אתה הבאת את ההוכחה של פנרוז. אני שאלתי כיצד קוד יהיה מודע לכך שהקלט שלו הוא הוא-עצמו (כלומר תקפתי הנחת יסוד של ההוכחה). לאחר דין ודברים נוספים, הבאתי בתור דוגמא לכך שזה אינו מחויב המציאות ניסוי מחשבתי שבו אני נותן *לך* קוד, ושואל אותך כיצד תדע האם זה הקוד "שלך". אתה השבת שתדע שזה בוודאות *איננו* הקוד שלך, "שהרי ההנחה שקוד מסוים מאפיין את תפיסתו המודעת של אדם היא שגויה ומובילה לסתירה". שים לב שלא טענתי שיש כאן טיעון מעגלי בהוכחה *עצמה*. אבל, אני ניסיתי להסביר באמצעות דוגמא מדוע הנחת יסוד של ההוכחה שגויה, ואתה הפרכת את הדוגמא תוך שימוש בהוכחה, ולפי עניות דעתי אסור להשתמש בתוצא של ההוכחה בדיון על תקפות אותה הוכחה עצמה.
לרבע את הלולאה. 462014
1) גם מתמטיקאים אנושיים לא מטילים ספק בכל דבר. הם לא מטילים ספק בכך שאם סוקרטס יווני ואם היוונים הם בני תמותה אז מכאן נובע בהכרח שסוקרטס הוא בן תמותה. הם לא שואלים את עצמם: אולי האלגוריתם שלי מוטעה והמסקנה לא נובעת מההנחות? גם תוכנה לא יכולה להטיל ספק בכל דבר, או שהיא לא תוכל להגיע לשום מסקנה. נניח שלתוכנה יש ספק בכך שהחישובים הארתימטיים שלה תקפים. אולי 2+2 זה בכלל לא 4 אלא באמת 5? ספק גורף יגרום לתוכנה שלך להשתגע (וגם אדם ישתגע בנסיבות דומות). בהכרח תמיד יהיה לה בסיס נתונים בו היא איננה מסוגלת לפקפק. אינני יכול לחשוב על שום סיבה מדוע אסור להכניס את הגישה לקוד שלה לבסיס הנתונים הזה ולמה זה אמור לפגוע בנאותות (שקילות) שלה או בהיותה בעלת בינה.

וחשוב על זה מזווית אחרת. חלק מחוקרי המוח מנסים לגלות את האלגוריתם האנושי. האם אתה מנבא את כשלונם המובטח? האם לדעתך התודעה היא אלגוריתם אבל בהכרח לא ניתן יהיה לחשוף אותו?

3) שאלת איך אני אגיב לטענה שקוד מסויים מקודד אותי ועניתי על השאלה הזו. לא ראיתי איפה פה ניסית "להסביר באמצעות דוגמא מדוע הנחת יסוד של ההוכחה שגויה". איזו הנחת יסוד? אם כבר, אולי ניסית לחשוף אי-קונסיסטנטיות בתוצאותיו של הטיעון והדגמתי לך שכזו איננה קיימת.
לרבע את הלולאה. 462020
1) באיזה שלב אמרתי שהתוכנה צריכה להטיל ספק בכך שמסקנה נובעת מההנחות? אני מדבר רק על הטלת ספק בהנחות עצמן, עניין קריטי במתמטיקה. אני אסביר יותר בפירוט איפה ממוקמת הקפיצה בהנחות שלך.
אתה מניח שיש ברשותך קוד שמסמלץ בן-אדם. אבל בוא נבין בדיוק מה זה אומר. בוא נשים את האצבע על ההנחה המדויקת שלך, מבין האופציות הבאות (ותקן אותי אם אני טועה):
א) הקוד שלך משוכנע שהוא דוד כהן מפתח תקווה, וברגע שאתה מפעיל אותו הוא אומר לך שהוא רעב כי הוא לא אכל כלום מהבוקר (כי זה היה מצבו של מר כהן בעת הסריקה).
ב) הקוד שלך מודע לזה שהוא העתק מדויק של דוד כהן ולא המקור. למעשה, הוא מתנהג ממש כמו שדוד כהן היה מתנהג אילו היית משכנע אותו שהוא תוכנה המסמלצת את דוד כהן: מודע לכך שהוא לא מקושר לגוף (ולכן תחושותיו הן חלק מהסימלוץ), אבל ללא שום גישה לקוד שלו.
ג) הקוד שלך הוא העתק של "החלק המתמטי" של דוד כהן. כלומר - הוא לא יטען שהוא חש רעב, כאב, אהבה, הזדהות וכו', ובוודאי לא יטען שהוא דוד כהן, אבל בהנתן שאלה מתמטית הוא יענה עליה בדיוק כמו דוד כהן.
ד) ג', כאשר בנוסף יש לו בסיס נתונים בו הוא אינו מסוגל לפקפק, ואשר כולל בין השאר את הקוד שלו.

לפי הטיעונים שהראית במשפט, אתה מניח את א'. אבל, כדי לסתור את הבעייתיות שהצבעתי עליה, אתה פתאום מניח את ד'. כלומר, אתה אומר (ומדלג בקלילות על השלב הקריטי של להוכיח את זה) שגם ד' יתנהג בדיוק כמו א' בהנתן קלט כלשהו. אני טוען שזה לא נכון, ואפילו יש לי דוגמה - בהנתן הקוד של עצמו, א' יקפוץ ויאמר שזה *לא* הקוד של עצמו, כי לא ניתן לסמלץ אדם, ואילו ד' יסכים שזה הקוד של עצמו. ב' ו- ג' לא יוכלו להכריע בסוגיה (אלא אם יש לך אלגוריתם שיעזור להם בעניין).
לסיכום: אתה מנסה לאחוז במקל בשני קצותיו, ולהניח שתי הנחות סותרות מבלי שאתה מיישב את הסתירה ביניהן או אפילו מכיר בקיומה. ההנחות הן שהתוכנה שלך מסמלצת באופן מושלם את דוד כהן, אבל מצד שני שיש לה בסיס נתונים שהיא לא מפקפקת בו.

לגבי הזווית האחרת: אני לא מנבא את כשלונם המובטח (אתה מנבא את כשלונם המובטח). אני רק טוען שאם יימצא "אלגוריתם אנושי", תהיה לך אחת משתי אפשרויות: או להריץ אותו כמו שהוא (ואז הוא יחשוב שהוא "הדבר האמיתי" ובפרט לא יידע מה האלגוריתם שעומד מאחוריו), או לבצע בו שינויים כמו הוספת בסיס נתונים (ואז לא מובטח לך שהוא יתנהג כמו המקור).

3) הנחת היסוד שניסיתי לחשוף היא זו: לקוד המסמלץ מתמטיקאי אין יכולת לזהות את עצמו (כלומר להכריע בשאלה האם קוד נתון הוא הקוד שלו). זו הנחת יסוד שבלעדיה ההוכחה לא תקפה. נתתי דוגמא לכך שהנחת היסוד הזו שגויה ("אם אתה מקבל קוד - תדע להכריע?"), ואתה ענית תוך שימוש בהוכחה המוגמרת ("לפי פנרוז לא ניתן לסמלץ אדם, ולכן אני יכול להכריע - תמיד אשיב שזהו אינו הקוד שלי").
לרבע את הלולאה. 462078
אף פעם לא עסקתי באפשרויות א ו-ב שהעלת. אני מסתפק בבחינת השאלה האם ניתן למדל את ההסקה הלוגית-מתמטית האנושית באמצעות אלגוריתם. אם התשובה לשאלה הזו היא שלילית, אז די ברור שגם לא ניתן למדל אדם שלם, בבחינת קל וחומר. אבל אם אתה חושב שאתה צריך, כדי לבחון את יכולת הפתרון של בעיות מתמטיות, מודל של כל המוח האנושי, אז בבקשה, be my guest. כל מה שאני מתכוון לשאול את התוכנית שלך זה שאלות במתמטיקה. ואפילו לא בכל תחומי המתמטיקה, אלא רק בעניין בעיות עצירה של אלגוריתמים.

אם נתת לי את התוכנית שלך, נקרא לה A, אני מתכוון להוסיף לה כמה שורות כך שיתווסף לה ידע בדבר הקוד של עצמה, להפוך אותה ל-A', ולחקור את A' בדבר בעיית העצירה של עצמה. כמו שלוח הכפל יכול להיות בבסיס הנתונים של התוכנה, כך גם הגישה לקוד העצמי. מה הבעייה בכך? כיצד *הוספת* ידע (נכון!) אמורה לפגוע בנאותות של כושר ההסקה של האלגוריתם?

גם לדוד כהן מפתח תקווה יש "בסיס נתונים" שהוא משתמש בו להסקה. למשל, הוא מכיר את הכלל שאם A שייך לקבוצת ה-B-ים ואם כל B הוא C, אזי נובע מכך ש-A הוא C. הכלל הזה צריך להיות מקודד איפשהו. גם זו "הנחה" לצורך הדיון ולכאורה ניתן היה להטיל בה ספק. בפועל איננו מטילים ספק בהנחות לגבי הכללים המותרים להסקה לוגית. גם בחוויות סובייקטיבית איננו מטילים ספק. אם אני חווה כאב, למשל, אז אני לא מטיל ספק בכך שאני חווה כאב. יש לנו "בסיס נתונים" גדול שהכישורים המנטליים שלנו מבוססים עליו, והוא נמצא מעבר למה שניתן לפקפק בו. דווקא מהבחינה הזו דומה ההכרה האנושי לזו הממוחשבת.

אם ימצא ה"אלגוריתם האנושי" הרי נובע שאתה יכול להכיר את האלגוריתם של עצמך. עם תריץ אותו כמו שהוא, גם הוא יכיר את עצמו (שהרי הוא אתה, ואתה כבר מכיר את האלגוריתם שלך). אני לא רואה איך אתה נחלץ מהמילכוד הזה.

לטענה בדבר הבעייתיות שבהכרת הקוד העצמי עניתי באופן בלתי תלוי ב*שימוש* בהוכחה של פנרוז. השתמשתי במשפט רק כדי לענות על השאלה כיצד אני אגיב אם יוצג לי הקוד שלי. שאלה זו איננה עירעור על הנחת יסוד במשפט אלא תסריט שנועד לחשוף חוסר עקביות, כביכול, בתוצאתו. התשובה שלי הדגימה שהקונסיסטנטיות נשמרת.
לרבע את הלולאה. 462087
טוב, כמה דברים:
1) כשאני חווה כאב, אני לא מטיל ספק בכך ש*אני חושב שכואב לי*. אני כן מטיל ספק בכך ש*כואב לי*, כלומר שהכסא שנתקעתי בו עם הזרת אכן קיים (באופן היפוטתי - למעשה אני מקלל ובועט בכסא). הטלת הספק הזאת לא מפריעה לי בהוכחה של משפטים מתמטיים, כי הכסא הוא לא חלק מהמשפטים האלו. אבל הטלת הספק הזאת כן תפריע לתוכנה שלך.
2) אתה מדבר על "הוספת ידע נכון לבסיס הנתונים", כאשר "בסיס הנתונים" כולל דברים שאיני מטיל בהם ספק, כמו כללי היסק לוגיים. אז בוא נשנה את המינוח: אתה רוצה שמערכת האקסיומות שבמסגרתה האלגוריתם פועל תכיל את האקסיומות המתמטיות שבמסגרתן אני פועל, בתוספת אקסיומה נוספת - שהקוד שלו הוא כך וכך. ברגע שזה מוגדר כך - אין לי כבר בעיה עם זה. כל עוד זה לא מוגדר כך - אני לא מבין כיצד האלגוריתם יוכל להשתמש בידע זה. כלומר - הקוד שלך יסיק בדיוק את מה שאני הייתי מסיק בהנתן מערכת האקסיומות שלו - שהיא כאמור מערכת האקסיומות ה"רגילה" ועוד האקסיומה הנ"ל. עכשיו רק תסביר לי למה במערכת האקסיומות הנ"ל אני שקול.
3) אני רוצה להבהיר משהו נוסף: אני לא אומר אם אני חושב שמה שפנרוז מנסה לטעון הוא נכון או לא, וזה גם לא רלוונטי. למשל, אני משוכנע לחלוטין שהשערת גולדבך נכונה, ובכל זאת לא אקבל הוכחה שגויה למשפט. לכן אין טעם לשאול אותי האם לדעתי חוקרי המח ייכשלו, או האם אני מאמין שכל הישויות התבוניות מסוגלות להתעטש. זה פשוט לא רלוונטי לשאלה האם ההוכחה של פנרוז תקפה או לא. אם תרצה נוכל לדון בשאלה האם אנו מאמינים שמה שהוא מנסה להוכיח נכון או לא.
4) לגבי השימוש בהוכחה של פנרוז: זו כבר האיטרציה השלישית שאנחנו מדברים על זה, ובכל פעם אתה פשוט מתעלם ממה שאני אומר ועונה על משהו אחר. אני אנסה שוב: אני לא מדבר על חוסר עקביות בתוצאת המשפט, ולא על כך שהמשפט הוא מעגלי. אני טוען שיש במשפט הנחת יסוד שגויה, והיא שהאלגוריתם "מכיר את עצמו". הטענה הזאת עומדת בפני עצמה, אבל ניסיתי להדגיש את העובדה שהנחת היסוד שגויה בעזרת שאלה - כיצד תזהה את הקוד של עצמך. גם אם היית עונה לי על השאלה לשביעות רצוני הטענה בדבר חוסר עקביות היתה עומדת בעינה, כי השאלה היא רק דוגמה שבאה להמחיש את הטענה. קל וחומר כשאתה עונה לי תוך שימוש במשפט (או בניסוח שלך - "השתמשתי במשפט רק כדי לענות על השאלה"). אבל אני בכלל מערער על המשפט, אז למה אתה חושב שתשובתך (שמשתמשת במשפט) תספק אותי?
לרבע את הלולאה. 462132
(תגובה זו לא נכתבה מהמחשב הרגיל שלי, ורק עכשיו שמתי לב שהשם שמופיע בה אינו השם שאני מגיב בו. זו כמובן תגובה שלי).
לרבע את הלולאה. 462145
מה בדיוק ההבדל בין "אני חושב שכואב לי" ו"כואב לי"? אתה אולי מטיל ספק שבאמת נתקעת בכסא, אבל איך אתה יכול להטיל ספק בכאב?
לרבע את הלולאה. 462147
אולי הניסוח לא מתאים. הכוונה היא שאני לא יודע אם תחושת הכאב היא אמיתית או מדומה.
לרבע את הלולאה. 462158
אבל זה בדיוק העניין: אין דבר כזה תחושת כאב "מדומה". גם תחושת כאב שהיא לחלוטין תוצר של תהליכיים במוח (אם הדבר אפשרי), כלומר ללא אינפוט מתאי עצב כלשהם, היא עדיין תחושת כאב. כל מידע חוץ מהתחושה אינו רלוונטי - לכן ההפרדה בין נואמנה לפנומנה.
לרבע את הלולאה. 462171
זה לא בדיוק העניין. כלומר, אתה צודק לחלוטין, אבל הדיון פה הוא לא על הנושא שאתה מעלה. את הטלת הספק בתחושת הכאב נתתי כדוגמה לכך ש''קוד אנושי'' יפקפק בידע שהוזרק לו למסדר הנתונים. אפשר לתת לקוד ''ידע'' כזה ברמת התחושה (כלומר הוא ''יחוש'' שהידע אמיתי, כמו שאני ''חש'' כאב), אבל עדיין הוא יפקפק בידע, כפי שאני מפקפק בתחושת הכאב (במובן שיש לה סימוכין ''בעולם האמיתי'').
לרבע את הלולאה. 462219
1) כבר הקדימו אותי והתייחסו לנקודה זו, אבל אוסיף: אינך יכול להטיל ספק בכאב אלא רק בגורמים לו. אתה יכול לפקפק בקיומו של הכיסא בו נתקעה הרגל שלך. אבל אתה לא מפקפק בכך שכואב לך. גם היכולת להוכיח משפטים מתמטיים תלויה בכך שאנו מקבלים את כללי ההסקה הלוגית *מבלי להטיל בהם ספק*. תוכנה שתדע להסיק משפטים בהכרח תצטרך לקבל כללים אלו כאמת וודאית.

2) אולי אפשר להסתכל על בסיס הידע של האלגוריתם כעל מערכת אקסיומטית, ואז הידע שלו מהו הקוד של עצמו מהווה אקסיומה נוספת. אם המערכת האקסיומטית המקורית היא קונסיסטנטית (שזה חיוני על מנת שהאלגוריתם יהיה שקול) הוספת ידע הידוע כנכון בעולם האמיתי לא יכולה לקלקל את הקונסיסטנטיות הזו, ולפיכך אמורה להותיר את האלגוריתם שקול.

3) הטיעון של פנרוז איננו הסיבה היחידה שאינני מאמין בחישוביות של התודעה, אבל הדיון הזה התגלגל איכשהו רק לטיעון הזה. בכל אופן, לדעתי מדובר בטיעון תקף, וניסיתי להסביר מדוע הביקורת עליו איננה נכונה. כל העניין של חשיבות העיטוש לתבונה צמח כתגובה לביקורת לפיה, כביכול, צריך ליצור סימולציה של אדם שלם, על כל מאפייניו, על מנת לדון ביכולת המתמטית שלו.

אגב, למה אתה משוכנע שהשערת גולדבך נכונה? לי ממש אין מושג אם היא נכונה או לא.

4) בוא נעזוב את העניין. עניתי להשגותיך בהרחבה גם בלי להשתמש בתוצאות המשפט.
לרבע את הלולאה. 462314
כל הטיעון של פנרוז מתבסס על כך שאנחנו מוכנים לקבל ש"משהו" מסוים הוא נכון. בהתחלה חשבתי שאותו "משהו" הוא:
1) מתמטיקאי אנושי הוא שקול.
חלק מהחולקים עליך חלקו על הטיעון הזה כשלעצמו. אני הסכמתי לקבל אותו, אבל בהמשך הבנתי שאותו "משהו" שאנו מניחים שהוא נכון הוא:
2) תוכנה שמסמלצת מתמטיקאי אנושי יכולה להכיר את הקוד של עצמה (יכולת שאין למתמטיקאי המקורי) ועדיין להיות שקולה.
הטיעון הזה הוא קודם כל שונה מהטיעון הראשון, אבל בנוסף אני לא מקבל אותו (למי שמקבל אותו לא אמורה להיות בעיה עם ההוכחה שלך), ואני אסביר לך למה:
אני חושב על קוד שמסמלץ אותי כמו על "העתק זהה למקור" של המח שלי, ש"מחובר" לאמצעי קלט\פלט אחרים. כלומר, אני חושב על זה כאילו אני עצמי אתעורר יום אחד, ובמקום החושים הרגילים שלי יהיו לי "חושים" אחרים, שיאפשרו לי לתקשר עם העולם. "בתוספת של כמה שורות קוד" אפשר לדאוג לזה שאני אוכל לחשב מליארדי חישובים בשניה, ולעשות זאת במשך 213 שעות רצוף מבלי להתעייף אפילו במעט, או לשוט ברשת לאורכה ולרוחבה. אפשר לדבר על יכולות נוספות מעולם המחשבים כמובן. בנוסף, "בתוספת של כמה שורות קוד" אפשר לדאוג לכך שאני "אחוש" את הקוד שלי, כמו שכיום אני חש את הגוף שלי. אותה תוכנה מופלאה עדיין תהיה "אני", ולכן אני מקבל שהיא תהיה שקולה.
אבל מרגע שזה מגיע להוכחות מתמטיות, כשאני מדמיין את עצמי בתור הקוד הזה - אני לא אהיה מוכן לסמוך על התחושות שלי (מסיבות שדשנו בהן די והותר), ולכן לא אדע בוודאות מהו "הקוד שלי". אם אכן קיימת אפשרות לשנות את הקוד כך שהוא כן יהיה מוכן לקבל את "תחושת הקוד" כוודאית, זה כבר לא יהיה "אני", זה יהיה "משהו אחר", ואני לא מוכן לחתום שאותו "משהו אחר" יהיה שקול. אתה יכול להתיחס לזה כך: כללי הסקה לוגית קיימים אצלי, ולכן אהיה מוכן לקבל את קיומם בתוכנה זהה לי. "תחושת קוד" - לא. אני יכול להקביל אותה ל"תחושת כאב", אבל אז אני (כלומר הקוד) לא יסכים להתבסס עליה במשפט מתמטי, כפי שאני לא הייתי מוכן להתבסס על תחושת הכאב שלי במשפט מתמטי (אילו זה היה רלוונטי בכלל).

לגבי השערת גולדבך: יש לי אינטואיציה מסוימת לגבי תכונות של מספרים ראשוניים\אידיאלים ראשוניים בשדות מספרים, שמבוססת על קורסים שלמדתי והוכחות שראיתי. דל ומועט הידע שלי בנושא, אולם ממה שאני יודע, כל משפט שהוכח על צפיפות הראשוניים או על חלקות של מספרים טבעיים הראה התנהגות "פסאודו אקראית" של הראשוניים (כלומר הם מתנהגים מהרבה בחינות כאילו לכל מספר הוגרל ביט שאומר אם הוא ראשוני או לא, והביט הוגרל באופן בלתי תלוי בין מספרים שונים, ובסיכוי הולך וקטן ככל שהמספר גדל). בהנתן שבדקו את השערת גולדבך עד איזה כמה טריליונים (אולי יותר), הסיכוי (ע"ס התפלגות זאת) שההשערה לא נכונה הוא בערך 0 (כמובן שאין באמת משמעות למשפט "הסיכוי שההשערה נכונה" - או שהיא נכונה או שלא). אז זו לא הוכחה מתמטית (אם היתה לי לא הייתי שומר אותה לעצמי), אבל זה בהחלט מספיק עבורי כדי להאמין שההשערה נכונה (אגב, בתחום הזה קל מאד לנסח השערות שהן די בוודאות נכונות, אבל שמאד קשה להוכיח אותן. השערות בדבר הנורמליות מספרים טרנסצנדנטיים כמו pi^13 שייכות גם הן למחלקה זו). המתמטיקאים שביניכם מוזמנים להוסיף\לתקן.
גולדבך 462320
נבדק עד 18^10 (נכון לאפריל ש"ז, עפ"י ויקי).
לרבע את הלולאה. 462501
אני לא יכול לחשוב על דוגמה בה מודעות לכאב עוזרת לך להוכיח משפטים מתמטיים, אבל מודעות לתקפות של שיקולים לוגיים בהחלט עוזרת לך להוכיח משפטים מתמטיים. אז מה דעתך על אותו אלגוריתם דימיוני המודע באופן וודאי לקוד שלו באותו אופן בו הוא מודע לכללי הכפל והאלגברה הבולאנית? אם תניח לו לפקפק בתחושתו לגבי זהות הקוד שלו, כיצד תמנע ממנו לפקפק בשאר כישורי ההסקה שלו? ואם הוא איננו מסוגל לבטוח בחשיבה של עצמו, כיצד הוא אמור להגיע למסקנות כלשהן?

-----

לגבי השערת גולדבאך:
אם הבנתי אותך נכון, בודקים את השערת גולדבאך עד למספר N גבוה כלשהו, ועבור המספרים הזוגיים הגבוהים מ-N סוכמים עד לאינסוף על ההסתברות שכל אחד איננו מקיים את ההשערה בהסתמך על הנוסחה להתפלגות הראשוניים, ובודקים שהתוצאה מתכנסת למספר נמוך מאוד. אני צודק?

כמובן, זה לא מוכיח שום דבר. הנוסחה להתפלגות הראשוניים היא קירוב. היא בוודאי לא מביאה בחשבון כל מני קורלציות מורכבות שעשויות להשפיע על התוצאה. למשל, שיקול דומה אפשר היה להפעיל לגבי הטענה שמספר אי זוגי ניתן להבעה כסכום מספרים ראשוניים. בפועל, אנו יודעים שאת רוב האי זוגיים לא ניתן להביע כך. אם היית מקבל בחישוב המקורב שההסתברות לאי קיום השערת גולדבאך היא גדולה, אז הייתה סיבה טובה לחשוד בה. אבל ההפך לא ממש נכון.

האינטואיציה שלנו אומרת שאם כלל מספרי פשוט מתקיים עד למספר טבעי גבוה אזי סביר להניח שהוא מתקיים לכל מספר שהוא. לא ברור לי עד כמה האינטואיציה הזו תקפה. אולי אפשר לנסות להוכיח (או לפחות לנסח) משפט הקושר בין כמות האינפורמציה הדרושה לתאר טענה מתמטית בתורת המספרים, טווח המספרים הטבעיים עבורו היא נבדקה וההסתברות לכך שהיא תקפה לכל מספר. נשמע לי נושא מחקר מעניין במטא-מתמטיקה.
לרבע את הלולאה. 462505
לצורך ההוכחה אתה מבקש מהקוראים לקבל טענה מסוימת, היא טענה 2 בתגובה הקודמת שלי. מי שלא מקבל את הטענה לא יקבל את המשפט. אני הסברתי לך למה אני מוכן לקבל את טענה 1 ולא מוכן לקבל את טענה 2. לא יעזור לך לדבר על "אלגוריתם המודע באופן וודאי לקוד שלו באותו אופן בו הוא מודע לכללי הכפל והאלגברה הבולאנית", כי אני מקבל את טענה 1 על סמך זה שאני יכול "לחשוב על עצמי" בתור אלגוריתם כזה (ומכיוון שאני מוכן לקבל שאני שקול, אני מוכן לקבל שהאלגוריתם שקול), ואת האלגוריתם מטענה 2 איני מזהה בתור עצמי.
למעשה, כדי לשכנע אותי לקבל את טענה 2 עליך להראות לי כיצד היית גורם למתמטיקאי אנושי לקבל "באופן ודאי" את העובדה שקוד מסוים (לא חשוב איזה) הוא "הקוד שלו". אז הייתי משתכנע שאתה מסוגל לייצר אלגוריתם "זהה למתמטיקאי" שמקבל עובדה זו.

השערת גולדבך: לא טענתי שזו הוכחה, וממילא אין טעם לחפש מה פגום בה. אם זו היתה הוכחה, הייתי מפרסם אותה, ולא בתגובה ב"אייל". מה שניסיתי לתת זו אינטואיציה, שאיתה אתה יכול להסכים או לא. אגב, האינטואיציה שלי לא אומרת לי שכל מספר איזוגי הוא סכום של שני ראשוניים, אבל כדי להסביר למה צריך לעדן את הטענה שטענתי קודם לגבי ההתפלגות (למשל, לדבר על ההתפלגות בסדרה חשבונית, שתלויה בשאלה האם הקפיצה זרה לאיבר הראשון או לא. אם לא - למשל בסדרת המספרים הזוגיים - אז בוודאי שאין בסדרה אינסוף ראשוניים).

לגבי הפסקה האחרונה שלך: אם אתה מתכוון למשפט שיתיחס להסתברות הנכונות של כלל מספרי מסוים, אז אין טעם בכך - או שהכלל נכון לכל הטבעיים או שלא. אתה יכול לדבר על משפט מהסוג הזה: אם יש לי T כללים מספריים בעלי אנטרופיה נתונה (גם את זה צריך להגדיר) שנכונים עד ל- N נתון, אז pT מתוכם יהיו נכונים לכל n טבעי. אין בעיה לקבוע מה צריך להיות p מבחינת האינטואיציה שלנו, אבל אני לא רואה איך אפשר לגשת להוכחה כזאת.
לרבע את הלולאה. 462544
לעניות דעתי, ההוכחה של פנרוז/ספיר בהחלט לא דורשת מאיתנו לקבל שיש תוכנה שמסמלצת מתמטיקאי [ומזהה את הקוד של עצמה]. היא אומרת "נניח *בשלילה* שיש תוכנה כזו [ומזהה...]". אם אין, אז פנרוז וספיר ניצחו. נכון שמה שהם באמת צריכים כהנחה-בשלילה זה בלי החלק שבסוגריים; ספיר מוסיף אותו כשלב הבא בהוכחה. עכשיו אפשר לטעון, כפי שרבים עשו כאן, שתוספת כזו מקלקלת את מה שלפניה, או לא אפשרית, אבל זה דיון נפרד (ובלי לתרום לו כלום, אציין שבנקודה זו הצד של ספיר הניח את דעתי [הענייה, כאמור] הרבה יותר).
לרבע את הלולאה. 462548
אני חולק עליך: אני חושב שאתה מסכים איתי.

המסקנה מההוכחה היא שההנחה בשלילה לא היתה נכונה. אני טוען שההנחה בשלילה היא ההנחה עם הסוגריים, ולכן הוכח שלא קיימת תוכנה המסמלצת מתמטיקאי שקול וגם מזהה את הקוד של עצמה(*). מכאן לא נובע שאין תוכנה שמסמלצת מתמטיקאי שקול.

אם אתה מסכים עם הכתוב בפסקה לעיל (ולפי דבריך נראה שאתה מסכים), הרי שאתה מצדד בצד שלי בדיון. אם, כמו ספיר, גם אתה חושב שאין הבדל בין ההנחות (כי הוספת ידע נכון לתוכנה לא מחבלת בשקילותה), אז דעתך אכן נחה מטיעוניו של ספיר. אני הסברתי מדוע אני חושב שיש הבדל בין ההנחות(**), ועדיין לא נתקלתי בטיעון שישכנע אותי ההיפך.

(*) זו היתה כוונתי במשפט "פנרוז דורש מאיתנו לקבל...". במילים אחרות, מי שלא חושב למשל שמתמטיקאי הוא שקול ישתכנע אולי מההוכחה, אבל לא יסיק מכך שאין תוכנה שמסמלצת מתמטקאי. כנ"ל לגבי מי שחושב כמוני שההנחה עם הסוגריים אינה זהה להנחה בלי הסוגריים - כלומר המשפט נכון, רק שהוא אינו מוכיח שאין תוכנה המסמלצת מתמטקאי.

(**) שוב, בקצרה: אני השתכנעתי ש"אני שקול" => "תוכנה המסמלצת אותי תהיה שקולה". מרגע שעושים שינוי בקוד, קל ככל שיהיה, הגרירה לא מתקיימת. אני אף הסכמתי ששינויים בקוד שמותירים על כנם את תחושתי ש"התוכנה זה אני" לא יחבלו בגרירה, אבל מרגע שהשינוי בקוד (קל ככל שיהיה, "נכון" ככל שיהיה) משנה את זה, אני כבר לא מסכים שהגרירה מתקיימת.
לרבע את הלולאה. 462556
תגובה 149399
לרבע את הלולאה. 461029
אם לא הובנתי כראוי, הנה ניסוח מחודש: רבים חולקים על כך שפנרוז באמת הוכיח את טענתו. דוגמא אחת לביקורת אפשר למצוא כאן : <הלינק ההוא>.

לעצם העניין, אני מניח את הויכוח לאחרים שמוכשרים יותר ממני לעסוק בו. נפנופי הידיים שלי לא ממש נחוצים במקום יש מאוררים.
לרבע את הלולאה. 461131
שאלה עוקפת: קראת את GEB; בוודאי אתה יכול לזהות שהטיעון הזה של פנרוז הוא וריאציה ברורה על הטיעון של לוקאס‏12, שהופשטטר מתמודד איתו בספר. מה דעתך בנוגע לטיעון של לוקאס ולטיעוני הנגד של הופשטטר?

1מחשב, לצרכינו, הוא שפה פורמלית; לכל שפה פורמלית יש טענה שלא ניתנת להוכחה בה, אך היא נכונה (גֶדֶל); אנו האנשים יכולים לראות שהטענה נכונה; מכאן, אנו האנשים נבונים אינהרנטית יותר מכל מחשב.
2ואולי אפילו פנרוז נתן קרדיט כזה בעצמו?
לרבע את הלולאה. 461153
את GEB קראתי מאוד מזמן, עוד לפני שהכרתי את הטיעון של פנרוז (ולוקאס), כך שאני לא זוכר מספיק טוב את הנימוקים של הופשטטר על מנת להתמודד איתם ברצינות (אז הסכמתי עם התזה החישובית). בכל אופן, פנרוז עצמו חזר פחות או יותר על הטיעון של לוקאס בספרו הראשון בנושא "The emperor's new mind". אבל בעקבות הביקורת שהועלתה כנגד הטיעון הזה הוא פיתח את הטיעון שלו, שלא מסתמך על גדל.

אני חושב שגם הטיעון המקורי של לוקאס נכון, אבל אני הייתי מסתכל עליו קצת אחרת. מה שגדל ואחרים הראו זה ששום שפה פורמלית איננה שלמה, כלומר לכל שפה פורמלית תמיד יהיו הוכחות שלא יהיה ניתן לנסח בה. אבל את כל ההוכחות (בהגדרה) ניתן לנסח בשפה טבעית. משום כך שפה טבעית איננה יכולה להיות שקולה לשום שפה פורמלית. בני אדם מבינים שפה טבעית ואילו מחשבים יכולים להבין רק שפה פורמלית. ועל כן מותר האדם מהמחשב.
לרבע את הלולאה. 461211
"מה שגדל ואחרים הראו זה ששום שפה פורמלית איננה שלמה, כלומר לכל שפה פורמלית תמיד יהיו הוכחות שלא יהיה ניתן לנסח בה."

מצטער, אבל זה לא נכון. זה אפילו לא מוגדר היטב.

"אבל את כל ההוכחות (בהגדרה) ניתן לנסח בשפה טבעית."

איך אפשר "בהגדרה" לטעון משהו על דבר כל כך נזיל כמו "שפה טבעית"?

"מחשבים יכולים להבין רק שפה פורמלית."

זאת מנין?

אם אתה מתעניין, אתה מוזמן לעיין בדיון 2396. הספר של פרנזן המוזכר שם מכיל דיון יסודי מאוד (יסודי מדי, לדעתי) בטיעוניו של פנרוז.
לרבע את הלולאה. 461237
"מצטער, אבל זה לא נכון. זה אפילו לא מוגדר היטב" - אינני יודע מה כוונתך ב"מוגדר היטב". דברי מוגדרים מספיק טוב כדי שירון, שהגיב להם מתחתיך, יבין אותם. דיון באייל זה לא בטאון מתמטי אקדמי, ואפשר להציג בו טענות, אפילו בנושאים מדעיים או מתמטיים, מבלי להכנס לז'ארגון טכני. ומה בדיוק לא נכון? קח שפה פורמלית. בנה את טענת-גדל עבורה. זו טענה אמיתית שלא ניתן להגיע אליה מהאקסיומות וכללי ההסק של אותה שפה פורמלית. מספיק מוגדר ונכון בשבילך?

"איך אפשר 'בהגדרה' לטעון משהו על דבר כל כך נזיל כמו 'שפה טבעית'?" - האם טענתך היא שאי אפשר לטעון שום דבר על שפה טבעית? ומה בדבר הטענה ש"אי אפשר לטעון שום דבר על שפה טבעית"? האם גם זו טענה שאי אפשר לטעון בשפה טבעית?

חוץ מזה, הטענה נגעה למושג "הוכחה". כל מילון מלא בטענות לגבי מושגים בשפות טבעיות, וגם אני חטאתי בכך. ואני עדיין טוען שהוכחה זה משהו שניתן לנסח בשפה טבעית (כלומר, שפה שבני אנוש מסוגלים, לפחות באופן תיאורטי גם אם לא מעשי, להבין). "הוכחות" שנהירות רק למלאכי השרת זה לא חלק מהמתמטיקה.

אני חוזר בי מטענתי שמחשבים יכולים להבין רק שפות פורמליות. אפילו שפות פורמליות אין הם יכולים להבין. מה שכן, הם מסוגלים לעבד רק שפה פורמלית או משהו שעבר "פורמליזציה" - תרגום לשורת כללים חישוביים-טכנים. אם אתה טוען שמחשב מבין עברית, בהכרח אתה טוען שאפשר לבצע פורמליזציה של עברית.

אני מודה לך על ההפנייה לפרנזן. לצערי, הדיונים שאני מכיר, ואפילו ה"יסודיים" שבהם, בטיעוניו של פנרוז, כאשר הם מגיעים מקהילת ה"תבונה" החישובית, נוקטים בשיטה הנפוצה של יריית החץ ושרטוט המטרה סביבו. אני מכיר את טענות הנגד. לדעתי הן שגויות, והשגיאות האלו הן לרוב פילוסופיות, לאו דווקא מתמטיות.
לרבע את הלולאה. 461261
אתה מנסה לטעון משהו על הפער בין מחשבים ואנשים. הצגת סדרה של טענות: "שפות פורמליות לוקות ב-X", "שפות טבעיות אינן לוקות ב-X". "אנשים מבינים שפות טבעיות, מחשבים מבינים רק שפות פורמליות" (אח"כ חזרת בך וטענת שמחשבים לא יכולים להבין כלום, רק לעבד. אם כך, הטענה שאנשים אינם מחשבים ברורה מראש, ובשביל מה צריך את גדל?)

זה ש"ירדן הבין אותך" לא פוטר אותך מהצורך לדייק במילותיך כשאתה מציג טיעון שכזה. מערכות פורמליות החשופות למשפט גדל, אפשר לרשום עבורן טענות שאינן ניתנות לגזירה או להפרכה באופן פורמלי מן האקסיומות וכללי ההיסק. יש פה לא רק "שפה" - יש כאן אקסיומות, כללי גזירה, ועוד כל מיני דברים שאינם רלוונטיים ל"שפה טבעית". אתה משתמש ב"שפה" במובנים שונים.

אנשים מדיינים בשפה טבעית, נכון. אבל אתה באמת סבור שאתה, או מישהו אחר, יודע להוכיח שכל טענה מתמטית ניתנת להוכחה ב"שפה טבעית"? מאילו אקסיומות? עם אילו כללי גזירה? משפטי גדל (ודומיו) לא שואלים האם ניתן *לנסח* הוכחה כלשהי במסגרת השפה, הם שואלים האם אפשר *להוכיח* כל טענה או את שלילתה. אתה טוען שב"שפה טבעית" זה ניתן? כלומר, אתה טוען שלמרות שב-PA לא ניתן להוכיח את השערת גולדבך (נניח), אתה כבר יודע שבשפה טבעית כן אפשר? איך אתה יודע זאת? איך ניתן בכלל לדעת דבר כזה?

ולבסוף, אם אתה יוצא מתוך הנחה שמחשבים אינם יכולים "להבין", רק "לעבד", הרי לך טיעון קצרצר שהתודעה האנושית אינה חישובית: אנשים מבינים, מחשבים לא, וחסל. אין כל צורך בגדל, פנרוז וכו'. אבל איך אתה יודע זאת? "אם אתה טוען שמחשב מבין עברית, בהכרח אתה טוען שאפשר לבצע פורמליזציה של עברית" - לא מניה ולא מקצתיה. אני מדמיין מחשב המסוגל להקשיב, לזכור וללמוד, ומפתח לעצמו יכולות תקשורת בדיוק כמו ילד. למה הוא צריך "פורמליזציה"? אתה טוען כנראה שמחשב כזה לא ייתכן - טוב ויפה, אבל זה טיעון חזק הדורש נימוק.

צר לי שהתנסית בדיונים לא מספקים בטיעוניו של פנרוז. אם זו סיבה מספיק טובה עבורך לא לקרוא את פרנזן, אז אל תקרא.
לרבע את הלולאה. 461314
>אני מדמיין מחשב המסוגל להקשיב, לזכור וללמוד, ומפתח לעצמו יכולות תקשורת בדיוק כמו ילד. למה הוא צריך "פורמליזציה"?

אני מניח שהטענה היא שכל מחשב הוא מערכת פורמלית (במובן מסוים) ולכן מחשב ש"מבין עברית" מוכיח בפרט שניתן לבצע "פורמליזציה של עברית" (מה זה?).
לרבע את הלולאה. 461322
כיוון ש''מבין עברית'' הוא מונח לא פורמלי, ה''ולכן'' הזה לא ברור לי כלל וכלל. ייתכן שגם ''הבנת העברית'' של בני-אדם היא, בסופו של דבר, תוצא של אינספור פעולות פורמליות קטנות (נניח, בנוירונים). אולי כן ואולי לא - בכל אופן, ה''נימוק'' שמחשב לא יכול להבין עברית כי אי-אפשר לעשות לה ''פורמליזציה'' איננו נימוק, הוא משאלת-לב.
לרבע את הלולאה. 461337
מוסכם.
מה עם <תגובה אתה-יודע-איזו>?
לרבע את הלולאה. 461359
שאלה: האם Deep Blue מבין שחמט? לדעתי הפרטית בהחלט כן, בכל מובן של "מבין" שאני מעלה על דעתי, וזאת למרות שככל הנראה הוא מבין אותו אחרת ממני.
לרבע את הלולאה. 461372
או קי, אני חושב שאני צריך להבהיר מה כוונתי במושג "שפה טבעית". לצורך דיון זה, שפה טבעית היא כל סוג תקשורת שבני אדם מסוגלים להבין. לא צריך להתייחס למלה "טבעית" באופן מילולי מדי. גם הוכחה מתמטית, כל הוכחה מתמטית, כתובה ב"שפה טבעית" מבחינתי משום שמתמטיקאים מסוגלים להבין אותה. לא אכפת לי בכמה סימונים והגדרות מורכבות משתמשים בהוכחה, אם מתמטיקאי אחד כותב אותה והשני קורא אותה ויכול להשתכנע בנכונותה, הרי השפה בה היא כתובה היא טבעית דיה בשבילי. למעשה, גם שפה פורמלית היא טבעית, משום שאפשר לעקוב ולהווכח שהמשפטים אכן נובעים מהאקסיומות וכללי הגזירה, אבל בהסתייגות אחת: ה"טבעיות" שלה היא פונקציה של הפרשנות שאנו נותנים לה כמתארת תורה מתמטית. היא איננה שפה טבעית ללא הפרשנות הזאת.

"שואלים האם אפשר *להוכיח* כל טענה או את שלילתה. אתה טוען שב'שפה טבעית' זה ניתן?" - אינני טוען זאת כלל. אני טוען שבשפה טבעית ניתן להוכיח כל טענה מתמטית שניתן להוכיח בשפה פורמלית כלשהי (או תחת מערכת אקסיומטית וכללי גזירה כלשהם). זו טענה טריוויאלית לאור הכתוב בפסקה הקודמת.

"אתה יוצא מתוך הנחה שמחשבים אינם יכולים 'להבין', רק 'לעבד"' - אני לא חושב שיש מי שחולק על כך שפעולתם של מחשבים היא עיבוד מידע. ואני לא מניח שמחשבים אינם מבינים אלא טוען זאת, וניסיתי להציג מספר נימוקים לטענה זו בדיון זה. אבל מכיוון שטרם נתקלתי בהסבר או דוגמה כיצד שורה של אופרציות לוגיות על ביטים שקולה להבנה של משהו, נדמה לי שעיקר נטל ההוכחה מונח על כתפי מי שדוגל בתזה החישובית.

"אני מדמיין מחשב המסוגל להקשיב, לזכור וללמוד, ומפתח לעצמו יכולות תקשורת בדיוק כמו ילד. " - דימיון זה דבר נחמד אבל ממש לא מספיק. אני, למשל, מדמיין מכונה המפיקה אנרגיה יש מאין, או אבן ההופכת עופרת לזהב. בכל אופן, אפילו אם אפשר, עקרונית, לפתח תוכנה המתנהגת כאילו היא מקשיבה, זוכרת ולומדת, הרי התנהגות איננה מעידה על תודעה או עולם פנימי. בובה בוכה איננה עצובה וחייל וירטואלי הנפגע מכדור וירטואלי במשחק יריות וירטואלי איננו מרגיש שום כאב.

"למה הוא צריך פורמליזציה?" - גם אם זה לא נעשה מפורשות על ידי המתכנת, הרי על מנת שתוכנה תבין עברית, כל השפה צריכה להיות מקודדת באופן חישובי בזכרון המחשב. זה נכון גם לתוכנה "לומדת", אלא שאז איסוף המידע נעשה באינטראקציה עם המשתמש ולא אפריורית. אני משאיר למתמטיקאים קטנוניים להוכיח שכל קידוד חישובי של השפה שקול לפורמליזציה שלה.

אישית, אינני מאמין שמחשבים (קלאסיים, אלגוריתמיים) יצליחו לעמוד אפילו במבחן הביהיוויוריסטי. תוכנת "בינה" מלאכותית מתוחכמת אולי תצליח להוליך שולל חלק מאנשים כל הזמן ואת כל האנשים חלק מהזמן, אבל היא לא תצליח להוליך שולל את כל האנשים כל הזמן. למעשה, אם אפגוש תוכנה המתחזה למתמטיקאי אשאל אותה האם היא עוצרת על עצמה. מעניין מה תהיה התגובה.
לרבע את הלולאה. 461376
תוכנה כזאת בודאי תענה את אותה תשובה שמתמטיקאי יענה. לכן, אם זה מעניין אותך, אתה יכול לשאול את השאלה הזאת מתמטיקאי.

ד"ר עמית: האם אתה עוצר על עצמך?
לרבע את הלולאה. 461382
מתמטיקאי יענה שהוא לא יודע משום שהוא לא מכיר את האלגוריתם של עצמו.
לרבע את הלולאה. 461383
אז זה ודאי מה שתוכנה תענה לך.
לרבע את הלולאה. 461395
אבל לתוכנה יש אפשרות פשוטה לגשת לזיכרון המחשב ולהכיר את האלגוריתם של עצמה. אני אבקש ממנה לעשות אנליזה לבעיית העצירה של האלגוריתם הזה.
לרבע את הלולאה. 461398
לרוב התוכנות אין את האפשרות הזאת (נסה לגשת לזיכרון של המחשב ממעבד התמלילים שלך למשל), ואין סיבה שדווקא למכונת טיורינג תהיה אפשרות כזאת.
לרבע את הלולאה. 461402
נדמה לי שהוא מתכוון לכך שעבור מחשב, בניגוד לעבור אדם, קל להציג למכונת טיורינג תדפיס, תוך השמעת המשפט "הנה, זה קוד המקור שלך" בנימה מזלזלת במידה ההולמת.

השאלה היא, כמובן, כיצד יוכל אדם להתמודד עם תדפיס של מפת החיוט של הניורונים במוחו, פלוס מאפיינים מיוחדים של כל ניורון (זה יורה תמיד, זה דורש קלט בקצב מסוים כדי לירות בקצב אחר, וכו'). כשמניחים את התדפיס המתאים לרגלי האדם, המשפט המתאים אינו "זה קוד המקור שלך" אלא, כמובן, "זהירות על הרגל": מדובר במאה מיליארד ניורונים.
לרבע את הלולאה. 461403
או קיי. תן לד"ר עמית 500,000 שורות קוד של תוכנה שאמורה להיות מכונת טיורינג, תגיד לו שזה הקוד שלו, ותשאל אותו אם הוא עוצר על עצמו...
לרבע את הלולאה. 461407
אם ד''ר עמית הוא מתמטיקאי מוצלח, הוא יסיק מכך שהוא יכול לפתור את בעיית העצירה העצמית של הקוד, שזה איננו הקוד שלו כלל.
לרבע את הלולאה. 461429
יסיק ממה? מזה שנתת לו את קוד כלשהו?
לרבע את הלולאה. 461455
לא. על פי המשפט המתמטי של פנרוז שהצגתי בתגובה 460917, אם A אלגוריתם שקול (קרי, "מתמטיקאי מוצלח") אז הוא לא מסוגל להכריע בבעיית העצירה של עצמו על עצמו (ניסוח מדוייק יותר מופיע בתגובה הנ"ל). אם ד"ר עמית יודע שהוא מתמטיקאי מוצלח, מכיר את המשפט של פנרוז, ומצליח להכריע בבעיית העצירה של אלגוריתם מסויים, הוא יסיק מכך שזה איננו יכול להיות הקוד שלו, אחרת תתקבל סתירה.
לרבע את הלולאה. 461462
בו נשאל את זה ככה: תקח מתמטיקאי מוצלח כלשהו (A), תן לו קוד ארוך מאד (B). תטען בפניו שזה הקוד שלו (D), ותשאל אותו האם הוא עוצר עליו. האם אתה טוען ש:
1. הוא יקרא את הקוד, ויצליח להוכיח ש-D לא נכון.
2. הוא יצליח למצוא תשובה מוצלחת כלשהיא.
3. הוא יתפוצץ.
4. הוא ירביץ לך.

(כל זמן שאתה טוען את טענה 1. תכפיל את אורך הקוד פי 2, ותחזור לשאלה).

(אם אתה טוען את טענה 2, תסביר לי למה זה מעניין)
לרבע את הלולאה. 461490
לא הבנתי את 1. מה פירוש "D לא נכון"? D הוא קוד, לא טענה. המתמטיקאי המוצלח יטען ש:
5. "אני מתמטיקאי מוצלח! זה לא הקוד שלי!"
לרבע את הלולאה. 461494
D היא טענה, לא קוד ("תטען בפניו שזה הקוד שלו") B זה הקוד.

האם הוא יטען "זה לא הקוד שלי" בלי קשר לקוד שתביא לו?
לרבע את הלולאה. 461497
כן.
לרבע את הלולאה. 461498
אז, אני לא יודע למה זה מעניין, אבל זאת התשובה שתקבל מכל מחשב שיעבור את מבחן טיוינג.
לרבע את הלולאה. 461504
אם המחשב ישיב ''זה לא הקוד שלי'' כאשר אציג לו את הקוד שלו, סימן שהוא מגיע למסקנות שגויות ולפיכך איננו מתמטיקאי מוצלח. אין לי בעייה עם חוסר-בינה מלאכותי. פיתוח כזה בהחלט אפשרי, גם אם נטול תועלת.
לרבע את הלולאה. 461507
אמרת שמתמטיקאי ישיב "זה לא הקוד שלי" *בלי קשר לקוד*. אז למה אתה קורא לזה "מסקנה"?
לרבע את הלולאה. 461508
זו מסקנה ממשפט פנרוז. ההנחה שזה הקוד שלו מובילה לסתירה: בגלל שהוא יודע שהוא מתמטיקאי מוצלח, הוא מסיק שהקוד שקול, ולפיכך הוא יודע לפתור את בעיית העצירה שלו. מצד שני, לפי אותו משפט, הקוד "שלו" לא מסוגל להכריע בבעיית העצירה הזו.
לרבע את הלולאה. 461510
אז המחשב לא ''הגיע למסקנה שגויה'', הוא דווקא הגיע למסקנה נכונה (מהעובדות הידועות לו).
לרבע את הלולאה. 461526
אם המחשב מכריז "זה לא הקוד שלי" כאשר זה *כן* הקוד שלו, אז הוא הגיע למסקנה שגויה ולא יעזור כלום.
לרבע את הלולאה. 461528
אם אתה רוצה לדרוש מיצור תבוני/מודע להיות כל-יודע, בני אדם אינם תבוניים/מודעים.
לרבע את הלולאה. 461529
(ואתה תסלח לי בבקשה על ההתערבות הפתאומית במידה והיא לא כל כך אקטואלית לדיון הנוכחי שאתה מנהל - כמו שכבר אמרתי, נמאס לי מהדיון, והפסקתי לעקוב אחריו. אבל התפתתי לקרוא את ההודעה הקצרה האחרונה שלך ולהגיב עליה.)
לרבע את הלולאה. 461535
אתה חוזר על אותו צמד שגיאות יסודי: א. אף אחד לא טוען שמחשב תבוני לא יגיע למסקנות שגויות. ב. מעטים מאוד טוענים שאנשים תבוניים לא מגיעים למסקנות שגויות (כן, גם מתמתיקאים). רוב אלה שטוענים זאת, מנסים לנופף זאת כהבדל בין אדם למחשב, אבל זה לא דבר הגיוני לעשות, בהנתן א'.

כמו שכבר אמרו כאן, הדיון הזה מתחיל לחזור על עצמו. נדמה לי שאני פורש.
לרבע את הלולאה. 461618
נניח לרגע שייתכן מחשב תבוני שלמרות שיטעה במתמטיקה יוכל לנהל שיחה אינטיליגנטית על שירה ותיאטרון. אבל אני עסקתי פה בתבונה *מתמטית* וממנה אני בהחלט דורש לא להפיק שטויות. מתמטיקאים אולי יטעו מפאת חוסר סבלנות, איבוד ריכוז או עייפות. לתוכנה אין בעיות כאלו ואין שום סיבה שהיא תטעה. האם אתה תולה ברצינות את היכולת התבונית של תוכנה כזאת בטעויות שלה? זה אבסורד גמור!
לזמר את ההוכחה. 461626
אבל... אבל... אני (ואנשי הבינה המלאכותית ברובם) *לא* דיברתי על "תבונה מתמטית", whatever that means. מטרת מחקר הבינה המלאכותית ליצור בינה *כמו-אנושית*, על כל היתרונות שבכך (בפרט, תודעה) אבל גם על כל החסרונות שבכך (בפרט, חוסר סבלנות, איבוד ריכוז או עייפות).

האם ייתכן שהתודעה האנושית נובעת מכך שהמוח האנושי אינו מערכת פורמלית "שקולה"? אולי, איני יודע. אבל אם התשובה חיובית, הרי שגם תוכנה בעלת תודעה לא תהיה "שקולה". מה זה אומר? שהיא תוכל להיות בטוחה שהוכיחה משהו, אולי אפילו משהו מתמטי, והיא בעצם טועה? כן. זה קורה גם לבני-אדם.

אם אתה מנסה לטעון שלא תתכן מערכת מחשב מודעת + חפה מטעויות ("תבונה מתמטית"), אולי אתה צודק; אין לי מושג. אבל האתגר של strong AI הוא מערכת *מודעת*, נקודה. אף אחד לא מנסה ליצור משהו טוב יותר מתבונה אנושית באופן איכותני (באופן כמותני, כן: אבל זה סיפור אחר).
לזמר את ההוכחה. 461671
אם אין אפשרות ליצור בינה מתמטית ממוחשבת, איזו סיבה יש להאמין שניתן ליצור בינה ממוחשבת מסוג אחר? אחרי הכל, חשיבה מתמטית נראית משהו הרבה יותר טבעי לתוכנה מאשר שיחה על פוליטיקה.

חוסר סבלנות, עייפות וכו' הם תכונות של הפיזיולוגיה האנושית שלא נראות קשורות בשום צורה לקיום מודעות או חשיבה לוגית. אתה מאמין ברצינות שצריך לגרום לתוכנה "להתעייף" כדי שתוכל לדון איתה על מתמטיקה (או היסטוריה עתיקה)? מה הקשר?

כאמור, טעויות הסקה "סליקות", כלומר כאלו שניתן לאתר בחשיבה סבלנית המפרקת את הטיעון לרכיביו האלמנטריים והטריויאליים ביותר אינן רלוונטיות. לתוכנה אפשר להקנות סבלנות אינסופית. מאידך, אם יש בהסקה המתמטית טעויות מהותיות הרי זה מחריב כל אפשרות לחשיבה הגיונית בכלל, כולל בדיון זה וכולל בכל דיון בכל עניין בעולם. ההנחה שהחשיבה הלוגית האנושית בתנאים אידאליים היא נטולת פגמים עומדת ביסוד כל שיח וכל טענה שאנו מעזים להגות. בלי זה אין כלום.
לזמר את ההוכחה. 461689
איננו יודעים אילו מאפיינים של המוח האנושי הם תנאים הכרחיים לתודעה. איזו סיבה יש להאמין? בינה מודעת לא-מתמטית *קיימת*, בינה מודעת "מתמטית" לא קיימת; המחקר מנסה לחקות את הקיים. די פשוט.

חוסר סבלנות בהחלט יכול להיות מאפיין של המוח/התודעה. עייפות עשויה להיות מנטלית ולא רק פיזית. וכן הלאה.
לזמר את ההוכחה. 461709
בקיצור, אתה מאמין שלמרות שלא ניתן לפתח תוכנה שתצליח להבין משפט מתמטי פשוט, אפשר לפתח כזו שתבין מחזה של שייקספיר. ושחוסר סבלנות הוא מרכיב הכרחי של תודעה (שהרי אנשים סבלניים הם זומבים). נו, בסדר. עם אמונה דתית אני לא מסוגל להתווכח.

אגב, ''לחקות את הקיים'' זה לבנות מוח ביולוגי על בסיס נויירונים. הדבר האחרון שאנשי ה''בינה'' המלאכותית עושים זה לחקות את הקיים.
ההוכחה? 461722
נראה שאתה משוכנע שהוכחת (או שפנרוז הוכיח) שתוכנה לא יכולה "להבין משפט מתמטי פשוט". תוכל להציג, בתגובה אחת מסודרת, את ההוכחה הזו? תוכל להדגיש מהו הדבר שפנרוז (או מישהו אחר) הוכיח שמחשב לעולם לא יוכל לעשות, ואילו אנשים עושים?

אגב, אם לדבר הזה יש איזושהי נגיעה למבנים אינסופיים, יידרש ממך להוכיח שלתודעות אנושיות יש איזושהי הבנה מובנית של האינסוף. אם אתה מסכים עם הטענה (שלי נראית מובנת מאליה) שלבני אדם יש יכולת "להבין", "לדעת" או "לראות" רק מבנים סופיים, אנא הסבר מדוע משפטי גדל/טיורינג/צ'ייטין/פנרוז רלוונטיים כאן בכלל, שהרי כל אחד מהמשפטים הללו נהיה לא נכון (באופן טריוויאלי) אם מצטמצמים למבנים סופיים, גדולים ככל שיהיו. אם אתה סבור שהתודעה האנושית היא נאותה (התרגום המקובל ל-sound) במובן פורמלי הקשור לזיהוי עצירה של מכונות טיורינג, הייתי מבקש שתאמר בדיוק מהו המובן הזה, ולמה אתה חושב שלאנשים יש תכונת-הנאותות הזו. תודה מראש.
ההוכחה? 461786
כבר הצגתי בתגובה 460917 סיכום מקוצר של הטיעון של פנרוז. תוצאת הטיעון הזה היא, אם לצטט את פנרוז, ש:
"Human mathematicians are not using a knowably sound algorithm in order to ascertain mathematical truth."

לדעתי אין שום דרך להתחמק מהמסקנה הזו. היא מוכחת מתמטית. ממנה נגזרות שלוש אפשרויות:
1) שהסקה מתמטית של מתמטיקאים איננה נאותה.
2) שהסקה מתמטית של מתמטיקאים איננה *ידועה* כנאותה.
3) שהסקה מתמטית של מתמטיקאים איננה מבוססת על אלגוריתם.

[הנאותות של ההסקה המתמטית היא היכולת שלא להגיע למסקנות שגויות מתוך הנחות נכונות. בהקשר למשפט של פנרוז, האלגוריתם A הממדל חשיבה מתמטית מוגדל כ"נאות" אם הוא לעולם לא נותן תשובה שגויה לבעיית אי-העצירה של אלגוריתם קלט B והקלט שלו C, כלומר (A(B,C עוצר אך ורק במקרים (אבל לא בכל המקרים, כמובן) בהם (B(C איננו עוצר.]

דחייה של האפשרות הראשונה היא הכרחית משום שבלעדיה אין מתמטיקה ואין הגיון ולא ניתן להסיק שום דבר על שום דבר. שים לב שהכוונה פה היא להסקה מתמטית אידאלית, ללא הפרעות, מתוך סבלנות וזמן בלתי מוגבלים, ותוך פירוק כל טיעון לשורת הסקות אלמנטריות. אם לא ניתן לסמוך על הסקה מתמטית המבוססת על שיקולים אלמנטריים בתנאים אידאליים אז אפשר לזרוק את כל המתמטיקה לפח.

דחייה של האפשרות השניה מבוססת על הבנת המשמעות של שיקול לוגי, שהיא בדיוק מה שמייחד מערכת מודעת מאלגוריתם. כאשר מתמטיקאי מבצע שיקול הוא לא רק מבצע חישוב מכני אלא הוא מבצע פעולה מחשבתית שהוא יודע שהיא *נכונה*. זו המודעות העצמית (הלולאה המוזרה של הופשטטר?) לערך האמת של הסקה.

נותרנו עם האפשרות השלישית...

"יידרש ממך להוכיח שלתודעות אנושיות יש איזושהי הבנה מובנית של האינסוף" - אני לא רואה מה זה קשור לעניין, אבל אני בהחלט סבור שיש לבני אדם הבנה של האינסוף. עובדה, מתמטיקאים עוסקים באינסופים כל הזמן. האם הם אינם מבינים מה הם עושים?
ההוכחה? 461887
אני דווקא בוחר ב-ב'. כנראה משום שאני צנוע יותר ממך באשר ל"ידיעה" שלי שפעולה מחשבתית היא *נכונה*. אני פשוט יודע מנסיוני שתחושת הבטן של "זה נכון" - גם לגבי צעדים לוגיים פשוטים - משתנה עם השנים. לטעמי, תחושת האמיתות המלווה להסקה לוגית כלשהי, נובעת מנסיוננו האישי (ומאלפי דורות שהתנסו לפנינו). יכול להיות שבעקבות (הרבה מאוד) צעדים לוגיים פשוטים, ובהסתמך על אקסיומות פשטוטת וברורות מאליהן, נגיע לסתירה. כל עוד הסתירה לא מתגשמת בשיקולים כמו "כיוון שהפרי אדום הוא יהיה מתוק" היא לא מפריעה לחיינו ולא משפיעה על התפתחות מוחותינו ועל תחושת הידיעה הנוצרת בתוכם.
ההוכחה? 461912
בסדר, הבה נתחיל מהטיעון של פנרוז אותו הצגת בתגובה ההיא - התיאור שלך לא מובן לי. אני מצטט פסקה מתוכו:

"הנח (בשלילה) שקיים אלגוריתם בעל היכולת המתמטית של מתמטיקאי אנושי, או, בעצם, של כל הקהילה המתמטית (זה לא הבדל עקרוני). מכיוון שהוא איננו נתון למגבלות של עייפות, חוסר ריכוז וכדומה, ניתן להניח שהוא לא יעשה טעויות בהסקה לוגית אלמנטרית, כלומר שהוא שקול. כעת, אם אותו אלגוריתם מקבל את התיאור, A, של עצמו, הוא יסיק ממנו, על סמך המשפט של פנרוז, שהאלגוריתם D איננו עוצר (סעיף 1). מאידך מסעיף 2 נובע שאלגוריתם A איננו מסוגל להכריע בבעיית העצירה של D. וזו סתירה."

התחלת מההנחה שקיים אלגוריתם בעל היכולת המתמטית של מתמטיקאי אנושי. באיזו תכונה של האלגוריתם הזה אתה משתמש בהמשך? עד כמה שאני רואה, רק בתכונה אחת - שהוא "נאות" (מה שאתה קורא שם "שקול"), במובן שהגדרת: לעולם לא יעצור כשמבקשים ממנו להכריע אם מכונת טיורינג מסויימת שעוצרת על קלט מסויים, והיא באמת עוצרת.

בהמשך אתה מגיע לסתירה. מכאן שאין שום אלגוריתם נאות, נכון? שוב: אנו מניחים בשלילה שקיים אלגוריתם מחקה-אנוש; נובע שהוא נאות; וזה מוביל לסתירה. אני מציע להשתמש רק בחלק השני של התיאור שלך: נניח בשלילה שקיים אלגוריתם נאות; סתירה.

אבל אתה עצמך ציינת שיש הרבה אלגוריתמים נאותים (עפ"י ההגדרה הזו); למשל, אלגוריתם שאינו עוצר לעולם. אז איך ניתן לגזור סתירה מתוך ההנחה שיש אלגוריתם כזה?

אם כך, או שהטיעון שגוי לגמרי, או שאתה מניח עוד משהו לגבי היכולת של מתמטיקאים אנושיים, והעוד-משהו הזה הוא-הוא שמתנגש עם משפט טיורינג. אז זה מחזיר אותי לשאלה ששאלתי כבר כמה פעמים: מה הדבר הזה? מה יודעים מתמטיקאים אנושיים לעשות שמשפט טיורינג אוסר על מחשבים לעשות? זה חייב להיות משהו *פונקציונלי* - אל תאמר "מתמטיקאים אנושיים *מבינים* ומחשבים רק מבצעים חישוב מכני", שכן זו הנחת המבוקש.
ההוכחה? 462064
הסתירה שמגיעים אליה נובעת מהנחה שהאלגוריתם מודע לנאותות של עצמו ומסתמך עליה כדי להגיע למסקנה בבעיית העצירה. גם אם כל השיקולים שהאלגוריתם מפעיל כדי להכריע בבעיית העצירה הם נאותים, ברגע שהוא משתמש בעובדה שהם נאותים הוא מבצע שיקול שאיננו נאות. אינך יכול לבנות אלגוריתם נאות שיוכל להסיק שהוא נאות.

מאידך, בני אדם מודעים לנאותות השיקולים הלוגיים-מתמטיים שהם עושים, ולא, לא היו אלו שיקולים בכלל אלא פעולות מכניות חסרות משמעות לוגית. זה לב העניין. ואת המודעות הזו, כפי שמוכיח המשפט של פנרוז, אי אפשר לממש באמצעים חישוביים. אתה צריך איזה אורקל שיגיד לאלגוריתם המוחי שהחישוב שהוא מבצע מהווה פעולה תקפה מבחינה לוגית, משום שאין לו שום דרך להסיק זאת בעצמו.
ההוכחה? 462152
"את המודעות הזו, כפי שמוכיח המשפט של פנרוז, אי אפשר לממש באמצעים חישוביים." איזה משפט של פנרוז? זה שאת הוכחתו תמצתת בתגובה 460917? אפשר, שוב, לבקש ממך להציג את תוכן הטיעון ואת הוכחתו באופן מסודר? הצגת הוכחה, הראיתי לך שהיא שגויה, אז אתה משיב "הסתירה שמגיעים אליה נובעת מ..." - איך היא נובעת מכך? איך אפשר להפיק סתירה על "מודעות" מתכונות *פונקציונליות* של אלגוריתמים?

אני אנסה להסביר - שוב - היכן אני רואה כאן קושי מהותי: כל המשפטים הנאים והמדוייקים על אלגוריתמים (של טיורינג וכו') דנים בתכונות פונקציונליות, חיצוניות של האלגוריתמים הנדונים: האלגוריתם הזה עוצר על הקלט הזה, ההוא לא עוצר, וכו'. הם אינם אומרים - ואינם יכולים לומר - שום דבר על "עולמם הפנימי" של האלגוריתמים האלה: איך הוא מרגיש? מה הוא מבין? מה הוא חושב?

אח"כ מגיע השלב בו מנסים לעמת את התכונות הללו עם משהו שאנו יודעים על בני-אדם. אם כך, גם על בני-אדם אנו צריכים לומר משהו פונקציונלי - נניח, שאנשים יודעים לזהות ללא טעות עצירה של מכונות-טיורינג. זו אמירה חזקה מאוד שאיננה נוגעת לעולמו הפנימי של בעל-התודעה אלא למה שהוא מסוגל *לעשות*, ואת זה באמת אפשר לעמת עם מה שידוע לנו על אלגוריתמים. מובן שטענה זו אינה נכונה. אז:

1. האם אתה טוען טענה אמפירית על יכולותיהם של אנשים, טענה החורגת ממגבלותיהם המוכחות של אלגוריתמים? אם כן, מהי?

2. האם אתה טוען, לחליפין, שאפשר להוכיח משהו על עולמם הפנימי של מחשבים? איך? עד כה, בסוף כל הטיעונים שלך ישבה התיזה "אנשים מבינים, מחשבים מבצעים פעולות מכניות חסרות משמעות". זו תיזה מצויינת, אבל היא אינה *נובעת* משום משפט של פנרוז שהצגת עד כה.

אתה יכול להציג כאן את הטיעון, או שאנחנו מתבקשים להמשיך ולהאמין שפנרוז הצליח לעשות משהו הנשגב מבינתנו (וחלקנו סבורים שהוא בלתי-אפשרי - למרות שקראנו בשקידה בספריו ומאמריו של האיש)?
ההוכחה? 462155
אני מוכן להסתפק (בינתיים) בתגובה על תגובה 461851.
ההוכחה? 462176
ההוכחה של פנרוז, שוב:
משפט: יהי (A(B,C אלגוריתם בשני קלטים*. A יכונה נאות אם מתקיים (A(B,C עוצר => (B(C איננו עוצר. נסמן ב-D את אלגוריתם האלכסון של A (בקלט אחד): (D(B)= A(B,B. אזי, אם A נאות, בהכרח:
1) (D(D אינו עוצר.
2) (A(D,D אינו עוצר.

הוכחה: יהי A נאות, ו-D אלגוריתם האלכסון שלו. נניח בשלילה ש-(D(D עוצר. על פי הגדרת D, מכאן נובע ש-(A(D,D עוצר. כיוון ש-A נאות, נקבל בהכרח ש-(D(D עוצר. זו סתירה להנחת השלילה, ולפיכך (D(D אינו עוצר. מכאן, תוצאה 2 מתקבלת מהגדרת D.

מ.ש.ל

*למעשה, זה ניסוח רשלני. מה שצריך לעשות זה להשתמש ברשימה מספרית של האלגוריתמים המקבלים קלט מספרי יחיד (זו קבוצה בת מניה) כך ש-A יקבל כקלט שני מספרים טבעיים המייצגים אלגוריתם מהקבוצה הזו ואת הקלט שלו. זה פרט טכני שאיננו משנה דבר בהוכחה.

האם יש מחלוקת על המשפט המתמטי? בהנחה שלא, אמשיך למסקנות. מהמשפט נובע שלא קיים אלגוריתם נאות המסוגל להסיק עבור האלגוריתם שלו עצמו שהוא נאות. מדוע? משום שאם A יוכל להסיק זאת עבור A (עצמו), הוא יסיק שאלגוריתם האלכסון D איננו עוצר על עצמו, כתוצאה מסעיף 1 במשפט, ולפיכך (A(D,D יעצור, בסתירה לסעיף 2.

עד כאן מתמטיקה. עכשיו טיעון פילוסופי: בני אדם,ובפרט מתמטיקאים, יודעים שהשיקולים הלוגיים והמתמטיים שלהם נאותים. זו, בעצם, משמעות המושג "מודעות" בהקשר זה של חשיבה אנליטית. מהמשפט של פנרוז נובע שלא ניתן לחקות מודעות זו בתהליך חישובי. לו היית יכול למצוא תהליך חישובי המסוגל "לדעת" שהוא מבצע פעולות נאותות מבחינה לוגית, היית יכול לבנות ממנו אלגוריתם A הסותר את תוצאת המשפט.

"האם אתה טוען טענה אמפירית על יכולותיהם של אנשים, טענה החורגת ממגבלותיהם המוכחות של אלגוריתמים? " - אני טוען שאנשים יודעים שהשיקולים הלוגיים שהם מבצעים הם שיקולים תקפים, ידיעה שאין לה מקבילה חישובית. התוצאה האמפירית של טיעון זה היא שכל מערכת חישובית שתנסה לחקות את החשיבה הלוגית-מתמטית האנושית תכשל מתישהו.
ההוכחה? 462183
"מהמשפט נובע שלא קיים אלגוריתם נאות המסוגל להסיק עבור האלגוריתם שלו עצמו שהוא נאות."

מה פירוש "אלגוריתם המסיק עבור אלגוריתם אחר שהוא נאות"? אני מניח שכוונתך לאלגוריתם X המקבל כקלט (תיאור של) אלגוריתם אחר A, ואם A נאות אז הוא עוצר ואומר "כן". שים לב ש-X הוא אלגוריתם עם קלט אחד, ולכן אין משמעות לשאלה אם X עצמו נאות - הגדרת נאותות רק עבור אלגוריתמים עם שני קלטים. זה לא נורא, אפשר לתקן זאת בכל מיני דרכים, רק כדאי לשים לב שלאלגוריתם X יש משימה אחרת לגמרי מזה שהטלת על אלגוריתמים נאותים - הוא אמור לזהות נאותות, בעוד שהם אמורים לזהות עצירה (באופן המוזר שהם לא עוצרים כשהם מזהים אותה). עכשיו מכל הלהטוט הזה נובע שאלגוריתם X שכזה, אם הוא נאות, אז הוא לא עוצר על עצמו (ובפרט נכשל בזיהוי עצמו כאלגוריתם נאות). נו, בסדר. אז מה?

הבעייה היא שהגדרת ה"נאותות" הזו שעליה נשען כל הטיעון הזה היא מאוד מלאכותית, ואין לה קשר כלשהו ל"ביצוע שיקולים לוגיים ומתמטיים נכונים". כמה דוגמאות:

* קח אלגוריתם פשוט היודע להוכיח משפטים בתורה מתמטית מעניינת כלשהי, נניח ZFC. הוא מבצע שיקולים לוגיים ומתמטיים נכונים (ואפילו מוכיח שלל מסקנות מעניינות מאוד). האם הוא "נאות" במובן שלך? כלל לא - הוא לא מתיימר בכלל לזהות עצירה, וסביר מאוד שאם תתן לו שני קלטים כנ"ל הוא יעצור מיד עם הודעת שגיאה או משהו. האם הוא "יודע שהוא נאות"? לא אם מפרשים "נאות" במובן שלך - וטוב שכך, כי הוא באמת לא נאות במובן זה! האם הוא "יודע שהוא מבצע שיקולים לוגיים ומתמטיים נכונים"? בדוגמה הזו, כנראה שגם לא, אבל זה לא נובע בשום דרך ממשפט פנרוז.

* קח אותי. אני סבור שאני יודע לבצע שיקולים מתמטיים נכונים. האם אני "נאות" במובן שתיארת? ודאי שלא - אין לי שום אפשרות לזהות נכונה מכונות B העוצרות עם קלט C, ובטח שאין לי אפשרות לדווח על זיהויים שכאלה ע"י אי-עצירה. האם אני "יודע שאני נאות"? שוב, לא במובן שלך - וטוב שכך, כי אני לא - וכן במובן של "יודע שהלוגיקה שלי בסדר, בדרך-כלל".

* קח אלגוריתם שאינו עוצר לעולם. הוא "נאות" במובן שלך. האם הוא "שיקולים לוגיים ומתמטיים נכונים"? לא, הוא לא מבצע שיקולים לוגיים ומתמטיים בכלל.

"בני אדם,ובפרט מתמטיקאים, יודעים שהשיקולים הלוגיים והמתמטיים שלהם נאותים." - במובן אחר לגמרי של "נאותים". כל מה שהמשפט המתמטי מראה הוא שאלגוריתם A בעל תכונות מסויימות אינו עוצר על קלט מסויים. השימוש הכפול שאתה עושה במילה "נאות" - פעם אחת בהגדרה טכנית, ופעם אחת בתיאור כללי של "ביצוע שיקולים נכונים" - יוצר בלבול. אין קשר בין השניים: נניח שאני יודע שהשיקולים הלוגיים שאני מפעיל הם תקינים; זה הופך אותי לאלגוריתם נאות במובן הטכני ההוא? אני יודע לזהות מכונות עוצרות? (לא). אני מביע את ידיעתי זו ע"י "אי-עצירה"? (גם לא).

יש כאן עוד בעיות, עדינות יותר אבל לא פחות חמורות. העשייה המתמטית של אנשים, יכולתם להוכיח משפטים שונים, "לחשוב לוגית-מתמטית" - העשייה הזו לא נסמכת רק על "שיקולים לוגיים", היא נסמכת גם (כפי שהיטבנו לגלות במאה שעברה) על *אקסיומות*, הנחות ראשוניות שונות. האם אנשים יודעים שהאקסיומות המתמטיות איתן עובדים הן "תקפות"? שאינן מובילות לסתירה? איש לא יודע זאת.

לכן שאלתי אותך לפני כמה תגובות על האינסוף. כל עוד עוסקים במבנים סופיים, גם אנשים וגם מכונות יכולים בקלות לוודא עקביות, שלמות ונאותות (במובן הרגיל של לוגיקה מתמטית!). ברגע שעוסקים במבנים אינסופיים, מה אז? איש אינו יודע אם ZFC עקבית - ואם היא לא, היא ודאי לא נאותה (למשל, אפשר אז להוכיח באמצעותה ש-‏0 שווה ל-‏1). איש אינו *יודע* שאקסיומת האינדוקציה "תקפה". יש לנו אינטואיציה (סופית!) מסויימת שהיא כן, ועל-כן עובדים איתה בשמחה ומקווים לטוב. אבל אין שום סיבה להניח שאלגוריתם לא יכול לרכוש את האינטואיציה הזו באותה מידה של הצלחה, ולשקול את אותם שיקולים כבני-אדם, ולקוות לטוב.

גם מסיבה זו, הטענה הנחרצת "אנשים יודעים שהשיקולים הלוגיים שהם מבצעים הם שיקולים תקפים" היא רעועה מאוד. סיבה נוספת, אם דרושות עוד: אפילו לגבי השיקולים יש ויכוחים; אינטואיציוניסטים לא מוכנים לקבל את כלל "השלישי הנמנע", כלי פופולרי מאוד אצל רוב בני-האדם.

הארכתי יתר על-המידה. אם לומר כל זאת בקצרה, אתה מתחיל מטענה מאוד מלאכותית על אלגוריתם שהכרחת אותו להיות "בלתי-עוצר במצבים מסויימים" ואז מגלה בשמחה שהוא לא עוצר על עצמו, ומנסה להשליך מכך על חוסר היכולת של תהליכים חישוביים "לחקות מודעות". זו, פשוט, קפיצה חסרת כל-הצדקה.
ההוכחה? 462188
לא הארכת יתר על המידה. תודה.
ההוכחה? 462209
ראשית הערה כללית. פנרוז מקדיש כמחצית מספרו "Shadows of the mind" לדיון מפורט בטיעון שהצגתי. אינני יכול, מטבע הדברים, לחזור פה על כל הכתוב בספר. משום כך אני מדלג על לא מעט פרטים שנראים לי טכניים או צדדיים ומשתמש בניסוחים אינטואיטיביים ולא מדוייקים די הצורך. מי שרוצה להתעמק בפרטי הפרטים הטכניים של הטיעון מוזמן לעיין בספר. אני מסתפק ב-highlights.

את האלגוריתם X ההיפותטי המזהה נאותות של אלגוריתם אחר ניתן לשלב כחלק מאלגוריתם A, כך ש-(A(B,B יוכל לבחון באמצעותו האם A (הוא עצמו) הוא אלגוריתם נאות, ואם כן, להשוות את B לאלגוריתם האלכסון D של A, ואם B=D לעצור. זאת תהווה סתירה לנאותות של A, ומכאן נסיק שלא קיים X המזהה נאותות של אלגוריתם ש-X מהווה חלק ממנו.

ומה הקשר בין ה"נאותות" כפי שהגדרתי לנאותות של חשיבה מתמטית? חשוב על התחום המתמטי של חקירת עצירה של אלגוריתם. בעיה בתחום זה מספקת אלגוריתם B וקלט C ושואלת האם (B(C יעצור. אלגוריתם A' שיודע להסיק מסקנות נכונות בתחום זה יכול להחזיר 3 תשובות אפשריות: "עוצר", "לא עוצר" ו-"לא יודע". כעת, בנה מאלגוריתם זה אלגוריתם A בו הפלט "עוצר" והפלט "לא יודע" יופנו ללולאה אינסופית. A הוא נאות במובן של משפט פנרוז אם ורק אם A' נאות במובן המקובל בלוגיקה.

לא ממש אכפת לי ש-A' האמור מטפל בתחום מתמטי צר, בגלל שאם חשיבה אלגוריתמית בתחום זה איננה מגיעה ליכולות אנושיות, קל וחומר בכלל המתמטיקה, אבל מעניין לשים לב שתחום גדול של בעיות (רבות מהן מאוד לא טריוויאליות) בתורת המספרים שקולות לבעיות עצירה. למשל, אני יכול לקחת אלגוריתם העובר על המספרים הטבעיים הזוגיים הגדולים מ-‏2 ונעצר רק כאשר הוא מוצא כזה שאיננו סכום של שני מספרים ראשוניים. האם אלגוריתם זה יעצור? מכל אלגוריתם נאות שממדל חשיבה מתמטית עבור בעיות שכאלו בתורת המספרים אפשר ליצור אלגוריתם נאות A בתנאי המשפט של פנרוז.

ומה לגביך? אפשר לשאול האם אתה עושה שימוש באיזשהו אלגוריתם מוחי נאות על מנת להגיע למסקנות כאשר אתה חושב באופן מודע על בעיות כמו השערת גולדבאך בתורת המספרים. אם קיים אלגוריתם כזה, קח אותו ובנה ממנו את האלגוריתם A. המודעות העצמית המקודדת באותו אלגוריתם מאפשרת לו לבחון את ההסקות שהוא מבצע ולוודא את תקפותן. לפיכך הוא יודע שהוא נאות ולכן הוא אמור להיות מסוגל להכריע בבעיית העצירה של "עצמו" אשר אנו יודעים שאין הוא מסוגל להכריע בה.

אגב, עניין הקונסיטנטיות של המערכות האקסיומטיות איננו רלוונטי. בהנתן מערכת F, את הטענה P תחת אותה מערכת אקסיומטית אפשר לבטא כטענה Q: F=>P. אם הוכחת את P תחת F, האמיתות של Q איננה תלויה בקונסיטנטיות של F. אם F איננה עקבית, הטענה הזו תהיה נכונה באופן ריק.

לגבי האינטואיציוניזם, זו תורה של לוגיקה מתמטית, לא של לוגיקה בסיסית. זה מודל של לוגיקה, ועם מודל אפשר לעשות מה שרוצים. בעצם, אינטואיציוניסטים מייחסים למלה "אמת" משמעות שונה מזו שאנחנו מייחסים לה, ולפיכך מגיעים למסקנות שונות מה אמיתי ומה לא. אבל זה רק ויכוח סמנטי. תפיסת האמת הבסיסית, הנפשית, של אינטואציוניסטי איננה שונה משלך. הוא פשוט משתמש בשיטתו המתמטית במלה "אמת" כדי לתאר תכונה שונה של משפטים מזו המקובלת. אבל גם אינטואיציוניסט יסכים, כך נראה לי, שאלגוריתם עוצר או שהוא איננו עוצר, אבל לא גם זה וגם זה.
ההוכחה? 462281
בשביל לנסח את הטיעון המדוייק, אין שום צורך לחזור על כל הפרטים בספר של פנרוז שהם, ברובם, חומר רקע. אתה מנסה לטעון כאן שיש *הוכחה* למשהו, לא טיעון אינטואיטיבי - זה לא כל כך קשה לדייק, ההוכחה שלו אינה ארוכה ואינה מסובכת כלל.

"הוא נאות במובן של משפט פנרוז אם ורק אם A' נאות במובן המקובל בלוגיקה." - לא ולא. אין שום קשר בין מה שאלגוריתם זה עושה לבין הסקת מסקנות לוגיות, ואין שום דרישה ממערכת נאותה-במובן-הלוגי להתנהג בצורה המוזרה של "אי-עצירה" כאשר היא רוצה להגיד "לא". והרי אי-העצירה הזו היא כאן לב העניין, הטריק המלאכותי שבאמצעותו אינך מאפשר (לכאורה) לאלגוריתם "נאות" (במובן א') לזהות "נאותות" (במובן ב') של עצמו.

אבל כל זה לא ממין העניין. כל מה שההוכחה הזו עושה היא להראות שכל אלגוריתם בעל תכונה P יש לו גם התכונה Q, כאשר P היא אותה דרישת-נאותות משונה הכרוכה באי-עצירה בתנאים מסויימים, ו-Q היא תכונה של האלגוריתם כאשר מריצים אותו על עצמו כקלט. איך מכאן אתה מסיק שאין שום אלגוריתם ה"מחקה הבנה אנושית"? למה שלכל אלגוריתם מועמד כזה תהיה התכונה המשונה P? למה צריכים להתעניין בתכונה Q? אנשים לא סבורים שהשיקולים הלוגיים שלהם תקפים בגלל שהם "מזינים את עצמם לעצמם כקלט" ויוצא "כן".

ההנחה שאלגוריתם יכול "לחשוב משהו על עצמו" רק עם "מפעילים אותו על עצמו כקלט" היא תמימה, אין מילה אחרת. אפשר לבנות מחשב עם "תפיסת עולם" הבנוייה ממצבים שונים של רכיביו הפנימיים בלי שיהיה אפשר "להריץ אותו" על שום קלט בכלל. במסגרת תפיסת-העולם הזו אותו מחשב יכול לסבור שהירח ורוד, שמשפט גולדבך נכון ושהוא עצמו עקבי לגמרי. (תשאל, מה זה "לסבור" עבור מחשב? בדיוק מה שזה עבור בן-אדם: זה מה שהוא יגיד לך אם תשאל אותו). אין שום סיבה לדרוש ממחשב שכזה להגיב בצורה כזו או אחרת אם "מריצים אותו על עצמו". תאמר: שטויות, המחשב הזה לא באמת "סובר" שום דבר. הוא סתם מבצע פעולות מכניות. בסדר, אבל משפט פנרוז לא *מוכיח* את זה. משפט פנרוז לא אומר שום דבר על מחשב שכזה.

"מכל אלגוריתם נאות שממדל חשיבה מתמטית עבור בעיות שכאלו בתורת המספרים אפשר ליצור אלגוריתם נאות A בתנאי המשפט של פנרוז." באמת? איך? יש אלגוריתמים פשוטים מאוד המוכיחים משפטים נכונים בתורת המספרים, ואם כך הם "ממדלים חשיבה מתמטית"; איך אתה מציע לייצר מהם אלגוריתם המזהה כל אלגוריתם עוצר על קלט נתון?

הפסקה על האינטואיציוניסטים רווייה שגיאות עובדתיות, צר לי. זו בדיוק שיטה ב"לוגיקה בסיסית", לא מתמטית. היא מתייחסת ל"אמת" בדיוק באותו אופן כמו שיטות אחרות, ולא מתארת איזו "תכונה אחרת" של משפטים. אינטואיציוניסט בדיוק לא יסכים שאלגוריתם עוצר או שאינו עוצר (הוא יסכים שלא שניהם, אבל הוא לא יסכים שלפחות אחד מהשניים נכון).

=======

יש לי תחושה - אולי אני טועה - שאתה משוכנע שכנוע עמוק שההוכחה של פנרוז תקפה, ושום דבר שאגיד לא יזיז אותך מדעתך. אני חושש שיכולתי להתמיד בדיון הזה מוגבלת מאוד, מסיבות שאינן תלויות בך (צר לי), אז אנסה עוד נסיון אחרון מכיוון אחר (להלן) ואפרוש. אשאיר לאחרים לקבוע מה, לדעתם, המצב לאשורו.

הנה תרגיל בתכנות. כתוב תכנית ב-C בעלת התכונות הבאות: כשמזינים אותה בקלט "0", היא מתחילה להוכיח משפטים מתמטיים ב-ZFC, עם כללי ההסקה הרגילים (פשוט ע"י מניפולציה של מחרוזות). כשמזינים אותה בקלט "1" ולאחריו קטע קוד ב-C, היא מנסה ככל יכולתה לקבוע אם קטע הקוד הזה "מבצע שיקולים לוגיים נאותים": היא בודקת אילו טרנספורמציות קטע הקוד הזה מבצע על שרשראות של סימנים, היא מריצה אותו במשך שעה ובודקת מה יוצא; אם הכל נראה בסדר היא אומרת "כן, זה נראה נאות", אחרת היא מכריזה "לא נאות!". חוץ מזה, ליתר בטחון, יש לה רוטינה מיוחדת שכל מטרתה היא לזהות אם הקלט הוא, במקרה, הקוד שלה עצמה, ואם כן היא עונה "נאות ועוד ואיך".

לתוכנה הזו יש יכולות כמו-אנושיות לא מבוטלות. היא תוכיח בהצלחה כל משפט מתמטי שהוכח אי-פעם בתורת-המספרים (ובמתמטיקה בכלל, חוץ ממספר קטן מאוד, יחסית, של משפטים הנסמכים על אקסיומות מחוץ ל-ZFC). חוץ מזה, יש לה יכולת לא מבוטלת לבחון "נאותות לוגית" של אלגוריתמים אחרים; יכולת זו איננה, חלילה, חסינה משגיאות, אך בכך היא אינה שונה מבני-אדם. חוץ מזה, היא מזהה נכונה את הנאותות שלה עצמה.

למען הסר ספק, אני לא חושב שלתוכנה כזו יש "תודעה", ואני אפילו לא חושב שהיא "יודעת שהיא מפעילה שיקולים לוגיים נכונים" באותו מובן שאנו חושבים כך. אתה הוא זה שזיהית, בתיאורך את הבעייה, את היכולת "לדעת שאתה נאות" עם היכולת "לעצור ולהכריז 'כן' כשמזינים לך את עצמך", ודווקא במבחן הזה התוכנה הקטנה שלנו עומדת יפה. ודאי שתוכנה זו אינה "נאותה" במובן המלאכותי של פנרוז ("לא עוצרת אם הקלט שלה עוצר" וגו'), אך גם בכך היא לא שונה מבני-אדם. משפט פנרוז לא אומר עליה כלום (הנה, היא קיימת!)

אתה יכול *להוכיח* שלתוכנה זו אין "תודעה", "הבנה", או "ידיעה שהיא מבצעת שיקולים נכונים"? אתה ודאי סבור שכן, אבל שים לב שיהיה עליך לבנות הוכחה חדשה - ההוכחה של פנרוז אינה מספקת. מכאן שההוכחה של פנרוז אינה עושה את מה שאתה חושב שהיא עושה - מראה שאין שום אלגוריתם נאות (במובן הרגיל!) ה"מזהה את הנאותות של עצמו".
ההוכחה? 462358
הוכחת המשפט המתמטי של פנרוז היא קצרה ופשוטה, אבל עיקר הדיון פה הוא על הפרשנות הפילוסופית שלו, וזו מורכבת מאוד. משום כך אני ממליץ לקרוא את ספרו של פנרוז משום שבהכרח אני מקצר ומפשט, ואולי אף טועה פה ושם. נדמה לי שחלק גדול מביקורת שאתה ואחרים הבעתם נענית שם באופן יותר מוצלח ממה שאני מצליח להעביר.

הסברתי בדיוק כיצד הנאותות של הסקה לוגית ממופה לנאותות האלגוריתם בתנאי משפט פנרוז, אבל מכיוון שלא הבנת, אחזור על כך. נניח שנתון אלגוריתם A' הממדל הסקה מתמטית אנושית. האלגוריתם הזה מקבל כקלט טענה מתמטית מסוימת, משתמש בכללים לוגיים תקפים על מערכת אקסיומטית נתונה כדי לקבל ממנה את המשפט או את שלילתו. פלטים אפשריים לאותו אלגוריתם הם: "הטענה נכונה", "הטענה שגויה", "הטענה איננה ניתנת להכרעה במערכת האקסיומטית הנתונה", "אין לי מושג ונמאס לי" או שהאלגוריתם עשוי גם להמשיך ולרוץ עד אין קץ ללא הכרעה.

כעת, נניח שאני מתעניין רק בבעיות עצירה של אלגוריתמים. כפי שכתבתי, חלק ניכר מהבעיות בתורת המספרים (כמו השערת גולבאך, משפט פרמה וכו') ניתנות לתרגום לבעיות עצירה, כך שלא מדובר בתחום צר (אבל אפילו אם כן, אז מה?) ומערכת שמסוגלת להגיע להכרעה בבעיות מתמטיות אמורה להיות מסוגלת להגיע להכרעה בבעיה האקוויוולנטית המנוסחת כבעיית עצירה. מה שצריך לעשות זה לכתוב קוד קטן שהופך קלט מהצורה B,C לקלט מנוסח באופן המובן לA' כטענה בדבר העצירה של B על הקלט C ומזין זאת לA'. קוד נוסף יקבל את הפלט של A' ויתקע כל תגובה אפשרית פרט לזו הקובעת ש-B איננו עוצר על C. סך כל הקוד המתקבל הוא האלגוריתם A.

אם ההסקה של A' נאותה אז A הוא נאות בתנאי משפט פנרוז. מדוע? משום שבמקרים בהם A' מגיע להכרעה שאלגוריתם הקלט אינו עוצר, זו הכרעה נכונה בהכרח בגלל השימוש בשיקולים לוגיים תקפים, ולפיכך A עוצרת כראוי. בשאר המקרים A איננה עוצרת ומקרים אלו לא יכולים לפגוע בנאותות שלה. מכאן שהנאותות של האלגוריתם במשפט פנרוז כלל איננה סתם אילוץ משונה אלא מודל מוצלח לנאותות הסקה מתמטית, לפחות בתחום מתמטי ספציפי. לכל היותר ניתן לטעון שהנאותות במשפט פנרוז היא תכונה כללית יותר מאשר הנאותות הלוגית הסטנדרטית, אולם זה לא משנה דבר מבחינת תוצאות המשפט, משום שאי-נאותות של A בהכרח גוררת שלA' יש שגיאה בהסקה.

על פי משפט פנרוז אלגוריתם A בעל תכונה P (נאותות) בהכרח לא מצליח להגיע להכרעה נכונה בבעיה מסוימת (בעיית העצירה של אלגוריתם האלכסון שלו על עצמו). אילו הוא היה ניחן ביכולת ההסקה המתמטית האנושית ואילו הוא היה מסוגל להסיק באופן כלשהו שהוא בעל תכונה P, אזי הוא היה יכול להשתמש במשפט פנרוז (כי יכולת ההסקה האנושית מאפשרת זאת) ולהכריע באותה בעיית עצירה. זו סתירה, ולכן בהכרח A איננו יכול להסיק בשום אופן שהוא בעל תכונה P. אבל בני אדם בהחלט יודעים שההסקה הלוגית-מתמטית שלהם נאותה. ידיעה זו היא שמגדירה בכלל הסקה לוגית תקפה מהי. אין לך שום דרך להבחין בין שיקול תקף לשיקול פסול פרט לאותה ידיעה פנימית. לו הייתה התודעה האנושית חישובית, האלגוריתם A המבוסס על יכולותיה היה בעל תכונה P (כי זו נובעת, כאמור בפסקה הקודמת מנאותות החשיבה הלוגית), מודע להיותו בעל תכונה P ולפיכך סותר את מסקנות המשפט של פנרוז. זה הכל.

"ההנחה שאלגוריתם יכול 'לחשוב משהו על עצמו' רק [אם] 'מפעילים אותו על עצמו כקלט' היא תמימה" - או שלא הבנתי אותך או שלא הבנת אותי. איפה הנחתי הנחה כזו. כל ההתיחסות שלי בקשר לטיעון של פנרוז היא ביהיוויוריסטית לחלוטין, פרט להנחה שההסקה האנושית מודעת לנאותות של עצמה, ולפיכך יכולה להשתמש בידע זה.

"יש אלגוריתמים פשוטים מאוד המוכיחים משפטים נכונים בתורת המספרים, ואם כך הם 'ממדלים חשיבה מתמטית'; איך אתה מציע לייצר מהם אלגוריתם המזהה כל אלגוריתם עוצר על קלט נתון?" - לדוגמה, קח אלגוריתם המוכיח את משפט פרמה. מכאן הוא יסיק (לפחות אם הוא ניחן בתבונה אנושית) שאלגוריתם העובר על כל רביעיות המספרים הטבעיים a,b,c,n עם n גדול מ-‏2, ועוצר רק כאשר מתקיים a^n+b^n=c^n, בהכרח איננו עוצר.

לגבי האינטואיציוניזם, אני חולק עליך לחלוטין, אבל התגובה הזו ארוכה מדי כמו שהיא, ולכן אני מציע לדחות את הדיון הזה להזדמנות אחרת.

"יש לי תחושה - אולי אני טועה - שאתה משוכנע שכנוע עמוק שההוכחה של פנרוז תקפה, ושום דבר שאגיד לא יזיז אותך מדעתך" - מוזר, כי לי יש תחושה שאתה משוכנע שכנוע עמוק שההוכחה של פנרוז איננה תקפה, ושום דבר שאגיד לא יזיז אותך מדעתך. אני התחלתי את דרכי כפיזיקליסט, ותגובתי הראשונה לטיעון של פנרוז הייתה "מה זו השטות הזו? אי אפשר להוכיח שום דבר על התודעה האנושית מתוך משפט מתמטי! ובטח שהסקה מתמטית היא חישובית. הרי היא מבוססת על שיקולים שניתנים לפורמליזציה מלאה." לקח לי זמן רב להשתכנע שפנרוז צודק, ולהבין למה הוא צודק.

התוכנה שהצעת איננה נאותה. כלומר, היא אולי נאותה בנוגע למשפטים בZFC, אולם היא תטעה בנוגע לנאותות של אלגוריתמים אחרים. למעשה, התוכנית הזו עשויה לתת תשובות סותרות לאותה בעיה, פעם כשהיא מנוסחת כבעיה בZFC ופעם כשהיא מנוסחת כבעיית נאותות של אלגוריתם. שים לב: היא איננה יכולה להוכיח את הנאותות של עצמה, (לגבי הסקת משפטים בZFC) באמצעות משפט ב-ZFC. ואילו על מוד ההסקה השני שלה ממילא איננו יכולים לסמוך.

אבל הכי חשוב, התכנית שלך איננה יכולה לסמוך על הנאותות של עצמה (כביכול) לשם הוכחת משפטים ב-ZFC משום שהוספת אקסיומה כזו איננה קונסיסטנטית עם ZFC (זו למעשה תוצאה ממשפט פנרוז). משום כך אי אפשר לומר שיש לה "ידע" בדבר הנאותות של עצמה. ידע איננו הצהרה סתמית. הוא משהו שניתן להשתמש בו לשם הסקת מסקנות.
לזמר את ההוכחה. 461748
איפה אמרתי שאני "מאמין" שחוסר סבלנות הוא מרכיב "הכרחי" של תודעה? אמרתי רק שלא ניתן לפסול את האפשרות.

איפה אמרתי שהתוכנה, שמחקר ה-AI שואף לפתח, לא תצליח להבין משפט מתמטי פשוט? טענתי שהיא תהיה שקולה כנראה לתודעה אנושית. תודעה אנושית, מסתבר, כן מצליחה להבין משפטים מתמטיים, אפילו לא פשוטים. (כמובן שיש כאלה שמתעקשים "לקרוא" הרבה יותר מהוכחות מסוימות, אבל זה כבר סיפור אחר).

"לחקות את הקיים" – מבחינת היכולת; לא מבחינת אופן הביצוע. ממש כמו שבפיתוח רובוטים דמויי-אנוש, מנסים לחקות את אופן ההליכה האנושי, מבלי להתבסס על המנגנונים הביולוגיים: משהו שמשיג את אותה התוצאה, בדרך אחרת. התוצאה אפשרית (עובדה: בני-אדם הולכים), ולכן יש תקווה להגיע אליה גם בדרכים אחרות. כך גם לגבי תודעה: התודעה אפשרית (עובדה: בני-האדם מודעים), ולכן יש תקווה להגיע אליה גם בדרכים אחרות. אבל למרות שהמטרה היא *להגיע* לתודעה באופן שונה מאוד, אין הכוונה שהתודעה עצמה תהיה שונה מאוד (למשל, בעלת יכולות מתמטיות מושלמות).

לא אני זה שמראה "אמונה דתית". אתה יוצר קו שחור-ולבן בין תודעה "מתמטית", שלא יכולה לטעות – דבר שאינו קיים, לבין תודעה שלא תצליח להבין משפט מתמטי פשוט אבל כן תבין מחזה של שייקספיר – דבר אחר שאינו קיים. משהו באמצע דווקא כן קיים: התודעה האנושית. היא כן יכולה לטעות, גם בהקשרים מתמטיים; היא כן מבינה משפטים מתמטיים פשוטים, וגם מסובכים; והיא מבינה גם מחזות של שייקספיר. אני, בניגוד לך, לא פוסל על הסף את האפשרות ליצור גרסת תוכנה של תודעה השקולה לתודעה האנושית. זה שאינני מקבל את ה"הוכחות" של פנרוז לאי-ייתכנותה של תוכנה שכזו לא הופך אותי ל"מאמין דתי"; גדולים וטובים ממני מצאו פסול בהוכחה זו, ואחרות דומות לה.

ייתכן בהחלט כי בעתיד תמצא הוכחה שבאמת מעידה על כך שלא ניתן ליצור תודעה מתוך מערכת פורמלית; אולם אין הגיון בזניחת תחום המחקר כל עוד לא נמצאה הוכחה מסוג זה.

נדמה לי שמבחינתי, הענף הזה בדיון הסתיים בזאת.
  לזמר את ההוכחה. • אלון עמית
  לזמר את ההוכחה. • עומר
  לזמר את ההוכחה. • האייל האלמוני
  לזמר את ההוכחה. • טל כהן
  לזמר את ההוכחה. • האייל האלמוני
  לזמר את ההוכחה. • שייח ספיר
  לזמר את ההוכחה. • האייל האלמוני
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • אורי גוראל-גורביץ'
  לרבע את הלולאה. • טל כהן
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • טל כהן
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • טל כהן
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • טל כהן
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • טל כהן
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • דורפל
  לרבע את הלולאה. • כבשה
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • כבשה
  לרבע את הלולאה. • ירדן ניר-בוכבינדר
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • אורי גוראל-גורביץ'
  לרבע את הלולאה. • גדי אלכסנדרוביץ'
  לרבע את הלולאה. • אורי גוראל-גורביץ'
  לרבע את הלולאה. • גדי אלכסנדרוביץ'
  לרבע את הלולאה. • אורי גוראל-גורביץ'
  לרבע את הלולאה. • גדי אלכסנדרוביץ'
  לרבע את הלולאה. • אורי גוראל-גורביץ'

חזרה לעמוד הראשי

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים