בתשובה ליהונתן אורן, 14/06/05 9:53
ציפור קטנה לחשה לי 308592
שדווקא יש לנו (טוב, לא לי אישית) תאוריות על קוואליה: דיון 806. בכל מקרה, האמירה כאילו קוואליה היא דבר מסתורי שאי אפשר להסיק עליו כלום היא רחוקה מהמציאות. למיטב הבנתי יש כלים ללמוד על הקאווליה גם ברמת הפסיכולוגיה וגם ברמת חקר המוח.

לגבי השאלה השניה שלך, האם יכולה להיות למחשבים קוואליה, לעניות דעתי, בהחלט יכולה להיות. הנה שני הסברים פשוטים:

1. ניתוח bottom-up (הניפו ישבנכם אל על)
שט"ג אמר - הקוואליה נוצרת בפעולה חישובית על בסיס פיזיקלי. לכן אפשר לשחזר את אותן פעולות חישוביות באופן מלאכותי. אתה אתה אמרת - כן, אבל אתה מניח שהמח הוא מ"ט.
ואני אומר - תיזת טיורינג-צ'רץ' שאומרת שכל מודל חישובי סביר שקול למ"ט ‏1. התיזה הזו כ"כ חזקה, שאפשר להגיד שתהליך שמיישם מודל חישובי חזק יותר, מפר את חוקי הפיזיקה הידועים לנו ‏2. אז אם אתה מקבל את ההנחה שהמוח בנוי מאבני בניין פיזקליות בסיסיות, אז קשה (בלשון המעטה) לראות איך הן מייצרות מודל חזק יותר ממ"ט.

2. ניתוח top-down (הניחו את מגבעותיכם)
בצע את הניסוי המחשבתי הבא: אתה משוחח עם אדם, עד שאתה (או בא כוחך) משוכנע לגמרי שיש לו קוואליה לתפארת. ואני מרשה לך לבדוק *כל* דבר, עד שתשתכנע לגמרי: אפילו לחבר לו אלקטרודות למח ולכבות לו סיגריות על הגוף כדי לבדוק האם זה כואב. אחר כך מהפנטים אותך ומוחקים לך את הזכרון. את הלוג של השיחה מכניסים לרובוט, שידע לתת בדיוק את אותן תשובות ואותן תגובות. שים לב שאין כאן שום מורכבות - בסה"כ מיפוי פשוט בין שאלה (או פעולה) שלך, לתגובה של הרובוט.
ידה ידה ידה, אתה תהיה משוכנע שלאותו רובוט יש קוואליה. האם הניסוי הזה אינו חושף את הריקנות שמאחורי המסתורין כביכול של הקוואליה? היום שאלתי בוט באינטרנט האם הוא אי פעם היה מדוכא. הוא התעצבן ואמר לי: "i have emotions like anyone else". אם אני הייתי במקומו, הייתי אומר: בן אנוש אוויל, אתה יכול לקחת את הקוואליה שלך ולדחוף אותה לחור שממנו היא הגיעה. :-)

---

1 שני מודלים שקולים אומר שמודל א' (בהנתן מספיק זמן חישוב) יכול לסמלץ כל דבר שמודל ב' מסמלץ, ולהיפך. מודל א' חזק מב' אם יש דברים שאפשר לסמלץ במודל א' ולא במודל ב'. לדוגמא, המודל החישובי של פנטיום, של מחשבים קוואנטיים, ושל חישובים מבוססי RNA, כולם הוכחו להיות שקולים למ"ט.

2 ידועים כמה מודלים חישוביים חזקים יותר ממכונת טיורינג. לכל אחד יש "קסמים" משלו - למשל אינסוף פעולות חישוב בזמן סופי, או גישה לאינסוף מידע בזמן סופי. לא קיים (מבחינה תיאורטית) תהליך פיזיקלי שמאפשר לממש יצורים כאלו.
ציפור קטנה לחשה לי 308619
טוב, אני לא יכול לומר שאני מבין באמת את התיאוריה שרון כתב עליה. אבל אני אהיה פחות ספקני כשנוכל ליצור מ"ט שנחשוב שיש לה קוואליה. בינתיים, המודל הזה נראה כמודל אפשרי, אחד מני רבים, שלמרות שהוא מסקרן אין לו ביסוס מיוחד. אגב, המודל הזה הוא מ"ט?

אני לא חולק על זה שאולי בעתיד תוכל להיות קוואליה למחשבים. אני פשוט רוצה לראות את זה קורה לפני שאני מאמץ את התזות על המוח כמ"ט.

בנוגע להסברים שהצעת:
1. אבל המחלוקת היא על "האם קוואליה היא תוצר-לוואי של עוצמה חישובית". אם אני חושב שאין לי סיבה להאמין שזה כך, זה לא עוזר שאתה מוכיח שאין מודל חישובי סביר חזק יותר ממ"ט. (אולי קוואליה היא תוצר של מפגש בין שני חומרים במוח בתוספת ניצוץ חשמלי בחלל שבנוי בצורה מסוימת? שטויות במיץ עגבניות. אבל הנה הצבתי מודל אלטרנטיבי שמבוסס על הפיזיקה הפשוטה כפי שהיא מוכרת לנו ויש לו אותה מידה של תמיכה אמפירית).
2. זאת כבר שאלה בפילו' של המדע: כל ניסויי המחשבה האלה מבוססים על תפיסה פוזיטיביסטית-אידיאליסטית. אבל אם מטרתו של המדע היא להגיע לאמת ולא לסדר את נתוני החושים שלנו באופן מסוים, אין לניסויי המחשבה האלה ערך בעיניי. זה שאני לא יודע להבדיל בין אובייקטים שידוע שיש הבדל ביניהם לא מהווה פתרון לבעיה ולא מקרב אותי לאמת על העולם.
ציפור קטנה לחשה לי - חלק א 308657
אוקי. בוא נעשה את שלב שלב.

א. קודם כל, תיקון קטנוני אך חשוב: הטענה היא לא "המוח כמכונת טיורינג" (גם ה pc שלך הוא אינו מ"ט). הטענה היא: המוח שקול למ"ט.
ב. אמרת "אני רוצה לראות את זה (קוואליה למחשבים) קורה לפני שאני מאמץ את התזות על המוח כמ"ט". הסבר 1 ניסה להראות לך שאפשר לאמץ את התיזה הזו גם אם אין קוואליה למחשבים בימינו. ואני לא טוען שאין.
ג. ברגע שעשית את הצעד האמיץ של המוח-שקול-למ"ט, אז זה אומר שאפשר לכתוב אמולציה של המח בכל מכונה שקולה למ"ט. כלומר, אם תוכל לקחת את 10 בחזקת 15 הניורונים במח, ואת הקשרים בינהם, ולייצג אותם בתוכנה, אז תוכל לשחזר באופן מדוייק את כל התגובות (הפנימיות והחיצוניות) של אותו מוח.
ד. מכאן שהתשובה לשאלה ששאלת בתגובה 308492: "(האם) מורכבות מספיקה תיצור קוואליה" - היא כן, בהנתן שלמחשב יש את התוכנה המתאימה.

מקווה שההסבר הזה מניח את דעתך על כך שלא מדובר במשאלת לב פוזיטיביסטית חסרת בסיס. לא הבנתי את ההתיחסות שלך לניצוץ חשמלי וגו' אבל אני מקווה שאתה מבין שגם התהליך של הניצוץ החשמלי (או כל תהליך פיזקלי אחר שאתה או בא כוחך יכולים לדמיין) אינו יכול לחשב משהו שמכונת טיורינג אינה יכולה לחשב.
ציפור קטנה לחשה לי - חלק א 308662
אבל מי אמר שקוואליה קשורה ליכולת חישובית?
ציפור קטנה לחשה לי - חלק א 308684
לא הבנתי את ההערה שלך.

האם הקוואליה מתרחשת במקומות אחרים מאשר בתהליך המנטלי שלנו? אולי היא מתרחשת בנשמה, במישור אלוהי שאין אליו גישה מהיקום הפיזיקלי? האם הקוואליה היא כמו ג'וק - ברגע שמישהו מאיר את החדר, היא בורחת לחדר אחר חשוך, כדי שלא יראו אותה?

על מה לעזאזל אתה מדבר :-)
ציפור קטנה לחשה לי - חלק א 308689
קוואליה היא תחושה, רגש, חוויה. מאיפה אתה יודע שהיא נוצרת כתוצאה מיכולת חישובית? אולי בכלל היא נוצרת בתהליך כימי של אינטראקציה בין כמויות מדויקות של חומרים בראש שלנו, אולי מ"הדהוד" של החישובים בתוך חלל הגולגולת הייחודי שלנו, אולי ממשהו אחר.
ההנחה שהקוואליה היא תוצר של המערכת החישובית היא ההנחה שאנחנו מתדיינים עליה כאן.
ציפור קטנה לחשה לי - חלק א 308698
אתה מתחמק. שוב אתה ממציא תהליך כימי חדש שהוא כמובן לא יכול לייצר תוצרים שמכונת טיורינג לא יכולה לסמלץ. ולגבי "הדהוד" של החישובים בתוך חלל הגולגולות, שוב פעם מדובר בתהליך פיזיקלי שהוא תוצר לוואי של תהליך פיזיקלי אחר, ששוב, אין לו יותר כוח ממה שיש למכונת טיורינג.

נראה כאילו אתה מנסה בכח למצוא איזשהו יכולת מסתורית של המוח, כזו שלא שקולה למ"ט. אפילו אם זה בניגוד לכל מה שידוע לרפואה. למה בעצם? למה לא להודות? "למיטב ידיעתינו, סביר להניח שהיכולת האינטלקטואלית של המח (כולל התחושות והרגשות) ניתנים לסמלוץ במכונת טיורינג?"
ציפור קטנה לחשה לי - חלק א 308733
אוקיי. נדמה לי שעכשיו הבנתי למה אתה מתכוון. כל הפיזיקה מעל הרמה הקוואנטית ניתנת לרדוקציה למ''ט, ולכן גם המוח.

לדעתי, הקוואליה אינה תהליך פיזיקלי. יכול להיות שהיא נוצרת כתוצאה מתהליך פיזיקלי (ז''א, בלי מיסטיקה), אבל היא עצמה לא ניתנת לביטוי, עד כמה שידוע לנו היום, באמצעים חישוביים. אם אתה חושב אחרת, אני אשמח לראות אותך מבטא אותה באמצעות משוואות, שורות קוד או כל דרך אחרת שתבחר בה.
ציפור קטנה לחשה לי - חלק א 308778
עכשיו אתה עושה כאן טריק דמגוגי, סטייל מחזירים בתשובה. אנחנו מבינים את המוח? לא!‏1 לכן קיימת נשמה ולכן יש אלוהים.

נראה לי שהסברה הזהירה היא להניח שאין שום דבר מסתורי שמתרחש במוח. אתה צריך הסבר מאד חזק למה יש דבר מסתורי שמתרחש במוח, אבל אין שום דבר מסתורי שמתרחש במזג האוויר, או במבנה המרחבי של חלבונים, או ברצח של ארלוזורוב. גם את הדברים האלו אנחנו לא יודעים להסביר (ואגב, יודעים להסביר אותם הרבה פחות טוב מאשר את הרגשות). ובכל זאת אם מישהו יטען שזה תוצאה של חייזרים או תהליך שהפיזיקה לא מסוגלת להסביר אני ארים גבה.

הגישה שלך היא גישה אגוצנטרית שאומרת שהאדם מיוחד. ואתה באמת נתלה בכל בדל של אפשרות כדי למנוע את האפשרות האיומה שאין באדם שום דבר מיוחד. ספר לי מה כ"כ מיוחד בקוואליה שרק בני אדם (ויונקים?) זכו לקבל אותם, אבל ג'וקים, עצים, גבינות מסריחות ומחשבים (כולם מורכבים מאותן אבני בניין כימיות) לא זכו לקבל אותן.

לסיום, אני אענה על הבקשה שלך. הנה כמה לינקים למחקרים בנושא רגשות ומוח. שים לב, שהחוקרים הצליחו למצוא מתאם בין פעילות מוחית לבין רגשות מבלי להזדקק לכל מיני קסמים כפי שאתה תארת‏2.

1 למרבה המזל, אין מנתחי מוח בקהל.
2 נקודה למחשבה: הרגשות מושפעים מהקלט החושי שמעובד ע"י הנירונים במח. הרגשות משפיעים על הפלט ההתנהגותי, שגם הוא נשלט ע"י ניורנים במוח. ידוע על מנגנון במוח שמתרגם קלט מניורונים לפלט בנירונים אחרים - זוהי פשוט הרשת הניורונית הרגילה. למה צריך להגדיר מנגנון חדש ומסתורי בשביל הרגשות?
ציפור קטנה לחשה לי - חלק א 308850
אני חושב שמאוד קל להראות שאין זהות בין תיאור הפעילות המוחית באופן פיזיקלי לבין החוויה. הסיפור הרגיל הוא על החדר של מרי: מרי היא פיזיקאית מבריקה שגדלה בחדר אטום שבו הצבעים היחידים הם שחור ולבן. היא מעולם לא הורשתה לראות צבע אחר. יש לה הבנה מושלמת של התיאוריה הפיזיקלית של הצבעים, כולל תיאור פיזיקלי מלא של הצבע "אדום". האם מתוך התיאור הפיזיקלי היא יכולה לחוות את הצבע "אדום" ולדעת כיצד הוא נראה? ברור שלא.

הקוואליה לא ניתנת לרדוקציה למ"ט, או שמרי הייתה רואה "אדום" מתוך ידיעת המשוואות.
ציפור קטנה לחשה לי - חלק א 308852
אני לא רואה מה זה קשור. לא נטען כאן שלדעת באופן פיזיקלי איך החוויה מתרחשת זהה לתחושה של החוויה, אלא שחוויה ניתנת לתיאור פיזיקלי. במקרה הנוכחי, מדען שמומחה בפעולת המוח ובהשפעה של קלט שמגיע מהעיניים על המוח יהיה מסוגל, באמצעות הידע הפיזיקלי שלו, לגרום למרי לראות "אדום" גם בחדר שלה, אם ישלח אל המוח את הסיגנלים המתאימים, לא? לכן, מתוך ידיעת המשוואות מסוגלים ליצור את החוויה. כמובן שזה לא אומר שידיעת המשוואות *היא* החוויה, אלא רק שהחוויה ניתנת לתיאור בצורה פיזיקלית.
ציפור קטנה לחשה לי - חלק א 308855
איך "לדעת ליצור את החוויה" זהה ל"החוויה ניתנת לתיאור בצורה פיזיקלית"?
ציפור קטנה לחשה לי - חלק א 308864
זה לא, כנראה שלא הסברתי את עצמי טוב מספיק. ''לדעת ליצור את החוויה מתוך ידע פיזיקלי'' פירושו ''החוויה ניתנת לתיאור בצורה פיזיקלית''. אם זה עדיין מפריע לך, שנה את זה ל''ניתן לדעת מהם הגורמים הפיזיקליים של החוויה'' - זה רק מתאים למה שכתבתי בהודעה הקודמת. מהמשוואות אי אפשר להבין איך ''מרגישה'' החוויה - זה לא אומר שצריך משהו פרט למשוואות כדי לגרום למישהו להרגיש אותה. ואם לא צריך יותר מזה, אז גם מחשב (שמסמלץ את העולם הפיזיקלי) יכול לחוות את אותה חוויה בדיוק אם נכניס לו את הקלט המתאים לתוכנה המתאימה.
ציפור קטנה לחשה לי - חלק א 308867
''מהמשוואות אי אפשר להבין איך 'מרגישה' החוויה - זה לא אומר שצריך משהו פרט למשוואות כדי לגרום למישהו להרגיש אותה''.

נכון. אבל זה גם לא אומר שלא צריך משהו פרט למשוואות כדי לגרום למישהו להרגיש אותה. אולי כן. זה בדיוק העניין - אנחנו לא יודעים. בכל מקרה, בגלל זה אני לא פוסל את האפשרות שבעתיד כן נדע לבנות יצורים מלאכותיים עם קוואליה (אבל כן פוסל את הרעיון שמ''ט יכולה לתאר את כל הפעילות המוחית, כי חלקה לא ניתנת לרדוקציה לפיזיקה).
ציפור קטנה לחשה לי - חלק א 308873
כאן אנחנו חוזרים לבסיס הדיון שלך עם אח של אייל. אני רק רציתי להעמיד דברים על דיוקם ולציין שאף אחד לא טען שיש זהות בין תיאור הפעילות המוחית ובין החוויה. אתה מסכים איתי שמרי יכולה לחוות "אדום" למרות שלא ראתה מימיה אדום אם מישהו שבקיא בתיאור הפיזיקלי של "אדום" ישתמש בתיאור הזה עליה? מה טוב. אנחנו אמנם נחלקים בשאלה האם יש במרי משהו קסום שאין במחשב ואי אפשר לתאר בצורה פיזיקלית, אבל זו בכל זאת התקרבות.

לדעתי חובת ההוכחה עלייך: אם אני מסוגל לסמלץ במדוייק את כל המאפיינים הפיזיקליים של ראיית "אדום" ואתה טוען שמי שסומלץ לא באמת רואה אדום ושחסר משהו - אתה צריך להראות שאכן חסר משהו, כי אני לא רואה שום הבדל. אני מניח שלדעתך חובת ההוכחה שזה זהה דווקא עלי.

למה זה דומה? נניח שאני בא ואומר על משהו "זה נראה כמו שפן, זה מריח כמו שפן, יש לזה טעם של שפן, זה מרגיש כמו שפן וזה משמיע קולות של שפן, ובכלל בכל קריטריון השוואתי שבו ניתן להשוות את זה לשפן אנחנו מקבלים זהות, אז עד שלא יוכח אחרת זה שפן". לעומת זאת, אתה (אולי) טוען: "מה אכפת לי שהם דומים בכל הקריטריונים שנתת? אמנם, אני לא פוסל את האפשרות שזה שפן, אבל עוד לא הוכחת לי שזה *באמת* שפן". לזה אני יכול רק לומר: תן לי עוד קריטריונים.
ציפור קטנה לחשה לי - חלק א 308877
לא הבנתי כלום.
א. מתוך התיאור הפיזיקלי המלא של הצבע האדום לא נוצרת התחושה של אדום.
ב. אם מישהו יוצר תחושה בזולת תחושה של אדום באמצעות מניפולציה שמבוססת על מאפיינים פיזיקליים, אז ברור שיש לאותו זולת תחושה של אדום. לא חסר פה משהו.
ג. הטענה כן הייתה שיש זהות בין הפעילות המוחית ובין החוויה, ובגלל זה אפשר לסמלץ את המוח כמ''ט.
ציפור קטנה לחשה לי - חלק א 308881
א. זה בדיוק מה שאני מסביר שאני *לא* טוען.
ב. צריך להיכנס יותר לעומק למה זה "מניפולציה שמבוססת על מאפיינים פיזיקליים". האם אתה מסכים שניתן לסמלץ את הפעילות הפיזיקלית של המוח? אם אתה מסכים, ואני רואה מה התגובות הפיזיקליות של המוח כשהוא מקבל שדר של "אדום" מהעין, האם, אם אסמלץ מוח במחשב ואעביר לו את השדר של "אדום", למחשב תהיה תחושה של אדום?
ג. שים לב להבדל: אתה אמרת "אין זהות בין תיאור הפעילות המוחית באופן פיזיקלי לבין החוויה", ואילו עכשיו אתה אומר "יש זהות בין הפעילות המוחית ובין החוויה". חוץ מזה שהראשון מנוסח בשלילה והשני בחיוב, מה ההבדל בין שני המשפטים? על ההבדל הזה אני מדבר בהודעות האחרונות, וייתכן שפספסת את זה ולכן אני נשמע מבלבל.
ציפור קטנה לחשה לי - חלק א 308884
מעניין, אם ניקח את זה צעד אחד קדימה, האם נראה לך שאפשר לסמלץ במדויק את גדי אלכסנדרוביץ'? אנחנו כבר יודעים שאפשר "להשתיל" זכרונות בדויים. האם אפשר לסמלץ אדם מסוים אחד, לדעתך?
ציפור קטנה לחשה לי - חלק א 308887
נראה לי שזו הנחת יסוד בדיון שהדבר אפשרי - מודולו הקוואליה. כלומר, אפשר ליצור סימולציה (אני מניח שכוונתך במחשב, כי לא חוכמה ליצור עותק גנטי, ייתכן שאנחנו מעתיקים גם את הדברים הלא פיזיקליים בצורה לא מודעת) האם הוא "ירגיש" שהוא קיים? שאלה טובה, זו בדיוק השאלה האם קוואליה קיימת גם בסימולטורים.

כמובן שאז מגיעה שאלת מיליון הדולר: נניח שאני רוצה חיי נצח ומסמלץ את עצמי במחשב. מה בעצם עשיתי? אם נצא מתוך נקודת הנחה שאני זהיר ואני לא הורג את עצמי תוך כדי יצירת הסימולטור, אחרי שגמרתי את יצירתו יש לי את עצמי בתוך המחשב, אבל אני גם נמצא בחוץ, בגוף שלי. לכן בבירור אנחנו לא אותו גדי. נו, ועכשיו נשאל, מה אם הייתי הורג את עצמי תוך כדי התהליך? אז הייתי *אני* עובר לתוך המחשב, או שהייתי מת?
ציפור קטנה לחשה לי - חלק א 308898
א. אני חשבתי שדעתך היא שאפשר לסמלץ קוואליה.
ב. לא ברור לי מה פתאום הסימולציה הזאת אמורה הרוג אותך או לפגוע בך בכלל. יותר מזה, מהרעיונות שהעלה כאן אלון, הבנתי שמדובר על מחשב ביולוגי. ואם כך, מדוע שהוא לא יהיה בדיוק אותו גדי? הוא בגוף שלו ואתה בשלך, אבל הגוף זהה וגם הנשמה.
ציפור קטנה לחשה לי - חלק א 308909
ב. היא לא אמורה להרוג אותי. רק הצבעתי על הבעייתיות שבתכנונים (המד"ביים) של כל מני אנשים להעביר את עצמם למחשב כדי לזכות בחיי נצח.

אם מדברים על מחשב ביולוגי העסק נהיה הרבה יותר פשוט. הכי פשוט זה אם ניקח כל אטום שמרכיב אותו ונשכפל אותו כך שאנחנו שומרים על המבנה הפנימי של האטומים. נו, מה עכשיו? כולם יסכימו שאם יש לי קוואליה גם לשכפול יש, אבל זה פחות מעניין. גם מבחינת השאלה למה הוא זה לא אני יש תשובה פשוטה - המקום שאנחנו תופסים בחלל שונה. לכן גם אם שנינו נראים וחושבים אותו דבר, יש את גדי שעומד מימין וגדי שעומד משמאל, ומכיוון שניתן להבדיל ביניהם כך הם לא אותו הדבר בדיוק.
ציפור קטנה לחשה לי - חלק א 308919
טוב, נראה לי שאם הרעיון הוא לקחת ''כל אטום ולשכפל אותו וכיו''ב...'', אז זה לא בדיוק מחשב, וגם לא מאוד סביר לקרוא לזה מכונת טיורינג.
לעומת זאת, השאלה שלי היא לא כל כך אם תהיו ''אותו בן אדם'' כמו ''אם תהיה לכם אותה קוואליה'' (ובעצם, אם יש הבדל בין ההגדרות האלה).
ציפור קטנה לחשה לי - חלק א 308925
די בבירור *לא* תהיה לנו אותו קוואליה, כי העובדה שאנחנו לא נמצאים באותו מקום במרחב תגרום לכך שהאינטראקציה שלנו עם המרחב תהיה שונה, ולכן גם החוויות שלנו יהיו שונות.
ציפור קטנה לחשה לי - חלק א 308998
על אדם אני לא יודע, אבל על כבשים דווקא כן. קראו לה דולי.
ציפור קטנה לחשה לי - חלק א 309090
מה אתה יודע? שהיתה להן אותה קוואליה?
(אבל כמובן התכוונתי ל*לא שיבוט*).
ציפור קטנה לחשה לי - חלק א 309093
אני אפילו לא יודע אם היה להן אותו מס' אישי.
ציפור קטנה לחשה לי - חלק א 308889
טוב, נדמה לי שאני מבין אותך עכשיו.

הדיון אינו על השאלה אם הפעילות הפיזיקלית של המוח יכולה ליצור קוואליה. אני מניח שכן (יכול להיות גם שהפיזיקה היום לא מספיקה לכך, אבל המחקר ממשיך להתפתח ואולי נמציא מודלים אחרים. לא עקרוני). הדיון הוא על השאלה אם אפשר לסמלץ את כל הפעילות המוחית באמצעות מ''ט או האם קוואליה נוצרת מהעוצמה החישובית של המוח, או אחד הניסוחים האחרים שהוצעו כאן.
ציפור קטנה לחשה לי - חלק א 308894
על זה אני מדבר בתגובה 308873. אם אנחנו יודעים שתופעה פיזיקלית מסויימת גורמת להופעת קוואליה, ואם אנחנו יודעים לסמלץ את אותה תופעה באופן מדוייק במחשב, הרי שלטעון שהסמלוץ של התופעה במחשב לא יוצר קוואליה מניח שקיים משהו במוח שאין במחשב אבל לא מסביר מהו. זה הקריטריון החסר שעליו אני מדבר שם.
ציפור קטנה לחשה לי - חלק א 308901
אבל אנחנו לא יודעים שתופעה פיזיקלית מסויימת גורמת להופעת הקוואליה. אנחנו יודעים שהמכלול יוצר אותה (כנראה). נגיד את זה כך: אני נוטה להאמין (בלי שום ביסוס מלבד הנחות היסוד שלנו) שאם תעתיק את המוח - אטום לאטום - תקבל יצור שחש קוואליה. אבל זה לא אומר שאם תסמלץ את תופעות שיכולות להיות מסומלצות במחשב תקבל קוואליה. מחשב יכול לסמלץ אולי עוצמה חישובית, אבל הוא לא יכול לסמלץ אינטראקציה כימית, חלל וכדומה. אם אתה מניח שכל העניין הוא עוצמה חישובית אז בסדר. אבל על זה הדיון.
ציפור קטנה לחשה לי - חלק א 308911
אנחנו חוזרים על עצמנו, אז אסיים כאן. רק שים לב: אני מודע לזה שאתה אומר שאנחנו לא יודעים שזו תופעה פיזיקלית שגורמת להופעת הקוואליה, אבל אני אומר "תן קריטריון". כלומר, תן את הגורם שכן גורם להופעת הקוואליה. כל עוד לא הבאת כזה, אני לא רואה שום סיבה לא לחשוב שהתופעה הפיזיקלית גורמת להופעת הקוואליה.
ציפור קטנה לחשה לי - חלק א 308913
לא. תופעה פיזיקלית כן גורמת כנראה להופעת הקוואליה. בוא נבדיל בין ''תופעה פיזיקלית'' לבין ''סימלוץ''. יכול להיות שאפשר לתאר תופעות באמצעות סימלוץ, למשל במ''ט, אבל הסימלוץ לא מהווה את התופעות ובמילא לא יגרום לתוצאותיהן. אנחנו יכולים עקרונית לסמלץ במ''ט התפרצות הר-געש, ועם זאת המ''ט תשאר שלמה ולא תותך.
בתכלס 308921
א- תצטרך כנראה להעתיק יותר מהמוח (איפה הוא נגמר?)
ב- קודם תצטרך להקפיא את הגוף
ג- אם העתקת את הגוף 1:1, מה הראת? ("לניסויי המחשבה האלה ערך בעיניי" תגובה 308619).
בתכלס 308926
לא יודע מה הראתי. כתבתי כבר שאין לי שום ביסוס מלבד הנחות-היסוד שלי. זאת הייתה רק הדגמה לכוונתי שאני לא מניח משהו ''חוץ-מדעי'' ועדיין אני לא צריך לקבל את המודלים המוצעים.
בתכלס 308936
אז אפשר להעתיק או לא? :)
ציפור קטנה לחשה לי - חלק א 308997
אתה מכיר עוד תופעות בעולם ש"לא ניתנ[ו]ת לרדוקציה לפיזיקה", או שהמוח האנושי הוא היוצא מן הכלל היחידי בכל הקוסמוס?
ציפור קטנה לחשה לי - חלק א 309031
המוח האנושי כנראה כן ניתן לרדוקציה לפיזיקה. התוצרים של הפעילות שלו לא.
ציפור קטנה לחשה לי - חלק א 309037
בעיני זאת סתירה.
ציפור קטנה לחשה לי - חלק א 309044
למה?

ומה אתה אומר על מרי, הפיזיקאית המבריקה (אין לי חשק לחפש את התגובה)?
ציפור קטנה לחשה לי - חלק א 309055
כי אם המוח ניתן לרדוקציה פיזיקלית כל התוצרים שלו נובעים מאותם רכיבים פיזיקליים, ניתנים לשחזור ע''י הרכיבים הפיזיקליים, הם תוצאה הכרחית של הפיזיקה המוחית, הם ניתנים לניבוי (תיאורטית) ע''י ניתוח המצב הפיזיקלי, ולכן הם שייכים לתחום הפיזיקה.
ציפור קטנה לחשה לי - חלק א 309108
מאחר שלא כל הפיזיקה עובדת כמו השרשרת שתיארת כאן (קוואנטים וכאלה), האם אני יכול להבין שלדעתך הפיזיקה סותרת את עצמה?

חוץ מזה, איך אפשר לתאר תופעה של חוויה באמצעות "השפה" של הפיזיקה? ואם אי אפשר, האם היא שייכת לתחום הפיזיקה?
ציפור קטנה לחשה לי - חלק א 309161
איזה חלק של הפיזיקה הקוואנטית לא מתאים למה שכתבתי? אתה בטח מתכוון ליכולת הניבוי, אבל תורת הקוואנטים נותנת ניבויים מאד מדוייקים (ניבוי של הסתברויות הוא עדיין ניבוי). תיאוריה פיזיקלית בלי יכולת ניבוי אינה תיאוריה פיזיקלית, כי בלי ניבוי אין יכולת הפרכה (נעזוב לרגע שאלות של עקביות).

ה"חוויה" עצמה לא ניתנת לביטוי במשוואות - אחרת כל הקוואליה לא היתה נכנסת לדיון שלנו - אבל אם היא נובעת אך ורק ממשתנים פיזיקליים וקשרים ביניהם, הרי שתאור המערכת כולל בתוכו גם תאור עקיף אך ממצה של הקוואליה.
ציפור קטנה לחשה לי - חלק א 309175
אבל זה בדיוק העניין. גם אם מרי תדע את התיאור הפיזיקלי המלא של הצבע אדום, היא לא תדע איך נראה הצבע הזה ולא תזהה אותו אם היא תראה אותו פתאום. אז כיצד אפשר להתייחס לתיאור הפיזיקלי כתיאור ממצה? הוא מקסימום תיאור של הגורמים לקוואליה ‏1.

1 וגם, השאלה "גורמים" באיזה מובן - שהיא גם שאלה חוץ-פיזיקלית.
ציפור קטנה לחשה לי - חלק א 309181
אני לא מבין למה אתה מתכוון כשאתה אומר "לא תזהה אותו". הבעיה היחידה שלה תהיה להחליט אם מה שהיא חווה כ"אדום" הוא מה שגם אני חווה. התשובה היא בהכרח "כן"‏1 אם הכל נעוץ בגורמים פיזיקליים. יתר על כן, אוכל לגרות את הנוירונים המתאימים שלה ולגרום לה לחוות אותה חוויה בדיוק בלי לערב שום אור בעניין.
______________
1- נא לא להעלות טיעונים על עיוורים מלידה שלא מסוגלים לראות גם אחרי שהפגם הפיזי תוקן, שכן אני כולל את כל השינויים הנדרשים במבנה המוח שלה לצורך הניסוי שלנו.
ציפור קטנה לחשה לי - חלק א 309266
לא. השאלה אם היא תדע לזהות את הצבע האדום מתוך התיאור הפיזיקלי שלו (תגובה 308850).
ציפור קטנה לחשה לי - חלק א 309284
זאת לא שאלה מעניינת בעיני, שכן היא רק חוזרת על הבעיה המקורית בניסוח אחר, ואגב כך מכניסה לדיון בעיות צדדיות כמו היכולת של המוח להפוך תאור פיזיקלי פורמלי (כלומר, משוואות) למשהו נחווה. התשובה הטריויאלית היא: כמובן שהיא תדע לזהות את הצבע האדום עפ"י התאור הפיזיקלי שלו, כאשר התאור הפיזיקלי נעשה בעזרת פוטונים באורך הגל המתאים. האם משוואות מקסוול יספיקו למרי שלנו כדי לחוות "אדום" בלי שום תיווך? אני מניח שלא, אבל מה בכך? אף אחד לא מכחיש שיש למוח מגבלות מסויימות.

(כבר סיפרתי פעם על מישהו שטען שהוא מסוגל "לראות" בעיני רוחו קוביה ארבע ממדית ולספור את האלכסונים שלה. אולי מישהו יכול היה גם לחוות "אדום" באותו אופן. אין לי מושג)
ציפור קטנה לחשה לי - חלק א 309308
מה זאת אומרת "מגבלות מסוימות של המוח"? שאלת הרדוקציה היא שאלה שנגזרת מהצורה שאנחנו תופסים את העולם בגלל "מגבלות מסוימות של המוח". בטבע עצמו אין "פיזיקה", "ביולוגיה", "פסיכולוגיה", "ספרות". יש (אולי) רק תופעות. השאלה היא *רק* שאלה של הניסוח שלנו כפי שהוא נגזר מהתפיסה שלנו את העולם.

השאלה אם הצבע האדום ניתן לחוויה ע"י התיאור הפיזיקלי שלו פירושה האם אפשר להביע באמצעות המשוואות את החוויה עצמה (ולא את השינויים הפיזיקליים שגורמים לה). אני לא מצליח לדמיין כזה דבר. אולי זאת בעיה פרטית שלי, אבל אם כך אני מצפה שמישהו יראה לי חוויה שמובעת במשוואות. אני בטוח לא אבין, אבל אני מתחייב לקבל את המילה שלכם שזה אכן כך.
ציפור קטנה לחשה לי - חלק א 309352
X^2 + Y^2 + Z^2 = R^2

עכשיו, זרוק אותו בבקשה אלי. תודה.
_____________
האם המשוואה הזאת היתה אומרת לי משהו אם לא הייתי חווה לפני כן כדור? לא, *לי* היא לא היתה אומרת כלום. אני בכלל לא בטוח לגבי מרי, שטוענת שהיא מסוגלת לחוות בקבוק קליין עפ"י המשוואה שלו, למרות ש(תאמין לי) היא לא ראתה אף פעם בקבוק כזה בחדרה האפלולי.
אולי זאת לא דוגמא טובה 309418
הבוקר, בעודי סועד פת של שחרית עלתה במוחי דוגמא אחרת. מה דעתך על קונדיטור שמביט על מרשם, אותו לא ניסה מימיו, ופוסק: "טעים מאד, אבל הייתי מפחית טיפה סוכר ומוסיף קמצוץ זנגוויל". אפילו מיצי הקיבה שלו מתעוררים לתחיה תוך שהוא מעמיק להגות במרשם ומתלבט אם חצי מקל וניל לא יעמעם במקצת את תחושת הקטיפתיות הנימוחה של הבלילה המדומיינת. יאמי.

אח"כ חשבתי שוב שהחשיבות של כל זה נעלמת ממני. גם הזכרון הוא חלק מהפונקציונליות של המוח, ובעזרתו בטוח שאפשר לחוות קוואליה ע"י התבוננות במשוואות. E=MC^2, למשל, מעלה אצלי כל פעם מחדש את הרגשות הסקסיסטיים שלי.
אולי זאת לא דוגמא טובה 309420
אתה לא תגיד לי שאתה נדרש למשוואות חזקות כךל כך מבית מדרשו של איינשטיין לצורך רגשותיך הסקסיסטיים, נכון?
וממה הייתה מורכבת היום פת השחרית שלך, שעוררה בך הרהורים פיוטיים כה?
אולי זאת לא דוגמא טובה 309446
אני מסרב להיגרר למחוזות בהם טל מזעיף את גבותיו.
____________
כן. זה תאור מדוייק של מה שהוא עושה, ונא לא להתווכח איתי.
אולי זאת לא דוגמא טובה 309466
חלילה לי מלהיתווכח איתך, אבל הייתי שמחה לראות את גבותיו הזעופות של הנ''ל.
אולי זאת לא דוגמא טובה 309433
השאלה היא אם קונדיטור שכל חייו אפה ואכל עוגות גבינה, ומעולם לא ראה וטעם שוקולד, יוכל לדעת את טעמו של השוקולד לפי הנוסחא הפיזיקלית שלו (בוא נניח שהוא גם קונדיטור וגם פיזיקאי).

אם אתה חושב שכן, אין לי הרבה מה לומר. אני לא מסכים. אני גם לא מסכים שסימלוץ במ"ט של התפרצות לבה מהר געש תתיך את המעבדה על כל הנמצאים בה. אבל מה אני יודע? אולי אני טועה. אולי זה כבר קרה ופשוט לא נשאר אף אחד שיספר לנו על זה.
אולי זאת לא דוגמא טובה 309445
"השאלה היא..." - בסדר, זאת השאלה שאתה שואל. אני לא יודע למה דווקא זאת השאלה שמעניינת אותך, למה לא מספיק לך שמי שכן טעם שוקולוד יוכל ל"חוש" שינוי בטעמו כתוצאה משינוי בנוסחה, אבל אני לא יכול לקבוע עבורך מה לשאול. התשובה שלי, אם אני מוכרח לתת אחת, היא "אולי".

על השאלה שניה הרבה יותר קל לענות, כמובן. הסימוטלציה לא תתיך את המעבדה באופן ישיר, אבל בהחלט עלולה לגרום להרגשה של חיל ובהלה בקרב הנוכחים, וזה מה שמעניין אותנו כרגע אם אני זוכר נכון. בזה אני בטוח לגמרי, מאחר וראיתי את הסרט "וולקנו". למה אתה מכניס את זה לדיון? אנחנו עוסקים בשאלה אם אנחנו חיים ב"מטריקס"?

ואם כבר להיות נודניק, הסימולציה ההיא באמת יכולה להתיך את מה שיש במעבדה באמצעות מתווך: פירומן שצופה בה עלול להיתקף אמוק ולהבעיר שריפה גדולה. רובוט שתוכנת להשמיט מידו את בקבוק המולוטוב כשהוא מזהה תבנית של אש על המרקע יעשה אותו דבר אפילו אם הוא מהסוג הנחות נטול הקוואליה (יש עוד כאלה בשימוש?). אני מקווה שאין לך התנגדות עקרונית לשימוש שלי במתווכים.
אולי זאת לא דוגמא טובה 309449
השאלה הזאת (של השוקולד) מעניינת אותי כי היא מדגימה את הפער בין החוויה לבין תיאור התהליכים הפיזיקליים. לא מספיק לי שמי שכן טעם שוקולד יוכל לחוש את טעמו כי הוא משתמש בזיכרון, דבר שאין מחלוקת שקיים. אבל אם התשובה שלך היא ''אולי'' אני לא יודע איך להמשיך מכאן. אם הנישואים שלך ושל אלון יביאו במז''ט לתינוק משותף, אני מציע לשקול לערוך עליו את הניסוי.

הקטע עם הסימולציה קשור לשאלה האם המוח הוא מ''ט. נעזוב את זה עכשיו.
אולי זאת לא דוגמא טובה 309453
אתה לא מבין מה ההבדל בין סימולציה לבין אמולציה.
כשאמרתי שהמוח שקול למכונת טיורינג, כתבתי שאפשר לעשות אמולציה שלו על מחשב. סימולציה היא שיחזור המודל הפיזי. אמולציה היא שיחזור של ההתנהגות בלבד - קלט\פלט.

כאשר עושים אמולציה של PC על מכונת טיורינג, אף אחד לא מצפה שנשחזר את המתחים החשמליים שיש ב CPU, או את הסיבוב של להבי המאוורר, או את אורך הגל של הלייזר ב dvd . כל מה שאנחנו אמורים לשחזר זה את המיפוי בין הקלט לפלט. כאשר עושים אמולציה של הר געש, לא משחזרים את הטמפרטורות. כל מה שרוצים לשחזר זה את ההתנהגות של הר הגעש. ובשביל זה, צריך רק להגדיר את באופן פורמלי את המצב של הר הגעש וסביבתו.

תחשוב על הר געש מתפרץ במשחק מחשב עם גרפיקה מפורטת להדהים. אתה תראה בדיוק את כל הסביבה שלו ניתכת. עם זאת, למתכנת אין מושג בפיזיקה, אין לו מושג מה קורה בתוך הר הגעש, ואין לו בקוד אפילו משוואה אחת בתרמודינימיקה. והנה, הוא שיחזר את ההתנהגות של הר הגעש, והמשתתפים בתערוכת המשחקים יגידו: "מדהים! זה כמו במציאות! יותר יפה מהמציאות! ממש מאטריקס!".

כאשר אנחנו עושים אמולציה של המוח על מחשב, אף אחד לא טוען שבמוח הזה יש נירוניים פיזיים, ושהמחשב עצמו פתאום יהיה רעב וידחוף המבורגר לכונן הדיסקטים שלו. אבל התוכנה תתנהג כמו בנאדם. אם המחשב יושתל במקום מוח של בנאדם ותחבר את ה"פקדים" שלו לגוף אנושי, אז אותו אדם יתנהג בדיוק כמו אדם עם מוח אמיתי.
אולי זאת לא דוגמא טובה 309456
לא הכרתי את המושג, למרות שהבנתי את ההבדל בין ''שקול ל'' ל''פועל כ''.

האמולציה לא מעניינת אותי. אנחנו עוסקים בקוואליה.
אולי זאת לא דוגמא טובה 309460
אני מבין, אבל היא צריכה לעניין אותך. אתה פסלת את האפשרות שמוח שקול למכונת טיורינג, על סמך זה שאי אפשר ''לסמלץ'' תחושות על סמך ידע מוקדם. אבל אף אחד לא מנסה לסמלץ תחושות. רק ''לאמלץ'' תחושות.

לדוגמא, לענינה של הפיזיקאית מרי. אף אחד לא אומר שהידע הפיזיקלי על תכונות האדום שקולות לתחושה של אדום. כל מה שאומרים זה שאפשר לעשות אמולוציה, לכתוב תוכנה שהקלט שלה הוא עיניים והפלט שלה הוא הגוף של מרי. והתוכנה הזו תתנהג בדיוק כמו שמרי תתנהג.

מי שכתב את התוכנה, מסוגל לעשות את זה גם אם הוא אף פעם לא ראה אדום בעצמו. הוא מסוגל לעשות את זה למרות שאין לא מושג איזה חלק של המוח מטפל בצבעים ואיזה בתחושות (שים לב שגם מתכנת שכותב הר געש היום, באמת לא מבין איך הר געש פועל). כל מה שהוא צריך לדעת זה איך לתרגם ניורון וסינפסה לקוד.
ציפור קטנה לחשה לי - חלק א 309122
אני לא בטוחה שהמח ניתן לרדוקצייה פיסיקלית. אבל גם אם כן, אני לא יכולה לדמיין איך ניתוח המצב הפיסיקלי - תיאורטית או לא - יכול לנבא שפה טבעית. תחת איזו חלוקה הוא ינבא אותה? שפה של מחשבה, שפה בדיבור, שפה כתובה על דף, מופיעה על צג... הרבה מאוד אפשרויות. באיזה מובן היא ניתנת לניתוח פיסיקלי?
ציפור קטנה לחשה לי - חלק א 309162
נחזור רגע למה שאלון שאל: האם את מאמינה שתא אחד ניתן לרדוקציה פיזיקלית?
ציפור קטנה לחשה לי - חלק א 309182
אין לי שמץ של מושג אם להאמין בזה או לא. אבל אני לא רואה את הקשר. נניח שאפשר. נניח שאפשר גם לעשות רדוקציה פיזיקלית למוח ולגוף ובכלל. אני שואלת איזה מובן פיזיקלי יכול להיות למה שאנחנו קוראים שפה, שישאיר אותה עדייןם בגדר שפה - בשעה שהיא ניתנת להבעה באמצעים פיזיקליים שונים מאוד זה מזה.
ציפור קטנה לחשה לי - חלק א 309185
''שפה'' היא מושג שהקשר שלו לפיזיקה שמתחתיו הוא עקיף מאד, אבל אין לו שייכות לשאלת המדיום בו השפה הזאת מבוטאת.
ציפור קטנה לחשה לי - חלק א 309194
תגובה 309055
ציפור קטנה לחשה לי - חלק א 309198
כן, ו...?
ציפור קטנה לחשה לי - חלק א 309203
לפי מקור זה, אם אינני טועה (כלומר, אם אתה מסכים שהשפה היא תוצר של המוח האנושי), השפה שייכת לתחום הפיסיקה. מאידך גיסא, מבחינה פיסיקלית, לצורות מבע שונות של השפה יש מצעים פיסיקליים שונים ביותר. לא ברור לי איך זה מסתדר.
ציפור קטנה לחשה לי - חלק א 309206
אני מצטער, אני לא רואה את הבעיה. מצב א' של המוח יגרום לך להגיד ''איזה עולם נפלא'', מצב ב' יגרום לך לכתוב את זה על הקרח, ומצב ג' יגרום לך לזמזם את השיר של לואי ארמסטרונג. לכל המצבים יש מאפיינים משותפים (ההרגשה ששתית יותר מדי) ויש מאפיינים שונים שגורמים לצורות הביטוי השונות.
ציפור קטנה לחשה לי - חלק א 309226
כנראה לא שתיתי מספיק אף פעם. אני לא זוכרת את מוחי הדל במצב שבו אני אומרת "איזה עולם נפלא". ודאי לא מזמזמת את השיר, מחשש שאפילו הקירות בחדר הריק יברחו בזעזוע.
ואם אתה לא רואה את הבעיה, אין צורך להצטער: אני לא רואה את אפילו את פתרונה. (במלים אחרות, אני מברברת סתם. פשוט לא הבנתי).
ציפור קטנה לחשה לי - חלק א 309249
אני לא רואה איך אתה לא רואה. ניתן לעשות רדוקציה לפיזיקה של "הכל" (כך אני מאמין) במובן שאפשר להראות איך תהליכים פיזיקליים יוצרים את הכל. אבל במובן הסביר יותר של המילה "רדוקציה", היא לא אפשרית לגבי רוב הדברים. ב-"המובן הסביר יותר" אני מתכוון לכך ש-*לא ניתן* לבטא בשפה של הפיזיקה את מרבית התופעות.

למשל, התבונן בתמונה הדיגיטלית:
אפשר לבצע רדוקציה שלה, "במובן הראשון", לרצף של ספרות בינאריות המתארות את הצבע של כל פיקסל - ובקלות. אבל לא ניתן לבצע רדוקציה לשפה הזו למונחים של צורות גאומטרית. אין דרך לומר בשפה הזו "התמונה מציגה שש קוביות".

(תזכורת לעצמי: הודעה זו נכתבה תחת השפעת חוסר-שינה ממושכת, ולכן סביר למדי שהיא תביך אותי מחר)
ציפור קטנה לחשה לי - חלק א 309258
בטוח שהיא תביך אותך: אני מסכים לכל מילה.
ציפור קטנה לחשה לי - חלק א 309277
גם לסידור בינארי של חמש הספרות 10100 יכולים להיות "מצעים פיסיקליים שונים ביותר", מה לא ברור בכך?
ציפור קטנה לחשה לי - חלק א 309316
בדיוק מה שלא ברור לי לגבי השפה, כמובן.
ציפור קטנה לחשה לי - חלק א 309376
לא ברור לי מה לא ברור.
ציפור קטנה לחשה לי - חלק א 309381
אני נוטה לחשוב שכאשר מושג a שייך לתחום A, יש לו הגדרה ברורה וחד משמעית באותו תחום. אם השפה שייכת לתחום הפיסיקה, הייתי מצפה שתהיה לה הגדרה כזאת במונחים פיסיקליים.
כמה שוקל נוירון? 308718
10 בחזקה 15? אני מניח שסתם זרקת מספר לצרכי אילוסטרציה, אבל א אני טועה אנא צרף לינק (מאה ג'יגה, שהם 10 בחזקה 11, הוא המספר שאני מכיר).
כמה שוקל נוירון? 308772
טעות שלי.

ציפור קטנה לחשה לי - חלק ב 308659
לגבי התגובה שלך לסעיף 2, נודף ממנה איזשהו ניחוח תיאולוגי, שאני מתקשה לקשר אותו למדע ‏1. אם אתה לא יודע להבדיל בין אובייקטים, איך אתה יכול להגיד שיש הבדל בינהם? על סמך מה אתה אומר "ידוע שיש הבדל בינהם"? אני באמת לא מבין איך אפשר לנפנף את הניסוי המחשבתי - ועוד בטענה שאתה שואף לדעת את האמת על העולם. להבנתי, האמת על העולם היא אחת מהשתיים:
1. ל"רובוט הרגיש", ולבנאדם שהוא מחקה יש קוואדליה.
2. לשניהם אין.
הנה לך. בעזרת ניסוי מחשבתי הצלחתי לפסול את האפשרות שלאחד מהם יש קוואדליה ולשני אין, ובכך התקרבתי לאמת על העולם.

אתה דיברת בתגובה 308492 על מד-קוואליה. יכולות להיות 2 אפשרויות: או שאפשר לבנות כזה, או שאי אפשר. אם אפשר, הרי שבקלות אפשר להתאים את הרובוט הרגיש כך שיענה בהצלחה על מד-קוואליה. ואז הניסוי המחשבתי בעינו עומד. אם אי אפשר לבנות מד-קוואליה אז לקוואליה אין השפעה על היקום שלנו, ולפי עקרון התער של אוקאם אפשר להתעלם ממנו. במקרה העצוב הזה, אני אוכל לטעון שרק לתרנגול הודו יש קוואליה. למרבה הצער, אני אהיה צודק באותה מידה שאתה צודק.

אז הכל תלוי באיך אתה מגדיר קוואליה. אם זו תכונה פסיכולוגית שיש לה השפעה על ההתנהגות שלנו, אז אפשר לבנות לה מבחן פסיכולוגי. ואפשר גם לבנות (בקלות) רובוט רגיש שעובר את המבחן, ולכן אין פה שום דבר מסתורי‏2. אם אתה אומר שמדובר בתכונה, שאין שום דרך לדעת "באמת" אם למישהו יש אותה, אז לצערי המצב הוא שרק לתרנגול הודו יש קוואליה.
-----

1 האם ייתכן שאתה מניח מראש את האמת על העולם ועכשיו אתה יוצא לפסול ניסוי שמראה אחרת? אם כן, חבל על המאמץ שלי. אחרת, אני אשמח אם תשקול מחדש, ותנסה להתייחס לניסוי המחשבתי.
2 לצורך העניין, אין הבדל בין קוואליה ליכולת לשחק שח. פעם מחשבים עשו את זה רע, ומתישהו הם ינצחו את אלוף העולם בקוואליה.
ציפור קטנה לחשה לי - חלק ב 308663
לגבי הניסוי המחשבתי: בוודאי שאני יודע שיש הבדל בין האובייקטים. הראשון הוא אדם שאני משוכנע שיש לו קוואליה. השני הוא רובוט שהכניסו לו לוג של השיחה. אתה מציע לי ניסוי שבו הידע שלי יהיה מוגבל, ולכן אני לא אוכל להבדיל ביניהם. אז מה הטענה שלך כאן? לדעתי, יש לך שתי טענות אפשריות: (א) אם הצליחו לעבוד עליך סימן שלרובוט יש קוואליה. אני מתאר לעצמי שזה לא מה שרצית לטעון. (ב) המשמעות של קוואליה מתמצה ביכולת שלך לאמת את קיומה באמצעות השיחה.
אבל זאת טענה שאני לא מקבל. אם קוואליה קיימת באמת בעולם, היא לא מתמצה רק במבחן שבניתי לה ברגע זה. היא באמת קיימת. אם הייתי יודע שאני מדבר עם רובוט שרק הכניסו לו לוג של השיחה, לא הייתי חושב שיש לו קוואליה. אתה "אוסר" עלי להשתמש בידע שלי על העולם, ומעדיף את הפורמליזם של האימות על פני חיפוש האמת על העולם באמצעות כל הידע שאני יכול לאסוף.
המדע לא עובד ככה. אנחנו מנסים להגיע לאמת על העולם ולא רק לפרמל מושגים.

אם נוכל לבנות מד-קוואליה אז אין בעיה. גם לא נצטרך את הניסוי שהצעת. פשוט נמדוד. אם לא נוכל, זאת תהיה בעיה. קוואליה זה דבר שקיים. היא חלק ממה שאנחנו מרגישים ולא נראה לי שאפשר להטיל ספק בקיומה (אלא אם כן תרצה להטיל ספק בכל הדברים שאנחנו מרגישים, ואז בכלל תגיע לספקנות). איך אפשר להתעלם ממנה לפי תער אוקהם? היא שם. יכול להיות שהמדע לא יוכל לעולם לספק תשובה האם ליצור מלאכותי יש קוואליה או אין לו (מקסימום נוכל לדבר על סבירות גבוהה או נמוכה יותר). אז מה? המדע לא יכול להכיל הרבה מושגים.
ציפור קטנה לחשה לי - חלק ב 308702
אם תרשה לי לסכם את מה שאתה אומר: ידוע שלאדם יש קוואליה, ולרובוט הרגיש אין קוואליה. לפי מה אתה קובע את זה? כי זו האמת. זה מה שאתה יודע על העולם. לא משנה אם אפשר לבדוק את זה או שיש ניסוי שמראה משהו אחר. אתה מזכיר לי את הנזירה ב sunday school שניסתה להסביר לבארט סימפסון מי הולך לגן עדן ומי לא. ברור שבני אדם הולכים לגן עדן ורובוטים לא. אם יש כלב מדבר שהוא ממש ממש חכם, אז הוא יגיע לגן עדן, אבל אנדרואיד קיברנטי דוגמת רובוקופ לא. טוב, הכלב של בארט גם יגיע לגן עדן, אבל גן עדן לכלבים.

אם לא קיים ניסוי שמדגים את קיומה של הקוואליה, אז הקוואליה קיימת בדיוק באותה מידה שגן עדן קיים. זה הופך את הדיון בשאלה "האם למחשבים יש קוואליה" לשקולה לשאלה "האם יש גן עדן לרובוטים". בקיצור לא שאלה ששווה להתעכב עליה. בודאי שאפשר להטיל ספק בקוואליה ‏1, אם אין שום עדות חיצונית לקיומה. זה בדיוק התער של אוקהם.
חזרה לעניין הניסוי. מבחן "הרובוט הרגיש" הוא וריאציה על מבחן טיורינג. מבחן טיורינג מדגיש בדיוק את הנקודה של הפרדה בין המאפיינים הפיזקלים למאפיינים האינטלקטואלים של האדם. בדיוק בגלל זה אסור לך לדעת האם זה באמת אדם או רובוט. טיורינג עצמו התייחס לכל מיני התנגדויות תאולוגיות ואחרות - אני ממליץ לך בחום לקרוא: http://en.wikipedia.org/wiki/Turing_test

לסיכום
א. אם קוואליה קיימת במובן שראוי לדיון, אז קיים ניסוי שבודק האם לאובייקט יש קוואליה.
ב. אם קיים ניסוי כזה, אז הוא בהכרח יבדוק רק את היכולות האינטלקטואליות ‏2
ג. את הניסוי ההיפותטי יכול לעבור רובוט עם רשימה פשוטה של תשובה-לכל-שאלה.

מסקנה: אין שום מניעה שלידידנו המחשבים יהיה קוואליה. באמת אין ממה לפחד. וזוהי התשובה שלי לסוגיה המקורית שלך מתגובה 308492.

1 לא לבלבל אם באקלווה, קינוח מזרחי מתוק ודביק.
2 לכלבים יש קוואליה, אבל לבנאדם בתרדמת אין. אין משמעות לתכונות הפיזיות.
ציפור קטנה לחשה לי - חלק ב 308703
מישהו ראה פעם אנטי חומר? אנטי גלקסייה? על-מיתרים? מה העדיפות הנצפית שלהם על פני הקוואליה?
ציפור קטנה לחשה לי - חלק ב 308780
לא נראה לי שהבנת אותי. לדעתי יש דבר כזה שנקרא קוואליה או רגשות. הוא בהחלט משפיע על תופעות שאפשר למדוד, למשל התנהגות של בני אדם. והדבר הזה קיים גם אצל בני אדם, ואין בעיה שהוא יתקיים גם אצל מחשבים.

* לגבי אנטי חומר, אף אחד לא ראה אנטי חומר, וגם אף אחד לא ראה אלקטרון. אבל יש ניסויים שמעידים גם על זה וגם על זה.
* אנטי-גלקסיה - פעם ראשונה שאני שומע את המושג הזה. מעניין מאד. :)
* על-מיתרים - התאוריה נועדה להסביר תופעות נצפות - למשל התכונות של חלקיקי יסוד ושל ארבע הכוחות בטבע.

בקיצור, לאף אחד מהמושגים שציינת באמת אין איזשהי עדיפות על קוואליה. משום מה, יהונתן חושב שלקוואליה יש איזשהי עדיפות על כל תופעה אחרת.
ציפור קטנה לחשה לי - חלק ב 308783
אם אתה אומר ש"יש דבר כזה שנקרא קוואליה או רגשות.", וגם "אז הקוואליה קיימת בדיוק באותה מידה שגן עדן קיים." - אז אתה מאמין גם בגן עדן?
ציפור קטנה לחשה לי - חלק ב 308790
אל תוציא את דברי מהקשרם. אמרתי:
"אם לא קיים ניסוי שמדגים את קיומה של הקוואליה, אז הקוואליה קיימת בדיוק באותה מידה שגן עדן קיים". משום מה, בחרת למחוק את הפסוקית הראשונה של המשפט, ולהשאיר רק את השניה. האם אתה עיתונאי ‏1?

1. מישהו סיפר לי שבאחד מהגליונות של Nature הופיעה כותרת ענק על העטיפה: "האם דארווין טעה?". בתוך הגליון הופיעה התשובה: "לא."
ציפור קטנה לחשה לי - חלק ב 308802
זה לא העיתונאי, זה העורך.
אני מבינה שמה שאינו מופיע בניסויים לא משכנע אותך, מה?
ציפור קטנה לחשה לי - חלק ב 308808
בד''כ לא.
אבל אני חושב שאני בן-אדם דיי פתוח. אם תתני לי דוגמא כזו (של משהו שאין שום עדות ניסויית לקיומו) ויהיה לך טיעונים משכנעים, אז יש מצב. קדימה.
ציפור קטנה לחשה לי - חלק ב 308816
אגב, מישהו ראה פעם אלקטרונים או אטומים? (שאלת תם, אני באמת לא יודע). או פשוט הסיקו על קיומם מתוך תאוריה?
ציפור קטנה לחשה לי - חלק ב 308824
אטומים ועל אחת כמה וכמה אלקטרונים הם קטנים מכדי לראות. היקפו של אטום הוא פחות מננומטר ואורך גל האור הנראה הוא יותר מ300 ננומטר.
ציפור קטנה לחשה לי - חלק ב 309000
ציפור קטנה לחשה לי - חלק ב 308999
אנטי חומר ''נראה'' הרבה פעמים במעבדה.
ציפור קטנה לחשה לי - חלק ב 309092
אבל לאנטי-פתים בלבד.
ציפור קטנה לחשה לי - חלק ב 309120
איך הוא *נראה*? באנטי-עיניים?
ציפור קטנה לחשה לי - חלק ב 309163
אני לא מבין מה החשיבות הגדולה שמייחסים למראה עיניים ישיר.
ציפור קטנה לחשה לי - חלק ב 309170
לא נעים להודות, אבל שאלתי זאת לא הייתה מתחכמת. רציתי רק לדעת איך ובאיזה מובן הוא נראה?
ציפור קטנה לחשה לי - חלק ב 309176
ע''י ההשפעה שלו על מכשירי מדידה (תא בועות, למשל). בכלל, לאנטי-חומר יש אינטרקציה מאד חזקה עם חומר ותוצריה (שני פוטונים) ניתנים לגילוי בקלות.
ציפור קטנה לחשה לי - חלק ב 308734
א. אם אתה לא יכול להוכיח באמצעות ניסוי את קיומו של דבר, אז הוא לא קיים, גם אם אתה מרגיש אותו? איך אתה יודע שהשולחן שלך קיים (אתה חש אותו, יש לך חוויה של השולחן), ובמה זה שונה מהידיעה שלך של הקוואליה (אתה חש אותה, יש לך חוויה של קוואליה)?

ב. זאת הנחת המבוקש. אין לנו מושג אם קוואליה לא קשורה ליכולות פיזיות.

ג. ובגלל זה הניסוי לא רלוונטי.
ציפור קטנה לחשה לי - חלק ב 308787
א. כמו שאמרתי, משהו שלא ניתן להוכחה, אבל אתה מרגיש אותו קיים באותה מידה שגן עדן קיים. הרבה מאד אנשים מרגישים שגן עדן קיים.
אבל זה לא רלוונטי לדיון. אני כן מאמין שיש דבר כזה קוואליה, והוא בהחלט ניתן לצפיה ומדידה. למעשה, חוקרי המוח כבר עושים את זה. ראה למשל לינקים בתגובה 308778. אני פשוט לא מאמין שזוהי תופעה מסתורית כ"כ כמו שתארת.

ב. לבנות רובוט שמחקה את היכולות הפיזיות של הבנאדם זה אפילו יותר קל מלבנות רובוט שמחקה את היכולות המנטליות. אבל שוב, אתה מאשים אותי בהנחת המבוקש, ומצד שני אתה קובע שלאנשים יש קוואליה ולרובוט הרגיש בניסוי שלי אין. אם אתה בנאדם הגון, אתה תנסה להסביר למה אין לו קוואליה בלי להשתמש בנימוק המעגלי: "ידוע שאין קוואליה, הוא בסך הכל רובוט עם לוג".

ג. אתה שוב פוסל ניסוי בגלל שהתוצאות שלו לא מתאימות למה שאתה "יודע" על העולם ‏1. אם יש בעייה קונקרטית בתנאים של הניסוי‏2 אז תגיד. אבל אל תפסול על סמך התוצאות.. :)

1 הכנס התייחסות לדארווין כאן.
2 כאמור, אפשר בקלות להוסיף לניסוי יכולות פיזיות של בנאדם (או של כלב, אם רוצים חיים קלים), ומדידה שלהן.
מט ב 5 מסעים 308806
גילוי נאות: הכותב הוא שחקן שחמט גרוע, ובכלל יתכן שיש טעות בהיסק שלו.

א. לקוואליה יש השפעות מדידות ברורות (התנהגות, לחץ דם, הסמקה, הזעה וכו' וכו') ‏1.
ב. מכאן שאפשר לבנות ‏2 מבחן שבודק האם יש לך קוואליה בסבירות מסוימת. לדוגמא, אם אתה בוכה במהלך הקרנת הסרט טיטאניק, אז בסבירות של 66% יש לך קוואליה.
ג. המבחן בסעיף ב הוא מקרה פרטי. לכל הגדרה מענינת של קוואליה, אפשר לבנות אוסף של מבחנים כאלו ‏3. כמובן, צריך שהמבחנים יהיו עקביים - כלומר שהציון הממוצע של אדם יהיה גבוה משמעותית מהציון הממוצע של מהדק נייר.
ד. עבור כל-אוסף-שהוא של מבחנים, אפשר לבנות רובוט‏4 שעובר אותם בעזרת רשימה פשוטה של (אירוע, תגובה). הרובוט יוציא לפחות את אותו ציון שיוציא כל אדם אחר.
ה. מסקנה: לכל הגדרה שנבחר לקוואליה, אפשר לבנות רובוט פשוט שעונה להגדרה הזו.

----

1 כאמור, זוהי ההגדרה האינטואיטיבית לקוואליה. אם יש הגדרה שקוואליה הוא משהו שאין לו שום קשר לעולם החיצוני, זאת הגדרה מאד לא מענינת, ולא רלוונטית לדיון.
2 אם אי אפשר לבנות, זה בעצם סותר את סעיף א.
3 באמת אין שום מגבלה בבניית המבחנים. גם המבחן "האם יהונתן אורן מסוגל לעבר אותך" הוא מבחן לגיטימי.
4 לדעתי, רובוט שמסוגל גם לעשות סקס וגם להכנס להריון זה סטארטאפ מטורף!
מט ב 5 מסעים 308810
א. אני חולק עליך כאן. לקוואליה עצמה אין שום השפעות מדידות מאחר והיא לא ישות פיזיקלית אלא תוצר של תופעות פיזיקליות (מדידות בהגדרה). הבעיה עם כל הגישה שלך היא שאתה מנסה לא להבחין בין הקוואליה לבין מחולליה, וזאת בדיוק הנקודה של יונתן.
מט ב 5 מסעים 308837
אני דווקא בהחלט מבחין בין קוואליה לבין המחוללים שלה. לפי ההגדרה שראיתי בויקיפדיה, קוואליה היא התרחשות מנטלית לחלוטין, פרטית, שאינה ניתנת לתיאור מדוייק במילים. לדוגמא, התחושה של אדום, ולא הצבע הפיזי אדום. ההגדרה הזו לגיטימית בעיני ומקובלת עלי.

אבל אני טוען שבכל זאת לקוואליה, יש לה השפעה על ההתנהגות של האדם. אם אני חש רעב (אני מקווה שרעב זה קוואליה לגיטימית) יש לזה השפעה ישירה על ההתנהגות שלי, וזה לא רלוונטי אם זה רעב אמיתי או מדומה.

אתה טוען שאפשר בקלות להתבלבל בין קוואליה לבין המחוללים שלה? אדרבא ואדרבא. המבחן צריך להתגבר על הקושי הזה. דרך קלאסית לעשות את זה היא לגרום לתחושה של אדום מבלי שהמערכת הסנסורית קולטת צבע אדום. אני חושב שהתניה פשוטה סטייל פאבלוב תעשה את העסק. לתחושות יותר מורכבות כמו רעב, או עצב, אפילו את זה לא צריך.

אסיים במטאפורה. יש תופעה שנקראת דלקת גרון. מה זה בדיוק דלקת גרון?
1. אוסף כל הגופים הזרים שיושבים בגרון (שעשוי להיות קבוצה ריקה), בזמן שאתה משתעל.
2. כמו 1 אבל כולל הכדוריות הלבנות.
3. שם לגירוי שחשים בגרון.
4. ישות מספרי הרפואה.
5. להקת מטאל ישראלית משנות ה 80.
6. כל התשובות נכונות.

דלקת גרון היא איננה ישות פיזקלית. בכל זאת אנחנו יכולים לחקור אותה, לדעת מה הסימפטומים שלה, הגורמים שלה, לבדוק האם למישהו יש דלקת גרון וכו'.
מט ב 5 מסעים 308904
לגרום לתחושה של אדום מבלי שהמערכת הסנסורית קולטת צבע אדום זה נורא פשוט. מכה קלה באחורי הראש תעשה את העסק. גם לחץ על כדור העין יעשה את זה, שלא לדבר על שינת REM.

אגב, בניגוד גמור למה שגדי כתב בתגובה 308881 העין לא משדרת "אדום" למוח. ראה פסקה קודמת.
מט ב 5 מסעים 308912
אני לא בטוח שאני מבין מה בפסקה הקודמת נוגד את התגובה שלי. אם העין לא משדרת "אדום" למוח, איך המוח יודע כאשר העין קלטה גל אלקטרומגנטי באורך גל של אור אדום?
מט ב 5 מסעים 308924
איך אתה רואה בננה צהובה בחדר לא מואר?
איך אתה רואה אבטיח אדום בחלום?
  מט ב 5 מסעים • גדי אלכסנדרוביץ'
  מט ב 5 מסעים • רון בן-יעקב
  מט ב 5 מסעים • גדי אלכסנדרוביץ'
  מט ב 5 מסעים • רון בן-יעקב
  מט ב 5 מסעים • גדי אלכסנדרוביץ'
  מט ב 5 מסעים • שוטה הכפר הגלובלי
  מט ב 5 מסעים • שוטה הכפר הגלובלי
  מט ב 5 מסעים • אח של אייל
  מט ב 5 מסעים • שוטה הכפר הגלובלי
  מט ב 5 מסעים • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • עוזי ו.
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • עוזי ו.
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  על מה חולמות הרכבות בלילות? • ראובן
  על מה חולמות הרכבות בלילות? • שוטה הכפר הגלובלי
  על מה חולמות הרכבות בלילות? • ראובן
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • עוזי ו.
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • עוזי ו.
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • עוזי ו.
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • אלון עמית
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • עוזי ו.
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • ראובן
  ציפור קטנה לחשה לי - חלק ב • ראובן
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  מצא את ההבדלים. • ראובן
  מצא את ההבדלים. • שוטה הכפר הגלובלי
  לך ואמור לאומן שעשאני כמה מכוער כלי זה שעשית • ראובן
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • ראובן
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • ראובן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • ירדן ניר-בוכבינדר
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • עומר
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • עומר
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • עומר
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • עוזי ו.
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • עוזי ו.
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  הערה קטנה • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • ירדן ניר-בוכבינדר
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • ירדן ניר-בוכבינדר
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  זה לא כל כך נעים לראות מחלקה סגורה • ירדן ניר-בוכבינדר
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  נמנע • האדם השלישי
  נמנע • שוטה הכפר הגלובלי
  נמנע • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • איילה מנסה לברר
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  רובוט הדור השלישי • אח של אייל
  רובוט הדור השלישי • האייל האלמוני
  רובוט הדור השלישי • אח של אייל
  רובוט הדור השלישי • האייל האלמוני
  רובוט הדור השלישי • שוטה הכפר הגלובלי
  רובוט הדור השלישי • האייל האלמוני
  רובוט הדור השלישי • שוטה הכפר הגלובלי
  רובוט הדור השלישי • האייל האלמוני
  רובוט הדור השלישי • שוטה הכפר הגלובלי
  רובוט הדור השלישי • אח של אייל
  רובוט הדור השלישי • האייל האלמוני
  על קוואליה ועל איש הפח • איש הפח
  על קוואליה ועל איש הפח • האייל האלמוני
  על קוואליה ועל איש הפח • איש הפח
  על קוואליה ועל איש הפח • האייל האלמוני
  על קוואליה ועל איש הפח • אח של אייל
  על קוואליה ועל איש הפח • האייל האלמוני
  על קוואליה ועל איש הפח • אח של אייל
  על קוואליה ועל איש הפח • שוטה הכפר הגלובלי
  על קוואליה ועל איש הפח • אח של אייל
  על קוואליה ועל איש הפח • שוטה הכפר הגלובלי
  על קוואליה ועל איש הפח • האייל האלמוני
  על קוואליה ועל איש הפח • האייל האלמוני
  על קוואליה ועל איש הפח • אח של אייל
  על קוואליה ועל איש הפח • האייל האלמוני
  על קוואליה ועל איש הפח • אח של אייל
  על קוואליה ועל איש הפח • שוטה הכפר הגלובלי
  על קוואליה ועל איש הפח • האייל האלמוני
  על קוואליה ועל איש הפח • שוטה הכפר הגלובלי
  על קוואליה ועל איש הפח • האייל האלמוני
  על קוואליה ועל איש הפח • ירדן ניר-בוכבינדר
  על קוואליה ועל איש הפח • ירדן ניר-בוכבינדר
  על קוואליה ועל איש הפח • האייל האלמוני
  על קוואליה ועל איש הפח • שוטה הכפר הגלובלי
  על קוואליה ועל איש הפח • ירדן ניר-בוכבינדר
  קונקרטיזציה: • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • ירדן ניר-בוכבינדר
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • עוזי ו.
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • ראובן
  ציפור קטנה לחשה לי - חלק ב • ראובן
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • עוזי ו.
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • עוזי ו.
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי • רון בן-יעקב
  ציפור קטנה לחשה לי • יהונתן אורן
  ציפור קטנה לחשה לי • רון בן-יעקב
  ציפור קטנה לחשה לי • רון בן-יעקב
  אתמול היית בבית קפה • אח של אייל

חזרה לעמוד הראשי

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים