בתשובה ליהונתן אורן, 12/06/05 10:30
בקיצור 308161
אלו בהחלט שתי שאלות שונות, אבל אני חושב שסדר החשיבות הוא הפוך. כיוון שאני משוכנע שלשאלה "איך נדע" התשובה היא "לא נדע לעולם", זה הופך את השאלה הראשונה למעניינת אבל עקרה.

בהמשך קצת בלבלת אותי. "מתי נוכל לומר שהבנו כיצד המוח עובד" זו בדיוק שאלה מהסוג "איך נדע", שהצעת שהיא לא מענייננו. מתי באמת? אם נצליח לעשות דברים כמו לבנות אנשים מחומרי-גלם זמינים, או ללמד אנשים פילוסופיה (או להתאהב) בחמש דקות ע"י חיבור אלקטרודות למוח, אני חושב שזה יהיה סביר לטעון "הצלחנו". תרצה להמשיך לטעון שהאדם המלאכותי אין לו קוואליה? תוכל, כמובן. דווקא בגלל זה זו נראית לי שאלה לא מעניינת.

אגב, אנו לא מנסים לסמלץ את *מבנה* המוח עם מ"ט (או מחשב חזק), אלא את פעילותו של המוח, את ההיבטים הניכרים לעין של מעשיו (מה הוא אומר, מה הוא עושה עם הידיים).

"אין לנו שום אינדיקציה מאיזשהו סוג שמ"ט יכולה לייצר קוואליה" - שוב אתה מדבר על "אינדיקציה", זו שוב שאלת ה"איך נדע". איזו "אינדיקציה" זו יכולה להיות? יש כזו? אם אין, אל תתפלא שאין לנו אחת עבור מ"ט; אם יש - נגיד, צחוק ובכי - אז אין (לי) שום סיבה להניח שמחשב *לא* יכול להפגין אינדיקציות כאלה.

למה ל"מורכבות" אין קשר למדע?

האם תפיסת עולמך תשתנה אם יראו לך סימולטור מושלם של תא חי בודד?
בקיצור 308186
הניסוחים שלי היו לא ברורים. אנסה שוב.

השאלה הראשונה היא שאלה עקרונית: איזה תשובה תיחשב לעונה על הסוגיה. אם אני מבין נכון, אתה מציע שאם נצליח לסמלץ "היבטים ניכרים לעין של מעשיו" של המוח, נוכל לומר שהמוח עובד כמ"ט. לדעתי זאת תשובה לא מספקת. אנחנו יכולים כבר היום לסמלץ היבטים ניכרים לעין של מעשיו, וברור שנוכל לסמלץ יותר כאלה בעתיד. בעבר היו שחשבו שכשמחשב יוכל לנצח אלוף שחמט יהיה ניתן לומר עליו שהוא "חושב". מחשב כבר עושה זאת, אבל אנחנו לא חולמים לייחס למחשבים משהו דומה למחשבה אנושית. אני מניח שבעתיד מחשבים יוכלו גם לעבור בקלות את מבחן טיורינג – לא ע"י זה שהם יחקו את המוח האנושי, אלא באמצעות שיטות של מדעי המחשב – ועדיין הדבר לא יפתור את השאלה של מוח האדם.

הדוגמאות שהבאתי הן לא מקריות. הן כולן נוצרו במחצית הראשונה של המאה שעברה, כשהפוזיטיביזם היה הפילוסופיה המובילה, והדרישה הייתה ליצור קריטריונים אופרטיביים לכל דבר. "קוואליה" היא דבר שלא קיים עבור הפוזיטיביסטים. אבל היום אנחנו במקום אחר. אנחנו יודעים שיש קוואליה, אנחנו יודעים שזה הדבר יוצא-הדופן במוח האנושי, ואין סיבה להוציא אותה מהמשחק. גם אם המחשב שלי יודע לפתור בעיות, וגם אם יש לו צורה של מודעות עצמית (הוא יכול לומר לי איזה תוכניות רצות כרגע או כמה שטח זיכרון תפוס. סתם), אני לא חושב שזה מעיד על המוח האנושי.

השאלה השנייה היא כיצד נדע אם לאובייקט הנבדק יש קוואליה. ברור שאין לנו אפשרות לבחינה ישירה של השאלה, אבל אנחנו יכולים לנסות להסיק על קיומה בדרכי עקיפין (כפי שהצעת). בכל מקרה, החיפוש שלנו אמור להיות אחריה ולא אחרי פתרון בעיות מאיזשהו סוג. השאלה "האם מוח עובד כמ"ט", מתחילה בעיניי בשאלה "האם למ"ט יכולה להיות קוואליה".

האינדיקציה שדיברתי עליה היא לא אינדיקציה לקיומה של קוואליה, אלא אינדיקציה שיש קשר בין מערכות שבנויות כמ"ט לבין קוואליה. האמת היא שנכון להיום אנחנו פשוט לא יודעים כלום על הצורה שקוואליה נוצרת. למיטב ידיעתי, למרות שאנחנו לא מסוגלים לקבוע אם יש קוואליה, אף אחד לא טוען שלמחשבים, מסובכים ככל שיהיו, יש כזאת. כך שאני לא מבין את הקלות שבה אתה(ם) מקבל את ההיפותזה שהמוח עובד כמ"ט. תמיד כשמדברים על זה הפיזיקליסטים מציעים את רעיון ה"מורכבות" – כשמערכות יהיו מורכבות מספיק, תיווצר שם מודעות-עצמית וסוג של קוואליה. אבל אין לזה שום תמיכה אמפירית או תיאורטית. סתם אין להם רעיונות אחרים.

לשאלתך האחרונה, כדי שתפיסת עולמי תשתנה אני אצטרך קודם כל לגבש אחת כזאת, וזה חתיכת פרויקט. מה שכן, בפתיל הזה עם כל הדיבורים על תאים וכאלה (לא הכול הבנתי), כמעט הצלחת לשכנע אותי שלא חסידות מביאות את התינוקות.
בקיצור 308188
מה הבעיה להוסיף למערכת ממוחשבת קוואליה? נראה לי שמספיק וקטור אחד של משתנים גלובליים ("מידת עצבנות", "מידת עייפות", "מידת סיפוק" וכו'), עם מנגנון לשינוי הערכים האלה.
בקיצור 308244
אם אתה צודק, אז בכל משחק תפקידים במחשב (או במשחקים בסגנון של SIMS) מסתובבות להן דמויות שהאינטרוספקציה לא זרה להן. אגודת "תנו לדונקי קונג לחיות" מעבר לפינה.

האמת היא שבדיוק הגשתי משחק פאקמן משופר, בו לדמויות בשליטת המחשב היה וקטור דומה ("מידת עצבנות", "פחדנות", "אינטליגנציה"=עומק חיפוש ו"רפלקסים"=סיכוי להגיב באופן חמדני לסביבה).
בקיצור 308249
אל תצחק. אם sims יחזיקו מעמד עוד עשרים שנים וילכו וישתכללו, אתה עוד עלול לראות דברים כאלו.

אגב, איפה מגישים כאלו דברים? אצלי צריך להגיש בעיקר תוכנות שסורקות את המישור ומוצאות חיתוכים בין עקומות בו.
בקיצור 308263
"אגב, איפה מגישים כאלו דברים?"

אני לומד במסגרת דו-חוגית (ומקווה לסיים בקרוב מאוד, יתברך פטרון הנבחנים, אמן). מדעי המחשב+לימודים רב תחומיים. במסגרת הרב תחומי, לקחתי סימנריון של 6 נק' (שהוא קורס המשך של קורס ב-Visual Basic ללא מתכנתים) בו יש לך המון חופש בהגדרת הפרוייקט התכנותי אותו אתה צריך להגיש.

משום שאני מחבב מאוד תכנות משחקים ומשום שאני קצת מזוכיסט, הרכבתי מסמך דרישות קצת פסיכי למשחק פאקמן, לשני משתתפים בו זמנית (כאשר יש אופציה שהמחשב ישלוט בשחקן השני), שמוסיף הרבה מעבר לדרישות הקורס. הפרוייקט הזה התנפח לדבר הכי מורכב, מתסכל ומעניין שיצא לי לעשות בתואר (כולל התרגילים במדעי המחשב) וזאת למרות שזה תיק שבכלל זרקתי על עצמי. הייתי חייב לשלב בו המון דברים שלמדתי במדעי המחשב, כולל דברים מקורסים (שלצערי) לא לקחתי (כמו בינה מלאכותית, למשל).

(בתקווה שחבר סגל מאיזו פקולטה למדעי המחשב קורא את זה) חבל שאין קורס רשמי במדעי המחשב שכל כולו תכנות משחקי מחשב, משום שהאפליקציות המטורפות האלה דורשות מהמתכנת אינטגרציה של המון נושאים שונים ומשונים (DirectX, אלגוריתמים, ב"מ, גרפיקה, מערכות הפעלה, קול, הקצאת משאבים, כאב הראש שהוא‏1 Real Time ועוד).

____________
1 המלצה: בתור נסיון ראשון לתכנות משחק - לך על משחק מבוסס תורות שמשאיר למחשב המון זמן לחשוב (שנייה זה כבר נחשב להמון) ותחסוך לעצמך כמה אופטלגינים.
בקיצור 308282
דווקא המשחקים הראשונים שלי לא היו מבוססי תורות (סנייק וכאלה). מה כאב הראש המעורב?

אגב, במה המשחק כתוב? ויז'ואל בייסיק? זו לא שפה נוראית? והאם אתה מכיר את SDL? זה מה שאני משתמש בו (אם כי אני בשלבי היכרות איתו).

(ואיפה אפשר יהיה למצוא את המשחק אחרי ההגשה?)
בקיצור 308293
כאב הראש הוא כאשר אתה מעוניין להוסיף אלגוריתמים (של ב"מ למשל) שגוזלים זמן CPU ולוקח לך יותר זמן לסיים את החישוב מאשר שיש לך (לפני שאתה חייב לעדכן את המסך ולפני שנוצרת סיטואציה חדשה עמה הסוכנים השונים צריכים להתמודד‏1, אין לך את הפריבלגיה של להגיד לשחקן "פוס, המשחק יחזור בעוד מספר רגעים, עכשיו חושבים"). כמובן שיש לכך פתרונות די פשוטים (time slicing של חישובים, פתרונות חלקיים/מקורבים של בעיות או סתם אשליה של אינטליגנציה במקום חישובים מורכבים של ממש).

בסנייק, BreakOut או פונג, אכן לא נוצרות הבעיות הללו (אתה מקבל קלט מהמשתמש, מעדכן סיטואציה, בודק collisions ומצבי משחק, מעדכן מסך וחוזר חלילה, בלי שום חישובים מורכבים שנתקעים לך באמצע - במשחקים האלה, בייחוד אם משתמשים בהאצה גרפית, ה-CPU משתעמם ונשאר כמעט חסר תעסוקה).

עוד בעיות - חשוב על משחק RTS עם טנק אחד שמשתמש באלגוריתם A* כדי למצוא את המסלול האופטימלי מנקודה א' לנקודה ב'. לא נשמע מסובך במיוחד (1/50 השניה זה המון זמן, אפילו כאשר המפה שלך די מורכבת). עכשיו תאר את אותו משחק עם 60 טנקים שקיבלו פקודה לעבור בין שתי נקודות על המפה (עם הרים, גאיות צרים ומכשולים זזים בדרך) וחשוב על הסיטואציות השונות והמשונות ש(אם לא חושבים איך לפתור אותן או למצוא להן מעקף)יכולות לגרום לשחקן הרגשה שהוא נתן פקודה לאוסף טנקיסטים עם תסמונת דאון (תופעות של התנהגות דבילית שכזו, ניתן למצוא אפילו במשחקים מסחריים).

גם אני בדעה ש-VB היא לא מהשפות המוצלחות (אני מעדיף את הגמישות של C) אבל לא היתה לי ברירה (השימוש בשפה היה חלק מדרישות הקורס). למרות זאת, הדעה שלי על השפה קצת השתפרה אחרי הפרוייקט הזה.

על SDL אפילו לא שמעתי עד התגובה שלך, אז תודה. I'll have a looksee
_________
1 עשרות עדכונים לשניה.
לומדים משחקולוגיה בארץ הקודש 318962
בקיצור 308254
או שאתה איבדת את הכושר להבין סרקאזם או שאני ממש דפוק.
בקיצור 308255
בעצם, או שניהם.
בקיצור 308291
כנראה ששניהם. מה קרה פה הרגע?
בקיצור 308292
אתה חושב שתגובה 308188 נכתבה ברצינות?
בקיצור 308294
עכשיו כבר לא :)
בקיצור 308382
ברצינות מלאה; או שאני לא מבין מה זה "קוואליה". או שניהם.
בקיצור 308410
יופי, הוצאת אותי דפוק.

עכשיו אני צריך לעבור אחורה על האייל ולקרוא את כל התגובות שלך מחדש במבט אחר. נראה לך שיש לי זמן לדברים כאלה?
בקיצור 308450
אני לא מסכים עם הרבה דברים פה, אבל הדיון מתפזר אז אני אנסה למקד אותו. האם אתה צופה, או מסוגל לדמיין, שתוכל להשתכנע שמערכת מלאכותית או תאורטית כלשהי תהיה בעלת קוואליה? האם יש איזשהו תהליך אמפירי - אוסף תצפיות שתערוך - שבסופו תסכים שלא רק לבני-אדם יש קוואליה, או ספציפית שלמ"ט (מורכבת מספיק...) יש קוואליה?

כדי להבהיר את עמדתי, אני חושב שעפ"י הבנתי את המושג "קוואליה" כמשהו אינטרוספקטיבי גרידא, אין לך שום סיבה לענות בחיוב על השאלה הזו. תמיד תוכל לומר "כן, זה באמת מתנהג *כאילו* שיש לו תחושות, אבל אין לו *באמת* תחושות. אין לו קוואליה. זה לא מעיד משהו על המוח האנושי."
בקיצור 308492
אני לא יודע. אני מניח שתמיד אוכל להטיל איזשהו ספק בקיומה של קוואליה. אבל אני חושב שזה יותר מורכב. אני לא פוסל על הסף אפשרות שאי שם בעתיד יהיו לנו מכשירי מדידה שיתנו אינדיקציות טובות לקיומה של קוואליה (בהסתייגויות הפילוסופיות הרגילות). נראה לי שהתפתחות אמצעי מדידה מתאימים קשורים קשר הדוק לתיאוריה ולדרך שבה אתה מפרש את המציאות (כדי לבנות אמפרמטר היה צריך תיאוריה בסיסית של חשמל, כדי לבנות מונה-גייגר היה צריך תיאוריה בסיסית של רדיואקטיביות, כדי לבנות מד-לחץ-אוויר היה צריך תיאוריה בסיסית של התנהגות הגז). אולי קוואליה היא באמת הגבול העליון של הסובייקטיביות ולא תהיה אפשרות לבנות אמצעי מדידה - אבל זה דיון עקר. אין לנו היום אף תיאוריה על קוואליה. השאלה אם אנחנו יכולים להסיק על קוואליה מתוך תצפיות היא היום שעשוע פילוסופי בלבד, שאין לו הרבה משמעות בלי תיאוריה שמועמדת לבחינה.

לדעתי צריך לבדוק את זה מהכיוון השני. האם אתה חושב שלמחשבים היום יש קוואליה? ואם לא, מה גורם לך לחשוב שתהיה להם קוואליה בעתיד? האם יש לזה איזשהו ביסוס, או שהכיוון הוא "בגלל שאני מאמין שהמוח הוא מ"ט, אז מורכבות מספיקה תיצור קוואליה"?
בקיצור 308500
אלא"ע, כידוע, ובכל זאת הנה עשר האגורות שלי: אם אתה מקבל את ההנחה שלא מתחבאים שדים ורוחות במוח האנושי, אתה חייב לקבל גם את העובדה שהקוואליה היא אכן תוצר של פעילות חישובית שמתבצעת על מצע פיזיקלי גרידא. אם קיבלת את זה, אין שום סיבה שבעולם להניח שהקוואליה מוגבלת למעבדים מהסוג האורגני (ואפילו אם היתה סיבה להניח הנחה משונה כזאת, אין סיבה תיאורטית לא לבנות מחשבים שמבוססים על כימיה אורגנית). הרבה יותר סביר שהיא באמת תוצאה של התהליך ולא של החומרה הספציפית.
בקיצור 308513
אבל בדיון על ''האם המוח הוא מ''ט'' ההנחה שהמודל של מ''ט הוא המודל האפשרי היחיד (אם לא מתחבאים שדים ורוחות במוח האנושי) היא הנחת המבוקש.
בקיצור 308517
זה לא נכון. אנחנו יודעים די הרבה על יחידות העיבוד הקטנות שמרכיבות את המוח האנושי, וככל הידוע לנו כל אחת מהן היא מכונת טיורינג לעילא ולעילא (בייחוד אם נרחיב קצת את ההגדרה של מ''ט כדי שתכלול אלמנטים יוריסטיים, ואני מקווה שהמתמטיקאים לא ירצחו אותי על המשפט הזה). מחמת חוסר ידיעה אני לא מחזיק בדעה שמ''ט היא המודל האפשרי היחיד, אבל עד שלא מביאים בפני מודל אחר אני טוען שהכי סביר הוא שמיליארדי מ''ט הקטנות האלה עם האינטרקציות ביניהן מספיקות, ולפיכך אין צורך להניח הנחות מסתוריות על מנגנונים שאינם נכללים תחת כנפיה הגדולות של המכונה האוניברסלית.
בקיצור 308521
הנחות מסתוריות? יש לך כאן תופעה מסתורית. אין לך שום אינדיקציה לכך שמ"ט מתוחכמת יכולה ליצור קוואליה יותר מבלנדר רגיל. לדעתך זה "סביר" כי אתה לא נדרש לשינויים בהנחות שלך (זה החלק השמרני במדע). לדעתי זה הכול חוץ מ"סביר", כי אנחנו יודעים שיש שם מיליארדי מ"ט קטנות ועל האינטראקציה ביניהן, ולא למדנו שום דבר חדש על הקוואליה. היסק הגיוני באותה מידה יהיה שאין קשר בין מ"ט לקוואליה.
לא אכפת לי שאתה מאמין שהמוח הוא מ"ט, אבל אין כאן דבר מדעי יותר מהאמונה ההפוכה.
בקיצור 308525
אותו "היסק הגיוני" מניח קיום של משהו נוסף על אותם מיני-מעבדים, ואותו "משהו" חמקמק לא התגלה עד כה במיקרוסקופ האלקטרוני המשוכלל ביותר. לכן "אותה מידה" אינה באמת אותה מידה, כפי שאוקהם לימד אותנו.

הבסיס האורגני של בני האדם אינו שונה מזה של כל בע"ח אחר. איזו סיבה יש להניח שבמוח מסתתר משהו שחורג מהכלל הזה?
בקיצור 308531
קיום אותם מעבדים לא מסביר לנו את התופעה (וגם לאף אחד אין הצעה מעשית כיצד קיומם יכול להסביר את התופעה). אז מה ההגיון להמשיך ולהחזיק בהיפותזה שאין לה קשר למציאות הנצפית, רק בגלל שהיא מסתדרת להפליא עם הנחות היסוד המבוקשות? אבל עזוב, אנחנו הולכים במעגלים.

אין לי בעיה להניח שגם לבע"ח יש קוואליה.
בקיצור 308535
השיטה שמסבירה תופעות לא מובנות ע"י הנחות אד-הוקיות על פלוגיסטון, חומר ויטאלי, אתר ומלאכים שדוחפים את הכוכבים במסילותיהם‏1 לא הוכיחה את עצמה היסטורית. נראה לי שהמוח האנושי הוא מפלטה האחרון.
__________
1- לא רק אנחנו.
בקיצור 308538
זה נחמד, אבל מה הקשר לדיון שלנו?
בקיצור 308546
מה הקשר? הקשר הוא שאתה דורש מעמד שווה להשערה שיש מודל נסתר שבלעדיו פעולת המוח האנושי אינה מובנת, ואני טוען שההשערה האלטרנטיבית מועדפת מאותה סיבה שחוקי ניוטון עדיפים על ההנחה שמלאכים דוחפים את הירח.
בקיצור 308556
בחייך. אתה מציע הסבר מצוין, רק שהוא לא מתאים לתופעה. אני דורש ''מודל נסתר'' כמו שכל בעיה מדעית לא פתורה דורשת ''מודל נסתר''.
בקיצור 308585
אין לנו אלא לחכות ולראות, למרות שהאמת היא שאני לא מאמין שאהיה בסביבה כשהבעיה תיפתר. באסה.
בקיצור 308543
לעומת זאת, האטומים, האלקטרונים והקווארקים מוכיחים עצמם יום אחר יום.
בקיצור 308545
נכון. ההבדל הוא שהם ניתנים למדידה. ככלל, הנחת קיום של משהו חדש דורשת קצת יותר מתחושת בטן, וכשאותו משהו הוא לא פחות מאשר מותר האדם מן הג'וק דומני שהדרישות שהוא צריך לעמוד בהן גדולות מאד (למשל: הוכחה שמ"ט אינה מודל אפשרי למוח האנושי).
בקיצור 308547
יש לך ראיה מאד לא מציאותית של התהליך המדעי. אני מציע לך בחום לקרוא קצת מכתבי קון ופיירבנד.

בדרך כלל העגלה, דהיינו, הנחת קיום הדבר המטורף, באה לפני הסוס, דהיינו, הראיות החותכות.

לגבי הקווארקים, עד כמה שאני שמעתי עוד לא הצליחו לבודד אותם. (ולפי המודל התיאורטי, כנראה שלא יוכלו לבודד אותם לעולם)
בקיצור 308550
כן, אבל הנחת קיום הדבר המטורף צריכה להתבסס על צורך מאד חזק באותו קיום, לא על תחושת בטן ולא על "למה לא?".

לגבי הקווארקים, הם ניתנים למדידה באופן עקיף. תיאוריות שלא מייצרות משהו כזה נידונות לשנים ארוכות של ייסורים (ע"ע סופר-מיתרים) עד שעולה עדות בת-מדידה או שהן מתפוגגות.
בקיצור 308557
אולי תורות המיתרים נידונות לשנים ארוכות של ייסורים, אבל לא מעט פיסיקאים מסתפרנסים לא רע מלחקור אותן.
בקיצור 308631
נו, לא נורא, הייסורים האלה בהחלט מפיקים מוסיקה נוגה מאוד מכלי מיתר שונים, אבל אפשר להתענג עליה.
בקיצור 308501
"השאלה אם אנחנו יכולים להסיק על קוואליה מתוך תצפיות היא היום שעשוע פילוסופי בלבד, שאין לו הרבה משמעות בלי תיאוריה שמועמדת לבחינה" - עם זה אני מסכים, ואף ביתר פסימיות. כיוון שקוואליה (להבנתי) *מוגדרת* כתכונה שיכול יצור-חושב לבדוק רק על עצמו, אני לא רואה איך תיאוריה תשנה את המצב הזה. אבל אולי.

האם אני חושב שלמחשבים היום יש קוואליה? אני נוטה להניח שלא, אבל הנקודה היא שגם אילו האמנתי בכל מאודי שכן, לא היה לנו בסיס לדיון. אפשר לטעון שלכל דבר יש קוואליה - גם לחלוק-נחל, המרגיש את המים נכרכים סביב גופו, וגם לחצי השמאלי של אותו חלוק-נחל, המרגיש גם את המים וגם את חציו הימני דבוק אליו. יש לנו אפשרות להתווכח עם טענות כאלה?

מה גורם לי לחשוב שתהיה להם קוואליה בעתיד? יש לך ולי נטיות טבעיות שונות, אז כל אחד מאיתנו חש שנטל ההוכחה הוא על השני. אני חש שהטענה "במוח יש משהו יסודי שאיננו מ"טי, שאיננו בתא החי ולא בחלזונות ולא במחשבים" היא מפתיעה, והיא זו הדורשת ביסוס. ראיתי כל כך הרבה דוגמאות לדברים המשתנים איכותית כשהם עוברים ספי מורכבות שונים, שבכלל לא מוזר לי להניח ש"תחושת כאב", "התפעמות" ו"חיבה" הם דברים שיכולים לצוץ במערכת נוירונלית מספיק מסובכת.

ביסוס אחר שיש לי הוא שאנחנו רואים יום-יום נוזלי-גוף חסרי בינה מתפתחים, בתהליך מכני לחלוטין‏1, לאנשים בעלי-קוואליה. אז למה זה לא סביר להניח שקוואליה תתקיים ב"מחשב"? מה זה "מחשב", בכלל, אם מותר לי לבנותו גם ממרכיבים אורגניים? למה תינוק-מבחנה זה לא "מחשב"?

1 התלוי עמוקות בסביבה האנושית הקיימת. אני מקווה שכשאתה מאתגר אותי לייצר מחשב-חושב, אתה לא מכריח אותי לעשות זאת על הירח, אלא שמותר לו עוד בהיותו תינוק-מחשב ללמוד מהבריות ולשחק איתן.
חרמפפפפ בינוני 308504
(שכ"ג, אני רק מתלמד בעניין הזה. אני אמור לכתוב זאת בתגובה לי או בתגובה לך? וכמה פ"אים בדיוק יש שם?)
חרמפפפפ בינוני 308508
זה לא חרמפפפ בכלל. התגובה שלי אינה מייתרת את התגובה שלך כלל ועיקר.

(אין תקן בקשר למס' הפ"אים. כדי לשמח את עדי סתיו טוב להרבות בהם ואז לפַעל את העצם הזה בצורה של שורש רב עיצורים, ולומר: חרימפפפפפפפפפפת לשווא.)
בקיצור 308512
זה נשמע כמו "אנחנו לא יודעים להסביר את התופעה, לכן נניח שהיא עובדת לפי המודלים הקיימים". שזאת גישה משונה בעיניי. אבל כמו שכתבת, הנטיות שלנו שונות.

(אגב, תחושת הקוואליה היא סובייקטיבית, אבל האם קיום הקוואליה הוא סובייקטיבי? אני לא בטוח).
בקיצור 308514
הו לא, לי זה ממש לא נשמע ככה. כנראה שגם האזניים שלנו שונות :-) איזו תופעה אנחנו לא יודעים להסביר? מה יהווה עבורך "הסבר" בהקשר הזה?

אני חוזר על השאלה (כנראה משעממת בעיניך): האם מחשב מחומרים אורגניים הוא מחשב?

(מה סובייקטיבי, "קיום הקוואליה" כמושג, או "קיום הקוואליה אצל ישות ספציפית"? חשבתי שאנחנו דנים בשאלה השנייה. לגבי הראשונה, לא יודע, אבל לא אכפת לי להניח שיש דבר כזה וקיומו אובייקטיבי ואינו מוטל בספק. לא רואה איך זה מועיל).
בקיצור 308516
אנחנו לא יודעים להסביר את תופעת הקוואליה, כמובן. מה יהווה הסבר? לא יודע - מודל שמראה כיצד היא נוצרת ומתקיימת, שיוכל לקשור בין התופעות (תהליכים פיזיים וקוואליה). אמנם זאת בעיה לקשור בין תופעה שיש לנו בעיה לאמת את קיומה לבין תופעות אחרות. אז אני רואה כאן שתי אפשרויות: או שנמצא דרכים לאמת את קיום הקוואליה באובייקט הנבדק (כתוצאה מתיאוריה), או שהעניין ימשיך לחמוק מהתהליך המדעי, ואז האמונה שהמוח פועל כמ"ט תשאר אמונה בלבד (כמו האמונה שיש נשמה, או אמונות במודלים אחרים. עניין של נטייה אישית)

"קיום הקוואליה אצל ישות ספציפית" היא לדעתי שאלה אובייקטיבית. פשוט אין לנו אמצעי מדידה מוצלחים. החלק הסובייקטיבי הוא התכנים של הקוואליה.

אני חושש שאני לא מבין את השאלה "האם מחשב מחומרים אורגניים הוא מחשב". אם הוא מחשב אז הוא מחשב, לא? מה זה משנה מאיזה חומרים הוא מורכב?
בקיצור 308599
דעתי היא שמושג הקוואליה כפי שהוא מנוסח היום ימשיך מעצם טבעו לחמוק מהתהליך המדעי, ומכאן שהמוח-כמ"ט תמיד ידרוש קצת אמונה - פחות ופחות ככל שנוכל להדגים יותר ויותר. כאמור, מי שירצה להמשיך להתעקש, יוכל. גם עכשיו יש הטוענים שלבני-אדם מסוגים שונים ומשונים אין נשמה (או נשמה נחותה בדרגתה), ואין דרך להראות שהם טועים - רק להצביע על העובדה שזה מאוד לא סביר לאור הדמיון האמפירי הרב בין בני-האדם.

אין לי מושג איך אתה מדמיין אמצעי-מדידה לקוואליה.

מה פירוש "אם הוא מחשב אז הוא מחשב"? איך עונים על ה"אם" הזה? תא חי זה מחשב? איך אתה ניגש לשאלה כזו?
בקיצור 308620
יכול להיות (מאוד, האמת) שהקוואליה תמשיך מעצם טבעה לחמוק מהתהליך המדעי. אני מסכים שיש כאן עניין של סבירות. נכון להיום, אני פשוט לא רואה אף סיבה טובה להאמין שמורכבות של מ''ט יוצרת ''יש מאין'' קוואליה. כשהשאלה הזאת תתחיל להיות בספק (יהיו לנו מכונות שנחשוב שאולי יש להם קוואליה) יהיה מקום לדבר על ''סבירות''. מאחר שאין לי נטייה למיסטיקה, מאוד יכול להיות שאז אני אמצא את עצמי בצד שלך, ליד הקבר של שכ''ג, טוען שסביר שהמוח הוא מ''ט. בינתיים זאת נראית לי סתם השערה אופנתית ללא ביסוס.

אני לא מצליח לדמיין אמצעי מדידה לקוואליה. אבל מעניין שאנחנו לא מקבלים את האפשרות שיש למחשב קוואליה היום. נראה שבכל זאת יש איזו דרך סבירה להתייחס לשאלה.

אני חושש שאני לא עוקב אחרי ההשוואה בין תא חי למחשב. אני פשוט לא מבין למה אתה מתכוון או מה מטרת השאלה.
בקיצור 308625
"מעניין שאנחנו לא מקבלים את האפשרות שיש למחשב קוואליה היום. נראה שבכל זאת יש איזו דרך סבירה להתייחס לשאלה." - בוודאי: מחשבים היום לא מדברים (בשפת בני-אדם), לא מפגינים רגשות, ובקושי לומדים. כשהדברים הללו ישתנו, כמו שאמרת, יהיה מקום לדבר על "סבירות". אני רואה הרבה סיבות טובות להאמין שזה יקרה, ואתה לא, אבל ברור שההבדל בהערכות שלנו נובע משינויים קלים ברקע ולא צריך להתרגש מזה. אני רק לא בטוח עד כמה ההשערה אופנתית.

ההשוואה בין תא חי למחשב נובעת מהשאלה הבאה. אתה כותב, למשל, "יהיו לנו מכונות שנחשוב שאולי יש להם קוואליה". כשאנחנו אומרים "מכונות", לרוב אנחנו חושבים על דברים שעשויים מפלסטיק, ברזל וסיליקון. אבל ברור שזה לא חייב להיות כך. השאלה היא, אם נבנה "מכונה" שתעשה כאילו היא "חושבת" והיא תהיה עשויה (גם) מתאים שיופקו מחיות, אנשים או עוברים, לא חשוב כרגע - האם במצב כזה תסכים להתייחס למוצר כאל "מכונה" לצורך דיוננו? כלומר, אם ייראה לך שיש לה קוואליה, האם תסכים להשליך מכך על המוח האנושי ולומר שגם הוא, כמוה, מכונה?
בקיצור 308626
כן.

גם היום אני מוכן להתייחס למוח האנושי כמכונה. אני רק לא בטוח שמ''ט היא המודל הנכון.
בקיצור 308635
אה, את זה לא הבנתי עד עכשיו. באיזו מובן "להתייחס למוח האנושי כמכונה"? במובן שעשוי מחלקים קטנים שכל אחד מתנהג באופן פשוט? במובן שרגש, תחושה ורצון הם ביטויים של התהליך המכני, ולא דורשים גורם מטפיסי?
בקיצור 308642
אני צריך להיות ממש מוזר כדי לחלוק על זה שהמוח עשוי מחלקים שכל אחד מהם מתנהג באופן פשוט. אני לא בטוח למה אתה מתכוון ב"גורמים מטאפיסיים" - אני די בטוח שאין נשמה או התערבות אלוהית. אבל אני לא בטוח שאפשר לבצע לכל התהליכים המוחיים רדוקציה לפיזיקה (אני בכלל לא בטוח שניתן לתאר את כל הביולוגיה באמצעות רדוקציה לפיזיקה, וזה לא קשור ל"מטאפיסיקה"). ובהמשך לכך, אני לא בטוח למה אתה קורא "תהליך מכאני". אם המחשבות והרגשות שלנו משפיעים על המעשים שלנו, האם זה תהליך "מכאני"?
בקיצור 308652
מדוע לרכיב המתנהג באופן פשוט, או לביולוגיה של התא, לא ניתן לעשות רדוקציה לפיסיקה? כוונתך שהפיסיקה עוד לא השתכללה מספיק, או שיש פה מחסום עקרוני? או שכוונתך שתיאור מדוקדק של רכיבי התא והדינמיקה שלהם, עד כדי יכולת לסמלץ במדוייק התנהגות של תא, אינה מהווה "תיאור"?

המחשבות והרגשות הם תכונות של המערכת, והמערכת משפיעה על המערכת ובפרט על המעשים. אפשר לקרוא לזה "המחשבה משפיעה על המעשה", זה לא הופך את זה לפחות מכני. ברמת מורכבות נחותה בהרבה, זה יהיה מדוייק לומר שהמחשב שלי החליט שעבר מספיק זמן ולכן כיבה את עצמו - המחשבה שלו השפיעה על מעשה.
בקיצור 308665
יכול להיות שיש מחסום עקרוני לרדוקציה. זה אחד הנושאים המרכזיים בפילו' של המדע. אני לא מתכוון רק לאנשים כמו קון או פייראבנד שכליל הזכיר קודם, שטוענים שהתיאוריה קובעת את עולם התופעות הנצפות (ולכן ברור שאי אפשר ''להעמיד'' תיאוריה אחת על השנייה, כי הם עוסקים ב''מציאויות'' שונות). אפילו פוזיטיביסטים מאוחרים כבר מוכנים להטיל ספק באפשרות לעשות רדוקציה אמיתית. המפל, למשל, כבר מוכן לשקול את האפשרות שתיאוריות משפיעות אחת על השנייה כך שהמושגים שלהם ''מתמזגים'' לבסוף, ולא שיש רדוקציה אמיתית (בכל מקרה, הוא טוען שרק הזמן יוכיח אם אפשר לבצע רדוקציה של ביולוגיה לפיזיקה. טענה שגם היא בעייתית). אבל זה נושא רחב מאוד, ואני חושב שאני לא מבין אותו מספיק כדי לגבש דעה ולעמוד מאחוריה.

לפסקה השנייה שלך - אנחנו חוזרים למעגל שלנו. אתה מציג פיזיקליזם קיצוני, ואני לא רואה סיבה מיוחדת לקבל אותו. נכון להיום המדע לא מציע לנו תיאוריה שמסבירה כיצד החומר יוצר רגשות ומחשבות. בכלל לא בטוח שאם הוא יוכל להציע לנו תיאוריה היא תהיה דומה למה שעושה המחשב, כך שאני מתייחס לזה בגדר אמונה בלבד.
יש גם סיבות עקרוניות למה לא לקבל פיזיקליזם קיצוני. אחת מהן היא הקשר הלא-ברור בין המושגים התיאורטיים שלנו לבין האמת בעולם. כבר נכנסנו לשם בעבר. מדענים ''ממציאים'' מנחים תיאורטיים, ולא ברור לנו מה הקשר בין המונח לבין המציאות החיצונית. אבל אין לי איזה רצון מיוחד להיכנס לגומחה הזאת שוב. אני יודע שזאת צורה קצת לא פיירית לנהל דיון, ואני מצטער על זה, אבל אני לא מרגיש שיש לי משהו חדש להגיד. אני אנסה להיכנס שוב לדיון הזה כשאני אהיה מגובש יותר.
באמת שאין לי איזו התנגדות עקרונית להנחה שלך. מצידי המוח יכול לעבוד כמחשב, מ''ט או מחרטה קטנה. אני פשוט לא רואה סיבה להניח מראש שזה ככה כשאין לי שום אינדיקציה לכך.
בקיצור 308672
קראתי קון, קראתי קצת פייראבנד, ואו שלא הבנתי או שאני פשוט לא מסכים (עם הפרשנות הקיצונית יותר של הטענות). אני כנראה פוזיטיביסט הארד-קור, למרות שאני לא ממש יודע מה זה פוזיטיביסט (כל פעם מסבירים לי ואני שוכח את ההבדלים).

"רק הזמן יוכיח אם אפשר לבצע רדוקציה של ביולוגיה לפיזיקה": במובן מסויים זה נכון, למרות שאם לא פשוט נצטרך קצת להרחיב את הפיזיקה, אני לא רואה דרך סבירה בה הרדוקציה הזו באמת לא תיתכן. אני מקווה רק שאנחנו מסכימים לפחות על מהותה של רדוקציה כזו.

אל תצטער על חוסר הרצון לחזור לגומחה ההיא, זו זכותך ובכל מקרה זה ממש בסדר גם מבחינתי.
בקיצור 308681
נתקלתי לא מזמן אצל קוויין במשפט שמאוד שעשע אותי: " Science is a continuation of common sense, and it continues the common-sense expedient of swelling ontology to simplify theory". סתם הזכרת לי.
ציפור קטנה לחשה לי 308592
שדווקא יש לנו (טוב, לא לי אישית) תאוריות על קוואליה: דיון 806. בכל מקרה, האמירה כאילו קוואליה היא דבר מסתורי שאי אפשר להסיק עליו כלום היא רחוקה מהמציאות. למיטב הבנתי יש כלים ללמוד על הקאווליה גם ברמת הפסיכולוגיה וגם ברמת חקר המוח.

לגבי השאלה השניה שלך, האם יכולה להיות למחשבים קוואליה, לעניות דעתי, בהחלט יכולה להיות. הנה שני הסברים פשוטים:

1. ניתוח bottom-up (הניפו ישבנכם אל על)
שט"ג אמר - הקוואליה נוצרת בפעולה חישובית על בסיס פיזיקלי. לכן אפשר לשחזר את אותן פעולות חישוביות באופן מלאכותי. אתה אתה אמרת - כן, אבל אתה מניח שהמח הוא מ"ט.
ואני אומר - תיזת טיורינג-צ'רץ' שאומרת שכל מודל חישובי סביר שקול למ"ט ‏1. התיזה הזו כ"כ חזקה, שאפשר להגיד שתהליך שמיישם מודל חישובי חזק יותר, מפר את חוקי הפיזיקה הידועים לנו ‏2. אז אם אתה מקבל את ההנחה שהמוח בנוי מאבני בניין פיזקליות בסיסיות, אז קשה (בלשון המעטה) לראות איך הן מייצרות מודל חזק יותר ממ"ט.

2. ניתוח top-down (הניחו את מגבעותיכם)
בצע את הניסוי המחשבתי הבא: אתה משוחח עם אדם, עד שאתה (או בא כוחך) משוכנע לגמרי שיש לו קוואליה לתפארת. ואני מרשה לך לבדוק *כל* דבר, עד שתשתכנע לגמרי: אפילו לחבר לו אלקטרודות למח ולכבות לו סיגריות על הגוף כדי לבדוק האם זה כואב. אחר כך מהפנטים אותך ומוחקים לך את הזכרון. את הלוג של השיחה מכניסים לרובוט, שידע לתת בדיוק את אותן תשובות ואותן תגובות. שים לב שאין כאן שום מורכבות - בסה"כ מיפוי פשוט בין שאלה (או פעולה) שלך, לתגובה של הרובוט.
ידה ידה ידה, אתה תהיה משוכנע שלאותו רובוט יש קוואליה. האם הניסוי הזה אינו חושף את הריקנות שמאחורי המסתורין כביכול של הקוואליה? היום שאלתי בוט באינטרנט האם הוא אי פעם היה מדוכא. הוא התעצבן ואמר לי: "i have emotions like anyone else". אם אני הייתי במקומו, הייתי אומר: בן אנוש אוויל, אתה יכול לקחת את הקוואליה שלך ולדחוף אותה לחור שממנו היא הגיעה. :-)

---

1 שני מודלים שקולים אומר שמודל א' (בהנתן מספיק זמן חישוב) יכול לסמלץ כל דבר שמודל ב' מסמלץ, ולהיפך. מודל א' חזק מב' אם יש דברים שאפשר לסמלץ במודל א' ולא במודל ב'. לדוגמא, המודל החישובי של פנטיום, של מחשבים קוואנטיים, ושל חישובים מבוססי RNA, כולם הוכחו להיות שקולים למ"ט.

2 ידועים כמה מודלים חישוביים חזקים יותר ממכונת טיורינג. לכל אחד יש "קסמים" משלו - למשל אינסוף פעולות חישוב בזמן סופי, או גישה לאינסוף מידע בזמן סופי. לא קיים (מבחינה תיאורטית) תהליך פיזיקלי שמאפשר לממש יצורים כאלו.
ציפור קטנה לחשה לי 308619
טוב, אני לא יכול לומר שאני מבין באמת את התיאוריה שרון כתב עליה. אבל אני אהיה פחות ספקני כשנוכל ליצור מ"ט שנחשוב שיש לה קוואליה. בינתיים, המודל הזה נראה כמודל אפשרי, אחד מני רבים, שלמרות שהוא מסקרן אין לו ביסוס מיוחד. אגב, המודל הזה הוא מ"ט?

אני לא חולק על זה שאולי בעתיד תוכל להיות קוואליה למחשבים. אני פשוט רוצה לראות את זה קורה לפני שאני מאמץ את התזות על המוח כמ"ט.

בנוגע להסברים שהצעת:
1. אבל המחלוקת היא על "האם קוואליה היא תוצר-לוואי של עוצמה חישובית". אם אני חושב שאין לי סיבה להאמין שזה כך, זה לא עוזר שאתה מוכיח שאין מודל חישובי סביר חזק יותר ממ"ט. (אולי קוואליה היא תוצר של מפגש בין שני חומרים במוח בתוספת ניצוץ חשמלי בחלל שבנוי בצורה מסוימת? שטויות במיץ עגבניות. אבל הנה הצבתי מודל אלטרנטיבי שמבוסס על הפיזיקה הפשוטה כפי שהיא מוכרת לנו ויש לו אותה מידה של תמיכה אמפירית).
2. זאת כבר שאלה בפילו' של המדע: כל ניסויי המחשבה האלה מבוססים על תפיסה פוזיטיביסטית-אידיאליסטית. אבל אם מטרתו של המדע היא להגיע לאמת ולא לסדר את נתוני החושים שלנו באופן מסוים, אין לניסויי המחשבה האלה ערך בעיניי. זה שאני לא יודע להבדיל בין אובייקטים שידוע שיש הבדל ביניהם לא מהווה פתרון לבעיה ולא מקרב אותי לאמת על העולם.
ציפור קטנה לחשה לי - חלק א 308657
אוקי. בוא נעשה את שלב שלב.

א. קודם כל, תיקון קטנוני אך חשוב: הטענה היא לא "המוח כמכונת טיורינג" (גם ה pc שלך הוא אינו מ"ט). הטענה היא: המוח שקול למ"ט.
ב. אמרת "אני רוצה לראות את זה (קוואליה למחשבים) קורה לפני שאני מאמץ את התזות על המוח כמ"ט". הסבר 1 ניסה להראות לך שאפשר לאמץ את התיזה הזו גם אם אין קוואליה למחשבים בימינו. ואני לא טוען שאין.
ג. ברגע שעשית את הצעד האמיץ של המוח-שקול-למ"ט, אז זה אומר שאפשר לכתוב אמולציה של המח בכל מכונה שקולה למ"ט. כלומר, אם תוכל לקחת את 10 בחזקת 15 הניורונים במח, ואת הקשרים בינהם, ולייצג אותם בתוכנה, אז תוכל לשחזר באופן מדוייק את כל התגובות (הפנימיות והחיצוניות) של אותו מוח.
ד. מכאן שהתשובה לשאלה ששאלת בתגובה 308492: "(האם) מורכבות מספיקה תיצור קוואליה" - היא כן, בהנתן שלמחשב יש את התוכנה המתאימה.

מקווה שההסבר הזה מניח את דעתך על כך שלא מדובר במשאלת לב פוזיטיביסטית חסרת בסיס. לא הבנתי את ההתיחסות שלך לניצוץ חשמלי וגו' אבל אני מקווה שאתה מבין שגם התהליך של הניצוץ החשמלי (או כל תהליך פיזקלי אחר שאתה או בא כוחך יכולים לדמיין) אינו יכול לחשב משהו שמכונת טיורינג אינה יכולה לחשב.
ציפור קטנה לחשה לי - חלק א 308662
אבל מי אמר שקוואליה קשורה ליכולת חישובית?
ציפור קטנה לחשה לי - חלק א 308684
לא הבנתי את ההערה שלך.

האם הקוואליה מתרחשת במקומות אחרים מאשר בתהליך המנטלי שלנו? אולי היא מתרחשת בנשמה, במישור אלוהי שאין אליו גישה מהיקום הפיזיקלי? האם הקוואליה היא כמו ג'וק - ברגע שמישהו מאיר את החדר, היא בורחת לחדר אחר חשוך, כדי שלא יראו אותה?

על מה לעזאזל אתה מדבר :-)
ציפור קטנה לחשה לי - חלק א 308689
קוואליה היא תחושה, רגש, חוויה. מאיפה אתה יודע שהיא נוצרת כתוצאה מיכולת חישובית? אולי בכלל היא נוצרת בתהליך כימי של אינטראקציה בין כמויות מדויקות של חומרים בראש שלנו, אולי מ"הדהוד" של החישובים בתוך חלל הגולגולת הייחודי שלנו, אולי ממשהו אחר.
ההנחה שהקוואליה היא תוצר של המערכת החישובית היא ההנחה שאנחנו מתדיינים עליה כאן.
ציפור קטנה לחשה לי - חלק א 308698
אתה מתחמק. שוב אתה ממציא תהליך כימי חדש שהוא כמובן לא יכול לייצר תוצרים שמכונת טיורינג לא יכולה לסמלץ. ולגבי "הדהוד" של החישובים בתוך חלל הגולגולות, שוב פעם מדובר בתהליך פיזיקלי שהוא תוצר לוואי של תהליך פיזיקלי אחר, ששוב, אין לו יותר כוח ממה שיש למכונת טיורינג.

נראה כאילו אתה מנסה בכח למצוא איזשהו יכולת מסתורית של המוח, כזו שלא שקולה למ"ט. אפילו אם זה בניגוד לכל מה שידוע לרפואה. למה בעצם? למה לא להודות? "למיטב ידיעתינו, סביר להניח שהיכולת האינטלקטואלית של המח (כולל התחושות והרגשות) ניתנים לסמלוץ במכונת טיורינג?"
ציפור קטנה לחשה לי - חלק א 308733
אוקיי. נדמה לי שעכשיו הבנתי למה אתה מתכוון. כל הפיזיקה מעל הרמה הקוואנטית ניתנת לרדוקציה למ''ט, ולכן גם המוח.

לדעתי, הקוואליה אינה תהליך פיזיקלי. יכול להיות שהיא נוצרת כתוצאה מתהליך פיזיקלי (ז''א, בלי מיסטיקה), אבל היא עצמה לא ניתנת לביטוי, עד כמה שידוע לנו היום, באמצעים חישוביים. אם אתה חושב אחרת, אני אשמח לראות אותך מבטא אותה באמצעות משוואות, שורות קוד או כל דרך אחרת שתבחר בה.
ציפור קטנה לחשה לי - חלק א 308778
עכשיו אתה עושה כאן טריק דמגוגי, סטייל מחזירים בתשובה. אנחנו מבינים את המוח? לא!‏1 לכן קיימת נשמה ולכן יש אלוהים.

נראה לי שהסברה הזהירה היא להניח שאין שום דבר מסתורי שמתרחש במוח. אתה צריך הסבר מאד חזק למה יש דבר מסתורי שמתרחש במוח, אבל אין שום דבר מסתורי שמתרחש במזג האוויר, או במבנה המרחבי של חלבונים, או ברצח של ארלוזורוב. גם את הדברים האלו אנחנו לא יודעים להסביר (ואגב, יודעים להסביר אותם הרבה פחות טוב מאשר את הרגשות). ובכל זאת אם מישהו יטען שזה תוצאה של חייזרים או תהליך שהפיזיקה לא מסוגלת להסביר אני ארים גבה.

הגישה שלך היא גישה אגוצנטרית שאומרת שהאדם מיוחד. ואתה באמת נתלה בכל בדל של אפשרות כדי למנוע את האפשרות האיומה שאין באדם שום דבר מיוחד. ספר לי מה כ"כ מיוחד בקוואליה שרק בני אדם (ויונקים?) זכו לקבל אותם, אבל ג'וקים, עצים, גבינות מסריחות ומחשבים (כולם מורכבים מאותן אבני בניין כימיות) לא זכו לקבל אותן.

לסיום, אני אענה על הבקשה שלך. הנה כמה לינקים למחקרים בנושא רגשות ומוח. שים לב, שהחוקרים הצליחו למצוא מתאם בין פעילות מוחית לבין רגשות מבלי להזדקק לכל מיני קסמים כפי שאתה תארת‏2.

1 למרבה המזל, אין מנתחי מוח בקהל.
2 נקודה למחשבה: הרגשות מושפעים מהקלט החושי שמעובד ע"י הנירונים במח. הרגשות משפיעים על הפלט ההתנהגותי, שגם הוא נשלט ע"י ניורנים במוח. ידוע על מנגנון במוח שמתרגם קלט מניורונים לפלט בנירונים אחרים - זוהי פשוט הרשת הניורונית הרגילה. למה צריך להגדיר מנגנון חדש ומסתורי בשביל הרגשות?
ציפור קטנה לחשה לי - חלק א 308850
אני חושב שמאוד קל להראות שאין זהות בין תיאור הפעילות המוחית באופן פיזיקלי לבין החוויה. הסיפור הרגיל הוא על החדר של מרי: מרי היא פיזיקאית מבריקה שגדלה בחדר אטום שבו הצבעים היחידים הם שחור ולבן. היא מעולם לא הורשתה לראות צבע אחר. יש לה הבנה מושלמת של התיאוריה הפיזיקלית של הצבעים, כולל תיאור פיזיקלי מלא של הצבע "אדום". האם מתוך התיאור הפיזיקלי היא יכולה לחוות את הצבע "אדום" ולדעת כיצד הוא נראה? ברור שלא.

הקוואליה לא ניתנת לרדוקציה למ"ט, או שמרי הייתה רואה "אדום" מתוך ידיעת המשוואות.
ציפור קטנה לחשה לי - חלק א 308852
אני לא רואה מה זה קשור. לא נטען כאן שלדעת באופן פיזיקלי איך החוויה מתרחשת זהה לתחושה של החוויה, אלא שחוויה ניתנת לתיאור פיזיקלי. במקרה הנוכחי, מדען שמומחה בפעולת המוח ובהשפעה של קלט שמגיע מהעיניים על המוח יהיה מסוגל, באמצעות הידע הפיזיקלי שלו, לגרום למרי לראות "אדום" גם בחדר שלה, אם ישלח אל המוח את הסיגנלים המתאימים, לא? לכן, מתוך ידיעת המשוואות מסוגלים ליצור את החוויה. כמובן שזה לא אומר שידיעת המשוואות *היא* החוויה, אלא רק שהחוויה ניתנת לתיאור בצורה פיזיקלית.
ציפור קטנה לחשה לי - חלק א 308855
איך "לדעת ליצור את החוויה" זהה ל"החוויה ניתנת לתיאור בצורה פיזיקלית"?
ציפור קטנה לחשה לי - חלק א 308864
זה לא, כנראה שלא הסברתי את עצמי טוב מספיק. ''לדעת ליצור את החוויה מתוך ידע פיזיקלי'' פירושו ''החוויה ניתנת לתיאור בצורה פיזיקלית''. אם זה עדיין מפריע לך, שנה את זה ל''ניתן לדעת מהם הגורמים הפיזיקליים של החוויה'' - זה רק מתאים למה שכתבתי בהודעה הקודמת. מהמשוואות אי אפשר להבין איך ''מרגישה'' החוויה - זה לא אומר שצריך משהו פרט למשוואות כדי לגרום למישהו להרגיש אותה. ואם לא צריך יותר מזה, אז גם מחשב (שמסמלץ את העולם הפיזיקלי) יכול לחוות את אותה חוויה בדיוק אם נכניס לו את הקלט המתאים לתוכנה המתאימה.
ציפור קטנה לחשה לי - חלק א 308867
''מהמשוואות אי אפשר להבין איך 'מרגישה' החוויה - זה לא אומר שצריך משהו פרט למשוואות כדי לגרום למישהו להרגיש אותה''.

נכון. אבל זה גם לא אומר שלא צריך משהו פרט למשוואות כדי לגרום למישהו להרגיש אותה. אולי כן. זה בדיוק העניין - אנחנו לא יודעים. בכל מקרה, בגלל זה אני לא פוסל את האפשרות שבעתיד כן נדע לבנות יצורים מלאכותיים עם קוואליה (אבל כן פוסל את הרעיון שמ''ט יכולה לתאר את כל הפעילות המוחית, כי חלקה לא ניתנת לרדוקציה לפיזיקה).
ציפור קטנה לחשה לי - חלק א 308873
כאן אנחנו חוזרים לבסיס הדיון שלך עם אח של אייל. אני רק רציתי להעמיד דברים על דיוקם ולציין שאף אחד לא טען שיש זהות בין תיאור הפעילות המוחית ובין החוויה. אתה מסכים איתי שמרי יכולה לחוות "אדום" למרות שלא ראתה מימיה אדום אם מישהו שבקיא בתיאור הפיזיקלי של "אדום" ישתמש בתיאור הזה עליה? מה טוב. אנחנו אמנם נחלקים בשאלה האם יש במרי משהו קסום שאין במחשב ואי אפשר לתאר בצורה פיזיקלית, אבל זו בכל זאת התקרבות.

לדעתי חובת ההוכחה עלייך: אם אני מסוגל לסמלץ במדוייק את כל המאפיינים הפיזיקליים של ראיית "אדום" ואתה טוען שמי שסומלץ לא באמת רואה אדום ושחסר משהו - אתה צריך להראות שאכן חסר משהו, כי אני לא רואה שום הבדל. אני מניח שלדעתך חובת ההוכחה שזה זהה דווקא עלי.

למה זה דומה? נניח שאני בא ואומר על משהו "זה נראה כמו שפן, זה מריח כמו שפן, יש לזה טעם של שפן, זה מרגיש כמו שפן וזה משמיע קולות של שפן, ובכלל בכל קריטריון השוואתי שבו ניתן להשוות את זה לשפן אנחנו מקבלים זהות, אז עד שלא יוכח אחרת זה שפן". לעומת זאת, אתה (אולי) טוען: "מה אכפת לי שהם דומים בכל הקריטריונים שנתת? אמנם, אני לא פוסל את האפשרות שזה שפן, אבל עוד לא הוכחת לי שזה *באמת* שפן". לזה אני יכול רק לומר: תן לי עוד קריטריונים.
ציפור קטנה לחשה לי - חלק א 308877
לא הבנתי כלום.
א. מתוך התיאור הפיזיקלי המלא של הצבע האדום לא נוצרת התחושה של אדום.
ב. אם מישהו יוצר תחושה בזולת תחושה של אדום באמצעות מניפולציה שמבוססת על מאפיינים פיזיקליים, אז ברור שיש לאותו זולת תחושה של אדום. לא חסר פה משהו.
ג. הטענה כן הייתה שיש זהות בין הפעילות המוחית ובין החוויה, ובגלל זה אפשר לסמלץ את המוח כמ''ט.
ציפור קטנה לחשה לי - חלק א 308881
א. זה בדיוק מה שאני מסביר שאני *לא* טוען.
ב. צריך להיכנס יותר לעומק למה זה "מניפולציה שמבוססת על מאפיינים פיזיקליים". האם אתה מסכים שניתן לסמלץ את הפעילות הפיזיקלית של המוח? אם אתה מסכים, ואני רואה מה התגובות הפיזיקליות של המוח כשהוא מקבל שדר של "אדום" מהעין, האם, אם אסמלץ מוח במחשב ואעביר לו את השדר של "אדום", למחשב תהיה תחושה של אדום?
ג. שים לב להבדל: אתה אמרת "אין זהות בין תיאור הפעילות המוחית באופן פיזיקלי לבין החוויה", ואילו עכשיו אתה אומר "יש זהות בין הפעילות המוחית ובין החוויה". חוץ מזה שהראשון מנוסח בשלילה והשני בחיוב, מה ההבדל בין שני המשפטים? על ההבדל הזה אני מדבר בהודעות האחרונות, וייתכן שפספסת את זה ולכן אני נשמע מבלבל.
ציפור קטנה לחשה לי - חלק א 308884
מעניין, אם ניקח את זה צעד אחד קדימה, האם נראה לך שאפשר לסמלץ במדויק את גדי אלכסנדרוביץ'? אנחנו כבר יודעים שאפשר "להשתיל" זכרונות בדויים. האם אפשר לסמלץ אדם מסוים אחד, לדעתך?
ציפור קטנה לחשה לי - חלק א 308887
נראה לי שזו הנחת יסוד בדיון שהדבר אפשרי - מודולו הקוואליה. כלומר, אפשר ליצור סימולציה (אני מניח שכוונתך במחשב, כי לא חוכמה ליצור עותק גנטי, ייתכן שאנחנו מעתיקים גם את הדברים הלא פיזיקליים בצורה לא מודעת) האם הוא "ירגיש" שהוא קיים? שאלה טובה, זו בדיוק השאלה האם קוואליה קיימת גם בסימולטורים.

כמובן שאז מגיעה שאלת מיליון הדולר: נניח שאני רוצה חיי נצח ומסמלץ את עצמי במחשב. מה בעצם עשיתי? אם נצא מתוך נקודת הנחה שאני זהיר ואני לא הורג את עצמי תוך כדי יצירת הסימולטור, אחרי שגמרתי את יצירתו יש לי את עצמי בתוך המחשב, אבל אני גם נמצא בחוץ, בגוף שלי. לכן בבירור אנחנו לא אותו גדי. נו, ועכשיו נשאל, מה אם הייתי הורג את עצמי תוך כדי התהליך? אז הייתי *אני* עובר לתוך המחשב, או שהייתי מת?
ציפור קטנה לחשה לי - חלק א 308898
א. אני חשבתי שדעתך היא שאפשר לסמלץ קוואליה.
ב. לא ברור לי מה פתאום הסימולציה הזאת אמורה הרוג אותך או לפגוע בך בכלל. יותר מזה, מהרעיונות שהעלה כאן אלון, הבנתי שמדובר על מחשב ביולוגי. ואם כך, מדוע שהוא לא יהיה בדיוק אותו גדי? הוא בגוף שלו ואתה בשלך, אבל הגוף זהה וגם הנשמה.
ציפור קטנה לחשה לי - חלק א 308909
ב. היא לא אמורה להרוג אותי. רק הצבעתי על הבעייתיות שבתכנונים (המד"ביים) של כל מני אנשים להעביר את עצמם למחשב כדי לזכות בחיי נצח.

אם מדברים על מחשב ביולוגי העסק נהיה הרבה יותר פשוט. הכי פשוט זה אם ניקח כל אטום שמרכיב אותו ונשכפל אותו כך שאנחנו שומרים על המבנה הפנימי של האטומים. נו, מה עכשיו? כולם יסכימו שאם יש לי קוואליה גם לשכפול יש, אבל זה פחות מעניין. גם מבחינת השאלה למה הוא זה לא אני יש תשובה פשוטה - המקום שאנחנו תופסים בחלל שונה. לכן גם אם שנינו נראים וחושבים אותו דבר, יש את גדי שעומד מימין וגדי שעומד משמאל, ומכיוון שניתן להבדיל ביניהם כך הם לא אותו הדבר בדיוק.
ציפור קטנה לחשה לי - חלק א 308919
טוב, נראה לי שאם הרעיון הוא לקחת ''כל אטום ולשכפל אותו וכיו''ב...'', אז זה לא בדיוק מחשב, וגם לא מאוד סביר לקרוא לזה מכונת טיורינג.
לעומת זאת, השאלה שלי היא לא כל כך אם תהיו ''אותו בן אדם'' כמו ''אם תהיה לכם אותה קוואליה'' (ובעצם, אם יש הבדל בין ההגדרות האלה).
ציפור קטנה לחשה לי - חלק א 308925
די בבירור *לא* תהיה לנו אותו קוואליה, כי העובדה שאנחנו לא נמצאים באותו מקום במרחב תגרום לכך שהאינטראקציה שלנו עם המרחב תהיה שונה, ולכן גם החוויות שלנו יהיו שונות.
ציפור קטנה לחשה לי - חלק א 308998
על אדם אני לא יודע, אבל על כבשים דווקא כן. קראו לה דולי.
ציפור קטנה לחשה לי - חלק א 309090
מה אתה יודע? שהיתה להן אותה קוואליה?
(אבל כמובן התכוונתי ל*לא שיבוט*).
ציפור קטנה לחשה לי - חלק א 309093
אני אפילו לא יודע אם היה להן אותו מס' אישי.
ציפור קטנה לחשה לי - חלק א 308889
טוב, נדמה לי שאני מבין אותך עכשיו.

הדיון אינו על השאלה אם הפעילות הפיזיקלית של המוח יכולה ליצור קוואליה. אני מניח שכן (יכול להיות גם שהפיזיקה היום לא מספיקה לכך, אבל המחקר ממשיך להתפתח ואולי נמציא מודלים אחרים. לא עקרוני). הדיון הוא על השאלה אם אפשר לסמלץ את כל הפעילות המוחית באמצעות מ''ט או האם קוואליה נוצרת מהעוצמה החישובית של המוח, או אחד הניסוחים האחרים שהוצעו כאן.
ציפור קטנה לחשה לי - חלק א 308894
על זה אני מדבר בתגובה 308873. אם אנחנו יודעים שתופעה פיזיקלית מסויימת גורמת להופעת קוואליה, ואם אנחנו יודעים לסמלץ את אותה תופעה באופן מדוייק במחשב, הרי שלטעון שהסמלוץ של התופעה במחשב לא יוצר קוואליה מניח שקיים משהו במוח שאין במחשב אבל לא מסביר מהו. זה הקריטריון החסר שעליו אני מדבר שם.
ציפור קטנה לחשה לי - חלק א 308901
אבל אנחנו לא יודעים שתופעה פיזיקלית מסויימת גורמת להופעת הקוואליה. אנחנו יודעים שהמכלול יוצר אותה (כנראה). נגיד את זה כך: אני נוטה להאמין (בלי שום ביסוס מלבד הנחות היסוד שלנו) שאם תעתיק את המוח - אטום לאטום - תקבל יצור שחש קוואליה. אבל זה לא אומר שאם תסמלץ את תופעות שיכולות להיות מסומלצות במחשב תקבל קוואליה. מחשב יכול לסמלץ אולי עוצמה חישובית, אבל הוא לא יכול לסמלץ אינטראקציה כימית, חלל וכדומה. אם אתה מניח שכל העניין הוא עוצמה חישובית אז בסדר. אבל על זה הדיון.
ציפור קטנה לחשה לי - חלק א 308911
אנחנו חוזרים על עצמנו, אז אסיים כאן. רק שים לב: אני מודע לזה שאתה אומר שאנחנו לא יודעים שזו תופעה פיזיקלית שגורמת להופעת הקוואליה, אבל אני אומר "תן קריטריון". כלומר, תן את הגורם שכן גורם להופעת הקוואליה. כל עוד לא הבאת כזה, אני לא רואה שום סיבה לא לחשוב שהתופעה הפיזיקלית גורמת להופעת הקוואליה.
ציפור קטנה לחשה לי - חלק א 308913
לא. תופעה פיזיקלית כן גורמת כנראה להופעת הקוואליה. בוא נבדיל בין ''תופעה פיזיקלית'' לבין ''סימלוץ''. יכול להיות שאפשר לתאר תופעות באמצעות סימלוץ, למשל במ''ט, אבל הסימלוץ לא מהווה את התופעות ובמילא לא יגרום לתוצאותיהן. אנחנו יכולים עקרונית לסמלץ במ''ט התפרצות הר-געש, ועם זאת המ''ט תשאר שלמה ולא תותך.
בתכלס 308921
א- תצטרך כנראה להעתיק יותר מהמוח (איפה הוא נגמר?)
ב- קודם תצטרך להקפיא את הגוף
ג- אם העתקת את הגוף 1:1, מה הראת? ("לניסויי המחשבה האלה ערך בעיניי" תגובה 308619).
בתכלס 308926
לא יודע מה הראתי. כתבתי כבר שאין לי שום ביסוס מלבד הנחות-היסוד שלי. זאת הייתה רק הדגמה לכוונתי שאני לא מניח משהו ''חוץ-מדעי'' ועדיין אני לא צריך לקבל את המודלים המוצעים.
בתכלס 308936
אז אפשר להעתיק או לא? :)
ציפור קטנה לחשה לי - חלק א 308997
אתה מכיר עוד תופעות בעולם ש"לא ניתנ[ו]ת לרדוקציה לפיזיקה", או שהמוח האנושי הוא היוצא מן הכלל היחידי בכל הקוסמוס?
ציפור קטנה לחשה לי - חלק א 309031
המוח האנושי כנראה כן ניתן לרדוקציה לפיזיקה. התוצרים של הפעילות שלו לא.
ציפור קטנה לחשה לי - חלק א 309037
בעיני זאת סתירה.
ציפור קטנה לחשה לי - חלק א 309044
למה?

ומה אתה אומר על מרי, הפיזיקאית המבריקה (אין לי חשק לחפש את התגובה)?
ציפור קטנה לחשה לי - חלק א 309055
כי אם המוח ניתן לרדוקציה פיזיקלית כל התוצרים שלו נובעים מאותם רכיבים פיזיקליים, ניתנים לשחזור ע''י הרכיבים הפיזיקליים, הם תוצאה הכרחית של הפיזיקה המוחית, הם ניתנים לניבוי (תיאורטית) ע''י ניתוח המצב הפיזיקלי, ולכן הם שייכים לתחום הפיזיקה.
ציפור קטנה לחשה לי - חלק א 309108
מאחר שלא כל הפיזיקה עובדת כמו השרשרת שתיארת כאן (קוואנטים וכאלה), האם אני יכול להבין שלדעתך הפיזיקה סותרת את עצמה?

חוץ מזה, איך אפשר לתאר תופעה של חוויה באמצעות "השפה" של הפיזיקה? ואם אי אפשר, האם היא שייכת לתחום הפיזיקה?
ציפור קטנה לחשה לי - חלק א 309161
איזה חלק של הפיזיקה הקוואנטית לא מתאים למה שכתבתי? אתה בטח מתכוון ליכולת הניבוי, אבל תורת הקוואנטים נותנת ניבויים מאד מדוייקים (ניבוי של הסתברויות הוא עדיין ניבוי). תיאוריה פיזיקלית בלי יכולת ניבוי אינה תיאוריה פיזיקלית, כי בלי ניבוי אין יכולת הפרכה (נעזוב לרגע שאלות של עקביות).

ה"חוויה" עצמה לא ניתנת לביטוי במשוואות - אחרת כל הקוואליה לא היתה נכנסת לדיון שלנו - אבל אם היא נובעת אך ורק ממשתנים פיזיקליים וקשרים ביניהם, הרי שתאור המערכת כולל בתוכו גם תאור עקיף אך ממצה של הקוואליה.
ציפור קטנה לחשה לי - חלק א 309175
אבל זה בדיוק העניין. גם אם מרי תדע את התיאור הפיזיקלי המלא של הצבע אדום, היא לא תדע איך נראה הצבע הזה ולא תזהה אותו אם היא תראה אותו פתאום. אז כיצד אפשר להתייחס לתיאור הפיזיקלי כתיאור ממצה? הוא מקסימום תיאור של הגורמים לקוואליה ‏1.

1 וגם, השאלה "גורמים" באיזה מובן - שהיא גם שאלה חוץ-פיזיקלית.
ציפור קטנה לחשה לי - חלק א 309181
אני לא מבין למה אתה מתכוון כשאתה אומר "לא תזהה אותו". הבעיה היחידה שלה תהיה להחליט אם מה שהיא חווה כ"אדום" הוא מה שגם אני חווה. התשובה היא בהכרח "כן"‏1 אם הכל נעוץ בגורמים פיזיקליים. יתר על כן, אוכל לגרות את הנוירונים המתאימים שלה ולגרום לה לחוות אותה חוויה בדיוק בלי לערב שום אור בעניין.
______________
1- נא לא להעלות טיעונים על עיוורים מלידה שלא מסוגלים לראות גם אחרי שהפגם הפיזי תוקן, שכן אני כולל את כל השינויים הנדרשים במבנה המוח שלה לצורך הניסוי שלנו.
ציפור קטנה לחשה לי - חלק א 309266
לא. השאלה אם היא תדע לזהות את הצבע האדום מתוך התיאור הפיזיקלי שלו (תגובה 308850).
ציפור קטנה לחשה לי - חלק א 309284
זאת לא שאלה מעניינת בעיני, שכן היא רק חוזרת על הבעיה המקורית בניסוח אחר, ואגב כך מכניסה לדיון בעיות צדדיות כמו היכולת של המוח להפוך תאור פיזיקלי פורמלי (כלומר, משוואות) למשהו נחווה. התשובה הטריויאלית היא: כמובן שהיא תדע לזהות את הצבע האדום עפ"י התאור הפיזיקלי שלו, כאשר התאור הפיזיקלי נעשה בעזרת פוטונים באורך הגל המתאים. האם משוואות מקסוול יספיקו למרי שלנו כדי לחוות "אדום" בלי שום תיווך? אני מניח שלא, אבל מה בכך? אף אחד לא מכחיש שיש למוח מגבלות מסויימות.

(כבר סיפרתי פעם על מישהו שטען שהוא מסוגל "לראות" בעיני רוחו קוביה ארבע ממדית ולספור את האלכסונים שלה. אולי מישהו יכול היה גם לחוות "אדום" באותו אופן. אין לי מושג)
ציפור קטנה לחשה לי - חלק א 309308
מה זאת אומרת "מגבלות מסוימות של המוח"? שאלת הרדוקציה היא שאלה שנגזרת מהצורה שאנחנו תופסים את העולם בגלל "מגבלות מסוימות של המוח". בטבע עצמו אין "פיזיקה", "ביולוגיה", "פסיכולוגיה", "ספרות". יש (אולי) רק תופעות. השאלה היא *רק* שאלה של הניסוח שלנו כפי שהוא נגזר מהתפיסה שלנו את העולם.

השאלה אם הצבע האדום ניתן לחוויה ע"י התיאור הפיזיקלי שלו פירושה האם אפשר להביע באמצעות המשוואות את החוויה עצמה (ולא את השינויים הפיזיקליים שגורמים לה). אני לא מצליח לדמיין כזה דבר. אולי זאת בעיה פרטית שלי, אבל אם כך אני מצפה שמישהו יראה לי חוויה שמובעת במשוואות. אני בטוח לא אבין, אבל אני מתחייב לקבל את המילה שלכם שזה אכן כך.
ציפור קטנה לחשה לי - חלק א 309352
X^2 + Y^2 + Z^2 = R^2

עכשיו, זרוק אותו בבקשה אלי. תודה.
_____________
האם המשוואה הזאת היתה אומרת לי משהו אם לא הייתי חווה לפני כן כדור? לא, *לי* היא לא היתה אומרת כלום. אני בכלל לא בטוח לגבי מרי, שטוענת שהיא מסוגלת לחוות בקבוק קליין עפ"י המשוואה שלו, למרות ש(תאמין לי) היא לא ראתה אף פעם בקבוק כזה בחדרה האפלולי.
אולי זאת לא דוגמא טובה 309418
הבוקר, בעודי סועד פת של שחרית עלתה במוחי דוגמא אחרת. מה דעתך על קונדיטור שמביט על מרשם, אותו לא ניסה מימיו, ופוסק: "טעים מאד, אבל הייתי מפחית טיפה סוכר ומוסיף קמצוץ זנגוויל". אפילו מיצי הקיבה שלו מתעוררים לתחיה תוך שהוא מעמיק להגות במרשם ומתלבט אם חצי מקל וניל לא יעמעם במקצת את תחושת הקטיפתיות הנימוחה של הבלילה המדומיינת. יאמי.

אח"כ חשבתי שוב שהחשיבות של כל זה נעלמת ממני. גם הזכרון הוא חלק מהפונקציונליות של המוח, ובעזרתו בטוח שאפשר לחוות קוואליה ע"י התבוננות במשוואות. E=MC^2, למשל, מעלה אצלי כל פעם מחדש את הרגשות הסקסיסטיים שלי.
אולי זאת לא דוגמא טובה 309420
אתה לא תגיד לי שאתה נדרש למשוואות חזקות כךל כך מבית מדרשו של איינשטיין לצורך רגשותיך הסקסיסטיים, נכון?
וממה הייתה מורכבת היום פת השחרית שלך, שעוררה בך הרהורים פיוטיים כה?
  אולי זאת לא דוגמא טובה • שוטה הכפר הגלובלי
  אולי זאת לא דוגמא טובה • האייל האלמוני
  אולי זאת לא דוגמא טובה • יהונתן אורן
  אולי זאת לא דוגמא טובה • שוטה הכפר הגלובלי
  אולי זאת לא דוגמא טובה • יהונתן אורן
  אולי זאת לא דוגמא טובה • אח של אייל
  אולי זאת לא דוגמא טובה • יהונתן אורן
  אולי זאת לא דוגמא טובה • אח של אייל
  ציפור קטנה לחשה לי - חלק א • האייל האלמוני
  ציפור קטנה לחשה לי - חלק א • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק א • האייל האלמוני
  ציפור קטנה לחשה לי - חלק א • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק א • האייל האלמוני
  ציפור קטנה לחשה לי - חלק א • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק א • האייל האלמוני
  ציפור קטנה לחשה לי - חלק א • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק א • האייל האלמוני
  ציפור קטנה לחשה לי - חלק א • עומר
  ציפור קטנה לחשה לי - חלק א • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק א • אביב י.
  ציפור קטנה לחשה לי - חלק א • האייל האלמוני
  ציפור קטנה לחשה לי - חלק א • אביב י.
  ציפור קטנה לחשה לי - חלק א • האייל האלמוני
  כמה שוקל נוירון? • שוטה הכפר הגלובלי
  כמה שוקל נוירון? • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • סמיילי
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  מט ב 5 מסעים • אח של אייל
  מט ב 5 מסעים • שוטה הכפר הגלובלי
  מט ב 5 מסעים • אח של אייל
  מט ב 5 מסעים • רון בן-יעקב
  מט ב 5 מסעים • גדי אלכסנדרוביץ'
  מט ב 5 מסעים • רון בן-יעקב
  מט ב 5 מסעים • גדי אלכסנדרוביץ'
  מט ב 5 מסעים • רון בן-יעקב
  מט ב 5 מסעים • גדי אלכסנדרוביץ'
  מט ב 5 מסעים • רון בן-יעקב
  מט ב 5 מסעים • גדי אלכסנדרוביץ'
  מט ב 5 מסעים • שוטה הכפר הגלובלי
  מט ב 5 מסעים • שוטה הכפר הגלובלי
  מט ב 5 מסעים • אח של אייל
  מט ב 5 מסעים • שוטה הכפר הגלובלי
  מט ב 5 מסעים • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • עוזי ו.
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • עוזי ו.
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  על מה חולמות הרכבות בלילות? • ראובן
  על מה חולמות הרכבות בלילות? • שוטה הכפר הגלובלי
  על מה חולמות הרכבות בלילות? • ראובן
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • עוזי ו.
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • עוזי ו.
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • עוזי ו.
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • אלון עמית
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • עוזי ו.
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • ראובן
  ציפור קטנה לחשה לי - חלק ב • ראובן
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  מצא את ההבדלים. • ראובן
  מצא את ההבדלים. • שוטה הכפר הגלובלי
  לך ואמור לאומן שעשאני כמה מכוער כלי זה שעשית • ראובן
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • ראובן
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • ראובן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • ירדן ניר-בוכבינדר
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • עומר
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • עומר
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • עומר
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • עוזי ו.
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • עוזי ו.
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  הערה קטנה • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • ירדן ניר-בוכבינדר
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • ירדן ניר-בוכבינדר
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  זה לא כל כך נעים לראות מחלקה סגורה • ירדן ניר-בוכבינדר
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  נמנע • האדם השלישי
  נמנע • שוטה הכפר הגלובלי
  נמנע • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • איילה מנסה לברר
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  רובוט הדור השלישי • אח של אייל
  רובוט הדור השלישי • האייל האלמוני
  רובוט הדור השלישי • אח של אייל
  רובוט הדור השלישי • האייל האלמוני
  רובוט הדור השלישי • שוטה הכפר הגלובלי
  רובוט הדור השלישי • האייל האלמוני
  רובוט הדור השלישי • שוטה הכפר הגלובלי
  רובוט הדור השלישי • האייל האלמוני
  רובוט הדור השלישי • שוטה הכפר הגלובלי
  רובוט הדור השלישי • אח של אייל
  רובוט הדור השלישי • האייל האלמוני
  על קוואליה ועל איש הפח • איש הפח
  על קוואליה ועל איש הפח • האייל האלמוני
  על קוואליה ועל איש הפח • איש הפח
  על קוואליה ועל איש הפח • האייל האלמוני
  על קוואליה ועל איש הפח • אח של אייל
  על קוואליה ועל איש הפח • האייל האלמוני
  על קוואליה ועל איש הפח • אח של אייל
  על קוואליה ועל איש הפח • שוטה הכפר הגלובלי
  על קוואליה ועל איש הפח • אח של אייל
  על קוואליה ועל איש הפח • שוטה הכפר הגלובלי
  על קוואליה ועל איש הפח • האייל האלמוני
  על קוואליה ועל איש הפח • האייל האלמוני
  על קוואליה ועל איש הפח • אח של אייל
  על קוואליה ועל איש הפח • האייל האלמוני
  על קוואליה ועל איש הפח • אח של אייל
  על קוואליה ועל איש הפח • שוטה הכפר הגלובלי
  על קוואליה ועל איש הפח • האייל האלמוני
  על קוואליה ועל איש הפח • שוטה הכפר הגלובלי
  על קוואליה ועל איש הפח • האייל האלמוני
  על קוואליה ועל איש הפח • ירדן ניר-בוכבינדר
  על קוואליה ועל איש הפח • ירדן ניר-בוכבינדר
  על קוואליה ועל איש הפח • האייל האלמוני
  על קוואליה ועל איש הפח • שוטה הכפר הגלובלי
  על קוואליה ועל איש הפח • ירדן ניר-בוכבינדר
  קונקרטיזציה: • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • ירדן ניר-בוכבינדר
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • עוזי ו.
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • גדי אלכסנדרוביץ'
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • ראובן
  ציפור קטנה לחשה לי - חלק ב • ראובן
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • יהונתן אורן
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • עוזי ו.
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • עוזי ו.
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • האייל האלמוני
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי - חלק ב • אח של אייל
  ציפור קטנה לחשה לי - חלק ב • שוטה הכפר הגלובלי
  ציפור קטנה לחשה לי • רון בן-יעקב
  ציפור קטנה לחשה לי • יהונתן אורן
  ציפור קטנה לחשה לי • רון בן-יעקב
  ציפור קטנה לחשה לי • רון בן-יעקב
  אתמול היית בבית קפה • אח של אייל

חזרה לעמוד הראשי

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים