בתשובה לשייח ספיר, 22/10/07 9:16
לרבע את הלולאה. 460785
ניסוי מחשבה: נניח שמצליחים להרכיב מספיק טרנזיסטורים, או מספיק תאי-תוכנה, כדי לסמלץ מוח אנושי נוירון-נוירון, על-פי המודלים הקיימים היום לעירור נוירונים (בלי קוונטים). ונניח שמתברר שהדבר הזה מתפקד מבחינת קלט-פלט כמו מוח אנושי (מנהל שיחה, מתעצבן, מזמזם מנגינות, ואומר "זה אדום" כשהוא רואה אבטיח).

(1) אני מבין שזה נראה לך לא סביר, אבל האם זה נראה לך לפחות אפשרי?
(2) אם כן, האם אתה לא חושב שאולי תתחיל לחשוד שמא בכל זאת יש לדבר הזה תודעה אמיתית?
לרבע את הלולאה. 460802
לי לפחות זה נראה בלתי אפשרי לחלוטין.
לרבע את הלולאה. 460814
מה בדבר נוירון בודד? האם בלתי אפשרי בעיניך שבאלף השנים הבאות ניתן יהיה להחליף נוירון אחד באביזר סיליקוני שיחקה את פעולתו במדויק?
לרבע את הלולאה. 460846
למה אתה מגביל את השאלה לסיליקון?
לרבע את הלולאה. 460855
סתם, כי זאת טכנולוגיה מוכרת.
לרבע את הלולאה. 460858
יש בעיה (חוץ מזה שאנחנו לא יודעים איך לעשות את זה, אני מתכוון לבעיה עקרונית) בלבנות ניורון מאותם חומרים שהטבע בונה, או בלהשתמש בניורון שהטבע כבר בנה למטרות משלנו?
לרבע את הלולאה. 460863
אני לא יודע למה אתה קורא "בעיה" אבל דומני שחלק משוללי האפשרות ל AI חזק טוענים שיש איזה מרכיב ייחודי למוחות טבעיים. הניסוי המחשבתי של החלפת נוירון אחר נוירון ברכיב אלקטרוני‏1 מקביל אמור לחדד את הנקודה.

____________
1- כדי שלא אובן לא נכון, אני לא אביו הרוחני של הניסוי הזה.
לרבע את הלולאה. 460866
למה אתה חושב שדווקא רכיב אלקטרוני יחדד את הבעיה?
לרבע את הלולאה. 460899
נו, בסופו של ניסוי המחשבה הזה מגיעים למחשב, וזה מ.ש.ל.
לרבע את הלולאה. 460916
חשבתי שהמטרה של ניסוי המחשבה היא לבנות מכונה שחושבת. טעיתי?
לרבע את הלולאה. 460959
לבנות אותה מרכיבים לא אורגניים.
לרבע את הלולאה. 460989
מה הופך רכיבים אורגניים לפסולים? אי אפשר לשחזר ניורון בעזרת רכיבים לא אורגניים?
לרבע את הלולאה. 460990
חוקרי הבינה המלאכותית, כיום, חוקרים את האפשרות ליצור בינה במחשב. שייח ספיר ואחרים טוענים שלא תיתכן בינה במחשב. השוטה ניסה בניסוי המחשבה שלו לשכנע שכן תיתכן בינה במחשב. אם היו מגיעים למסקנה שזה אפשרי, הויכוח נגמר. אם היו מגיעים למסקנה שזה לא אפשרי, אז אפשר לדון על מכונות מסוג אחר (כפי שהצעת). בהקשר הדיון, הדיבור על טרניזטורים דווקא, ודווקא מסיליקון, הוא ''חזק'' יותר.
לרבע את הלולאה. 461024
כדי לא להתהדר בנוצות זרים, אני רוצה להדגיש שוב שזה אינו ניסוי מחשבה שלי אלא של <הכנס את השם המתאים שכמובן פרח מזכרוני>. לצערי.
לרבע את הלולאה. 461026
אולי דניאל דנט?
.ניסוי מחשבה של סירל. החדר הסיני 694957
.ניסוי מחשבה של סירל. החדר הסיני
.ניסוי מחשבה של סירל. החדר הסיני 694972
ההפך. החדר הסיני הוא ניסוי מחשבה שמנסה להוכיח שלא תיתכן בינה מלאכותית. הוא לא מציע להחליף נוירון-נוירון. חוץ מזה הוא שגוי בעליל.
.ניסוי מחשבה של סירל. החדר הסיני 694982
א. חשבתי שהוא מנסה להראות שיכולה להיות ישות שמציגה חזות של בינה, אבל איננה כזאת במונחים מקובלים.
.ניסוי מחשבה של סירל. החדר הסיני 695033
נכון, זה יותר מדויק ממה שכתבתי.
לרבע את הלולאה. 461048
הוא אולי חזק יותר, אבל אני לא משוכנע שהוא עוזר לטיעון. בגלל שהוא מעביר אותו מהמישור העקרוני למישור הטכני, אז אם התשובה תהיה שלילית, אין לשוטה לאן להתקדם לחיזוק הטיעון שלו (אין טעם להכנס לויכוחעל מה אפשר אואי אפשר לעשות בעזרת סיליקון, זה בטח לא ישכנע אף אחד שיש או אין קואלה), וזה רק בגלל שהוא הגביל את עצמו מראש. אבל, האמת, גם אחרי שהשוטה יבנה מכונת טיורינג ו/או יצליח להבין מה בדיוק עושה כל ניורון וניורון במח (ואיך) ו/או אחרי שהוא יצליח לבנות תוכנת תרגום כל כך מוצלחת שתדע לבחור בהצלחה בין ינשוף לתנשמת (ואני בכלל לא בטוח שמדובר במשימות כל כך קשורות) הוא לא יצליח לסיים את הדיון על קיומה של הקואלה. אז, מה אני מתערב?
לרבע את הלולאה. 461050
בוא נראה קודם אם יש סיבה לחשוב שהתשובה באמת שלילית. אם הויכוח הוא באמת טכני, כלומר כל הקושי מצטמצם לבניית מעבד שמחקה במדויק פעולה של נוירון, נראה לי שהתקדמנו קצת.
לרבע את הלולאה. 461156
לחדד את הנקודה: אי אפשר "להחליף" את הנוירונים במוח ברכיבים אלקטרוניים (למשל) ולקבל אותה פונקציונליות במקרים הבאים:
1) אם יש מאפיינים בתפקוד הנוירון שרלוונטיים לפעילות המוחית ושאינם מהווים אופרציות לוגיות.
2) אם יש אפקטים "הוליסטיים" ההופכים את הרשת הנוירונית ליותר מסכום מרכיביה. למשל, מצבי, שזירה קוונטית בין נוירונים שונים או קוהרנטיות קוונטית מאקרוסקופית (כמו בעל-מוליך או בעיבוי בוז-איינשטיין, למי שמכיר).
לרבע את הלולאה. 461214
1) יש כבר היום איברים מלאכותיים אחרים שעושים את מלאכתם נאמנה, אז על סמך מה אתה טוען את זה?
2) גם מחשב הוא "יותר מסכום חלקיו", ואין לנו בעיה לבנות כאלו.
לרבע את הלולאה. 461361
אני נוטה להסכים לסעיף הראשון, ולהסכים בהסתייגות לשני (ההסתייגות היא בערך מה שדורפל אמר: גם אפקטים "הוליסטיים" ניתנים לחיקוי אם הם נובעים מעצם החיבור של הרכיבים). לדעתי ההשערה הסבירה יותר היא שלילת שניהם.
לרבע את הלולאה. 460849
ראשית, הייתי צריכה אולי להבהיר שמה שבלתי אםשרי בעיניי הוא שהוא יתעצבן. השאר ייתכן בהחלט.
שנית, לגבי נוירון בודד *שיחקה* את פעולתו? אין לי מושג. ייתכן בהחלט שכן.
לרבע את הלולאה. 460856
''יחקה'' במובן שיוציא אותו פלט עבור אותו קלט.
לרבע את הלולאה. 460859
כשמישהו יגיד לו (באופן כללי) לעשות זאת.
לרבע את הלולאה. 460862
לא הבנתי.
לרבע את הלולאה. 460864
כלומר, נוירון שייצרו עם תוכנה שאומרת לו איזה פלט מתאים לאיזה קלט.
לרבע את הלולאה. 460868
כמובן. ובכן, זה אפשרי? האם המוח החדש יתנהג *בדיוק* כמו המקורי?
לרבע את הלולאה. 460873
איך קפצת מנוירון למוח?
לרבע את הלולאה. 460875
התחלתי ממוח רגיל‏1, והחלפתי בו נוירון אחד בנוירון מלאכותי. את החיבורים הסינפטיים יישמתי באמצעות SiliBio coupler - מתקן זעיר שהמצאתי לצורך הניסוי.
______________
1- אם ברקת נשמעת לכם קצת off לאחרונה, זה בגלל בעיות כיוונון קלות.
לרבע את הלולאה. 460876
silly*bio*.
לרבע את הלולאה. 460880
משהו שמקשר בין סיליקון לבשר? כמובן שהשם המתאים הוא
SiliCon Carne

לרבע את הלולאה. 460881
מצטערת, הכוכבים אצלי התבלבלו במקומם. הדגש היה על "silly".
לרבע את הלולאה. 460883
כן, הצלחתי להבין את ההתחכמות, אבל דומני שהדיאלוג שלנו מחכה לתשובה.
לרבע את הלולאה. 460885
אני לא האלמוני[ת] ואני אפילו לא מתנגד לתזה הסופית, אבל גישה מכיוון פרדוקס הערימה לא נראה לי יעיל כאן. אנחנו מכירים הרבה דוגמאות בהן הבדל כמותי הוא גם הבדל איכותי (כמות החמצן באוויר וגמלים נושאי קש הם שניים).
לרבע את הלולאה. 460961
אני מדגיש שבניסוי שלנו אנחנו מסוגלים להחליף נוירון במשהו שפועל *בדיוק*‏1 כמוהו. קש שמשקלו אפס לא שובר גב של אף גמל.
___________
1- כמובן שאם נוירון פועל באופן הסתברותי, הרכיב שלנו יפעל בהתאם לאותה פונקציית הסתברות *בדיוק*.
התחליף היחיד לDC3 460963
אני חושב שהבעיה היא שפר הגדרה, הדבר היחיד שפועל *בדיוק* כמו הנוירון הוא אותו נוירון. אם אתה צריך למדל את *כל* המאפיינים של המוח כדי לקבל מוח, ושאם תסיר פרט כלשהו לא תראה כלום, אז מצבנו חסר תקווה. הרי זאת בדיוק האסטרטגיה של קוראי פנרוז- מכיוון יש תכונות של נוירונים שאיננו יכולים לחקות במדויק בשום שיטה מדעית הידועה לנו, הרי שלעולם לא נוכל לחקות את התכונה *המסויימת הזאת* של מצבור של נוירונים.

אולי גם צריך להדגיש שלא מספיק שאנחנו מצליחים *לייצר* נוירון חלופי, אלא שהנוירון הזה צריך להיות כזה שאנו "מבינים" מה הוא עושה בכל מצב, אחרת אפשר להסתפק בהשתלת נוירונים (כי בעצם מה ההבדל בין נוירן שגודל בצלחת לבין נוירון שייוצר מסיליקון).

ברור שצריך להזניח כל מיני דברים. אולי אנחנו צריכים להתעלם מאינטראקציות של גרביטיצה קוונטית עם הטובולין. אולי אנחנו יכולים להסתפק במעטפת אורגנית עם רכיב אלקטרוני בתוכו, וכולי. אני יכול לחתום על "יחקה את פעולתו בצורה משביעת רצון עבור החלפתו במקום נוירון ספציפי". אני לא בטוח שאפשר לקפוץ משם ל"ההבדלים בין הנוירון הטבעי לנוירון המלאכותי הם קטנים מספיק שגם "מוח" שלם של מלאכותיים יתפקד כמו מוח של טבעיים".
התחליף היחיד לDC3 460964
ייתכן. לכן שאלתי תחילה אם הבעיה נעוצה, לדעת המתנגדת, בחיקוי מושלם של נוירון בודד מבחינת הפעילות החישובית שלו. אם ההתנגדות היא שחיקוי כזה אינו אפשרי, לפחות מיקדנו את הבעיה לרכיב הרבה יותר פשוט מהמוח, ואז נוכל לשאול מה הקושי העקרוני שמונע מאיתנו לעשות את זה. אני מניח שהטענות הן מהכיוון של השפעות לא לוקאליות (אותן אינטרקציות של גרביטציה קוואנטית, מה שהן לא תהיינה), אבל יהיה נחמד לשמוע אותן במפורש.

(אגב, כל הכנסת הקוואנטים לסיפור נשמעת לי מוכרת למדי, רק שבשעתה נהגו לקרוא לה ''הרוח שבמכונה'', ולחילופין ''הניצוץ האלוהי''. גרביטציה קוואנטית, למיטב ידיעתי, היא ביצה שלא נולדה לתרנגולת לא קיימת)
התחליף היחיד לDC3 460965
אני מסכים שנראה שהרבה מהמצדדים בהכנסת הקוונטים עושים זאת מתוך שלא לשמה.
לרבע את הלולאה. 460890
זהו, שאני לא בטוחה איך להגיב, כיוון שאינני בטוחה אם זה דיאלוג או התנצחות. תגובה 460875 נראתה לי יותר בכיוון השני.
אבל למקרה שבכל זאת התכוונת לדיאלוג, אשאל שאלה מקדימה: אם אתה מדבר על תהליך שתחילתו בהחלפת נוירון אחד במח טבעי, האם סיומו (התיאורטי, כמובן) בהחלפת כל חלקי המח דנן ב"רכיבים" מלאכותיים, תוך שהוא נשאר על כתפיו של אותו גוף טבעי?
לרבע את הלולאה. 460960
כן, זה הרעיון.
לרבע את הלולאה. 461013
כלומר, זה כולל גם את הדם, החמצן, החומר האפור (והירוק והסגול...) וכיו"ב?
לרבע את הלולאה. 461028
השאלה המקדימה שלך הופכת להיות דיון ארוך בפני עצמו, וחבל. אני מציע שלא ננסה לתאר מראש מה יהיה סופו של התהליך, אלא נתרכז בתהליך עצמו ונראה מה ייצא לנו. ובכן, האם מוסכם שאין מניעה עקרונית לבנות מעבד קטן שמבצע *בדיוק* מה שנוירון מבצע? אם לא, אשמח לשמוע למה (אם אפשר, בלי להשתמש במלים "גרביטציה קוואנטית"). אם כן, אשאל את השאלה הבאה: האם המוח החדש שבו נוירון אחד הוחלף בתאומו הסיליקוני פועל *בדיוק* כמו המוח המקורי?

גם מסע של מוח שלם מתחיל בנוירון קטן אחד.
לרבע את הלולאה. 461036
הבעיה שלי עם הטיעון היא: האם מוח בו הסרנו לחלוטין נוירון אחד פועל בדיוק כמו המוח המקורי? הרי בסה"כ בכל יום מתים לא מעט נוירונים במוח ונראה שהוא ממשיך בפעילות הרגילה.
אם תאמר שפעילותו משתנה כל הזמן (וזה גם נכון) אני אשאל אם המוח בו הוחלפו הנוירונים ברכיבים אלקטרונים שמדמים אותם אכן ידמה מוח אמיתי שבו הנוירונים מתים להם פה ושם בעוד שהרכיבים האלקטרונים מחזיקים מעמד.
לרבע את הלולאה. 461039
זה לא ממש משנה. אפשר להניח כאן כמה הנחות אלטרנטיביות:

- מוח חסר נוירון אחד (כלשהו) אינו פועל *בדיוק* כמו המוח המקורי, למרות שההבדל זעיר ואולי בא לידי ביטוי רק בסיטואציות מאד מיוחדות.

- יש נוירונים יתירים או חסרי שימוש במוח, והסרתם אינה מעלה ואינה מורידה.

- כל הנוירונים יתירים, כך שהסרת נוירון אחד לעולם לא משפיעה על פעולת המוח (מלבד במוח מסכן שבו הסרת את אחרון היתירים שעוד עבד).

בכל המקרים, כל מה שחשוב לניסוי שלנו הוא שהחלפת ניורון בתאומו הסיליקוני לא שינתה כלום לכן ניתן לחזור עליה, בעוד חזרה על תהליך של הסרת נוירון תביא, בסופו של דבר, לפגיעה בפעילות המוחית - מי כמוני יודע.

אם אתה רוצה לדמות גם את הדינמיקה של מוח בו נגרעים נוירונים, השבת חלק מהמעבדים עפ"י הצורך, או השתמש ברכיבים עם זמן קיום תואם לזה של נוירונים.
לרבע את הלולאה. 461042
ההנחה השלישית שלך קצת מסתבכת עם פרדוקס הערמה, לא? היא נראית לי קצת בעייתית. כלומר, יכול להיות שיש כאן עניין של מסה קריטית של מספר הנוירונים.
לרבע את הלולאה. 461043
כאמור, כל אלה אינן מעלות ואינן מורידות. איזי שאל משהו ספציפי על נוירון בודד והתייחסתי לזה. לא ניסיתי להגיד שאפשר להמשיך בתהליך עוד ועוד, שכן ברור שאחרי הסרת מספר מספיק של נוירונים המוח מפסיק ל
לרבע את הלולאה. 461052
ראשית, נסלק את המפלצת הקרויה "גרביטציה קוונטית": אם תסביר לי בדיוק מה זה, אולי נחזור אליה. עד אז - אין לי מושג ירוק איך, אם בכלל, היא קשורה לעניין.
שנית, אין לי מושג כחול גם אם יש או אין מניעה עקרונית לבנות מעבד שמבצע את מה שמבצע נוירון. לצורך העניין אסכים שאין מניעה כזאת, ואפילו אניח שמחד בבוקר כבר יודיעו שהמעבד דנן קיים, ובגודל המתאים.
שלישית, לעת עתה אינני מתעכבת על פרדוקס הערימה של ראובן, על אף שהוא בהחלט מהווה בעיה לדעתי.
בקיצור, את שאלותיי האחרונות שאלתי משום שלמיטב ידיעתי המוח האנושי איננו בנוי מנוירונים בלבד, ואפילו לא מנוירונים וסינפסות בלבד, והמסע אל המוח הסיני מתחיל אולי בנוירון אחד, אבל ממש לא מסתיים בו.
לרבע את הלולאה. 461053
אוקיי, לפי הסדר:

ראשית, גם לי אין מושג איך היא מתקשרת לענייננו, היא נכנסה לדיון ע"י שייח ספיר (בעקבות פנרוז?) ובעיני היא אינה יותר מדג מלוח אדום (עד שלא יוכח אחרת).

שנית, אם כך לצורך הדיון אנחנו מניחים שאפשר לבנות את הנוירון המלאכותי שלנו. מצויין.

שלישית, אינני רואה איך פרדוקס הערימה נכנס הנה אם הסכמנו על ה"שנית", אבל אני מוכן לחכות לו עד שיגיח, בזמן ובמקום שתבחרי.

בקיצור, אם אני מבין אותך נכון, את מעלה את האפשרות שביצירת אותו גורם חמקמק שאנחנו מנסים לייצר, נקרא לו "תודעה" או "אינטליגנציה של ממש" או "רוח האדם" או מה שלא יהיה, מעורבים לא רק הניורונים אלא רכיבים נוספים, אולי אותם מיני-צינורות של פנרוז ואולי משהו אחר. לפחות אחד מכל אלה לא יכול להיות מחוקה במדויק ע"י סימולציה דיגיטלית. כן?
לרבע את הלולאה. 461056
עזוב אותי מפנרוז. אם יש שם מיני צינורות אני מסכימה שתחליף אותם בפלסטיק. לא בזה העניין מבחינתי.
כרגע אני מדברת רק על שתי נקודות: האחת - שלהערכתי יש תפקיד *לכל* רכיב במוח, בין שיודעים מהו ובין שעדיין לא יודעים, ויש תפקיד משמעותי מאוד לחיבורים ביניהם ולמבנה הכללי, ואינני יודעת אם את הכל ניתן להחליף בסימולציה דיגיטלית, אנלוגית, מחיטה מלאה או מחלב אורגני. והשנייה - שיש תפקיד גדול עוד יותר, אפילו, לאופן שבהם פועלים הקלט והפלט של המוח הזה, מנין הם מגיעים ואיך מקורם משפיע על פעולתם.
לרבע את הלולאה. 461058
הערכתך לגבי *כל* רכיב לא משנה כלום, וכנ"ל לגבי החיבורים ביניהם, כל עוד מוסכם שכל רכיב מתחבר לרכיבים אחרים במספר סופי של נקודות ידועות. אשר ל"מבנה הכללי", אם הוא מכיל יותר מאשר כל הרכיבים והחיבורים ביניהם (נניח שדות חשמליים או משהו) אזי באמת הפרוק לרכיבים אינו עובד, אלא שככל הידוע זה לא המצב.

הנקודה השניה שלך תמוהה ביותר. אם אני מגרה את עצב הראיה שלי באותם פולסים שהוא מקבל כאשר אני רואה תמונה של אנג'לינה, את חושבת שהאנחה שאשמיע תהיה שונה?
__________
(מתחיל לקנן אצלי החשד שאת האיילת הממושקפת)
לרבע את הלולאה. 461059
רק רגע, האם אתה מתכוון לייצר מוח מלאכותי שיחליף מוח פגום, נאמר, אצל אדם מסוים - או לייצר מחשב תבוני?
לרבע את הלולאה. 461360
אני מנסה לברר את הקושי העקרוני בבניית מכונה אינטליגנטית. בשלב הזה עוד אין לי תוכניות לסטארט-אפ.
לרבע את הלולאה. 461363
הסיבה לשאלה היא שמחשב תבוני נראה לי בלתי אפשרי, ואילו מוח מלאכותי - בתנאים מסוימים - אולי כן.
לרבע את הלולאה. 461367
מה ההבדל בין מחשב תבוני למוח מלאכותי?
לרבע את הלולאה. 461371
ההבדל הוא בדיוק במקור שממנו הוא מקבל את הקלט שלו.
לרבע את הלולאה. 461373
מה משנה המקור? עצב הראיה שלי מעביר אותות חשמליים, ולא ממש משנה לו אם הם נוצרו בקולטנים שבעין או ע"י תא פוטואלקטרי.
לרבע את הלולאה. 461377
אה, אז עכשיו אתה לא מסתפק רק בנוירונים וסינפבות, אלא מוסיף גם תא פוטואלקטרי? מה עוד תוסיף?
לרבע את הלולאה. 461379
כל מה שתדרשי ולא יהיה בלתי ישים בעליל.
לרבע את הלולאה. 461460
מה פירוש "מה שתדרשי"? מה יפעיל את המחשבים התבוניים האלה?
לרבע את הלולאה. 461461
הרצון להזדווג עם חשבוניות תבוניות.
לרבע את הלולאה. 461463
מה יכתיב להם את הרצון הזה?
לרבע את הלולאה. 461465
זה יהיה מקודד בחומרה, כמובן. כמו אצלנו.
לרבע את הלולאה. 461472
איך יקודדו את זה?
ואם זה יהיה מקודד בחומרה, אז מדוע דווקא זה?
לרבע את הלולאה. 461573
נראה לי שהבדיחה (הלא מוצלחת) שלי הרחיקה לכת.

בכ"ז, מה שאתה צריך זאת איזו פונקציית מטרה שמובנית אמלך וגורמת לך לעשות דברים.

כמו שאצל זכרי האדם מקודדת המטרה "להרשים בחורות" (יוריסטיקה לא מוצלחת להשגת יחסי מין) וגורמת להם לעשות דברים מטופשים כמו: לכבוש אימפריות, להמציא את הגלגל ואת המחשב, לצבור ידע חסר שימוש ולהשתמש בו כדי להתווכח עם ישויות אנונימיות (ולעיתים תבוניות) דרך האינטרנט.
לרבע את הלולאה. 461591
תנוח דעתך, בדיחתך נרשמה בנוירוניי מלכתחילה בקטגוריית "בדיחות וחידודים".:)
לרבע את הלולאה. 461466
אם את רוצה אמצעי ק/פ, נוסיף אמצעי ק/פ. אם תדרשי מערכת הנעה, נוסיף מערכת הנעה, וכך הלאה. אנרגיה סולארית.
לרבע את הלולאה. 461467
ק/פ?
לרבע את הלולאה. 461468
קלט פלט.
לרבע את הלולאה. 461471
שמע, אתה מתחיל מהשאלה אם אפשר לייצר נוירון אחד באמצעים מלאכותיים, וכשאני אומרת שאולי אפשר (ושאין לי מושג), אתה מחליק על כל השאר כאילו אותו נוירון הוא הבעיה היחידה כאן וכבר יש לנו מחשב תבוני כהלכתו. איך בדיוק תוסיף אמצעי ק/פ, למשל? האם האמצעים האלה בהכרח ייצרו צרכים? ואם כן, איך ולמה? ואם לא, מה יניע את המחשבים האלה?
לרבע את הלולאה. 461487
אני לא מבין מה את אומרת. אני מציע בסה"כ להחליף נוירון אחר נוירון במקבילה הסיליקונית שלו, ושואל מה יקרה לדעתך למוח כולו, בהנחה שהמקבילה הסיליקונית הנ"ל מדוייקת לחלוטין. כל השאר לא משנה - אפשר להשאיר את האביזרים המקוריים (עיניים, אזניים...) או להחליף אותם במצלמה ומיקרופון אם משום מה זה מה שתרצי לעשות. איפה הבעיה?
לרבע את הלולאה. 461496
אני שואלת שוב - אם מדובר במחשב תבוני ולא במוח - מה יניע אותו? (הנעה במובן מוטיבציה, כמובן).
לרבע את הלולאה. 461499
מה מניע אותך?
לרבע את הלולאה. 461506
צרכים ורצונות.
לרבע את הלולאה. 461559
לדעתי אלה אינם אלא ביטוי של מצב הנוירונים במוח, כך שהם לא נפגעים בניסוי.
לרבע את הלולאה. 461588
לא התבלבלת? לא הצרכים הם שגורמים למצב הנוירונים במוח?
ומה פירוש "הם לא נפגעים בניסוי"?
לרבע את הלולאה. 461592
לא התבלבלתי. אני לא יודע מה זה ''צורך'' מלבד אספקט מסויים של מצב הנוירונים במוח.
לרבע את הלולאה. 461594
למיטב הבנתי, אם תפסיק סופית לאכול ולשתות, תפסיק להיות.
וגם - מה משנה את מצב הנוירונים במוח אם אין להם קלט או פלט?
לרבע את הלולאה. 461596
המוח דואג לכך שלא תפסיקי לאכול ולשתות אם יש אפשרות כזאת. אם את רומזת לכך שהוא מקבל איתותים מהגוף על המצב הפיזיולוגי, ולזה את קוראת "צרכים", ניחא. מה זה משנה לנו? כפי שכבר אמרתי, הניסוי שלנו לא מניח ניתוק מהגוף או מכל מקור גרוי אחר אם את חושבת שחיבור כזה חיוני.

מי אמר שאין קלט? ולמה שהמצב לא ישתנה בלי קלט? וּלְמה כל זה שייך?
לרבע את הלולאה. 461600
!. הבהר "הניסוי שלנו". על איזה ניסוי מדובר? אני חשבתי שמדובר בשאלה על ההבדל בין מחשב תבוני לבין מוח מלאכותי. מחשב תבוני איננו מחובר לגוף חי, עד כמה שהבנתי.

2. למה שהמצב *ישתנה* בלי קלט?

___________________
שוב לא ברור לי אם עברנו להתנצחות או שאתה באמת לא מבין.
לרבע את הלולאה. 461602
1.הניסוי שבו מחליפים נוירון במעבד אלקטרוני קטן, ואח"כ חוזרים על התהליך שוב ושוב.

2. למה לא? יש הרבה מערכות שמשתנות עם הזמן בלי שום קלט. שומר המסך שלי, למשל.
לרבע את הלולאה. 461606
1. ואני שוב שואלת, מה השגת בסוף התהליך - מוח מלאכותי או מחשב תבוני?

2. האם שומר המסך שלך מפעיל תבונה?
לרבע את הלולאה. 461607
2. אני חושב שלשומר מסך יש קלט - זמן.
לרבע את הלולאה. 461648
2. "קלט" מהסוג הזה יש לכל מערכת (מלבד לחלקיקים חסרי מסה).
לרבע את הלולאה. 461649
1. מה זה משנה איך את קוראת ליצור החדש? העיקר שיש לנו יצור תבוני שמנגנון התבונה שלו אינו ביולוגי.

2. ככל הנראה, לא. האם הטענה העכשווית שלך היא שתבונה מחייבת קלט משתנה? אני לא חושב שזה נכון‏1, אבל זה (שוב) לא משנה לנו. כבר הסכמתי להוסיף אמצעי ק/פ ככל שיידרש.
_______________
1- חלמתי חלום!
לרבע את הלולאה. 461650
1. לא משנה איך אני קוראת לו, משנה איך הוא בנוי.

2. שוב משנה איך הוא בנוי. אני הסכמתי שייתכן שניתן לייצר נוירון מלאכותי בודד; אתה דילגת ממנו למוח שלם ולמחשב תבוני בקלילות יתרה, משום שכנראה אינך מעלה בדעתך שהמוח מורכב מעוד כמה דברים - או שבמידה שהוא מורכב מהם והם בעלי משמעות, הרי שאותם ודאי אין כל בעיה לייצר באופן בלאכותי, וכך גם את כל המבנה המורכב הקובע את היחסים ביניהם. אתה מוכן גם להתחייב לספק לי באופן מלאכותי כל רכיב אחר שיידרש. זה אמנם חביב מאוד מצדך, אבל טרם אמרת איך תספק אותו. אז אני שוב שואלת: איך תספק צרכים? (ואין טעם לומר לי ש"צרכים" מבחינתך הם מצבי נוירונים. המצבים האלה לא מתרחשים מעצמם).
לרבע את הלולאה. 461660
לפחות "צרכים", כמו תודעה, תבונה וחיבה ללהקת אבבא, הם חלק ממה שהניסוי של השוטה בא לטפל בו. אם מחליפים נוירון אחד בנוירון מלאכותי, האם משתנים הצרכים של המוח (או ה"מוח")? השוטה מבקש שנקבל שלא. ואם מחליפים עוד נוירון? וגו'.
לרבע את הלולאה. 461668
התודעה, התבונה והחיבה ללהקת אבבא אינן צרכים: שתי הראשונות הן תוצאים, השלישית היא נטייה. אוכל, שתייה ונשימה הם צרכים, והם פיזיים לחלוטין. אני טוענת שהם אלה שמפעילים את הנוירונים, ומשום כך בהיעדרם צריך להיות משהו אחר שיפעיל אותם.
לרבע את הלולאה. 461682
לא אמרתי שהתודעה וכו' הם צרכים. אבל לא משנה. מה שמפריע לי לאורך הויכוח שלך עם השוטה הוא שאת כל הזמן מדלגת לסוף. בכוונה השוטה בנה את הניסוי כך שאנו מתחילים בלהחליף נוירון אחד. לאו דווקא חשוב במיוחד, סתם אחד מאמצע המוח. אם את טוענת שבסוף זה לא יעבוד, את צריכה עדיין לענות מאיזה שלב זה יפסיק לעבוד.

את טוענת שצרכים הם אלה שמפעילים את הנוירונים. את כל הנוירונים? כל נוירון ונוירון? מה עם הנוירונים ברגל הצפרדע של גלווני, שבמנותק מכל צפרדע קיבלו זרם חשמלי וגרמו לכיווץ הרגל? איזה צרכים הפעילו אותם?
לרבע את הלולאה. 461702
1. "לפחות "צרכים", כמו תודעה, תבונה וחיבה ללהקת אבבא", אם לא קראת לאלה צרכים, אז איך קראת להם כאן? אני לא דיברתי על "צרכים" במרכאות.
2. אני זו שמדלגת לסוף? הרי השוטה הוא זה שטוען - קיבלת נוירון אחד, מדוע לא מוח שלם? ואם מוח שלם - מדוע לא מחשב תבוני?
3. מאיזה שלב זה יפסיק לעבוד? מרגע שאותו "מוח" ינותק מהראש שממנו הוא הועתק והופך למחשב עצמאי.
4. הצורך שכיווץ את רגל הצפרדע הוא הצורך להימנע מכאב.
לרבע את הלולאה. 461794
1. "אברהם, כמו רחל, שמעון ואגנתה, הוא זמר נהדר". האם קראתי לרחל, שמעון ואגנתה אברהם?
2. אבל את משמיטה שלב קריטי בטיעון של השוטה. הטיעון דומה לאינדוקציה מתמטית: אם החלפנו אחד, לא השתנה כלום. אם החלפנו עוד אחד, לא השתנה כלום. מכאן, אם החלפנו הכל, לא השתנה כלום. אם את רוצה להפריך את זה, את לא פטורה מלהראות באיזה שלב זה עשוי להישבר. ואכן את עושה זאת -
3. - ובמקום מפתיע. אני מבין שאת מסכימה שאם אנו מחליפים כל נוירון ונוירון פנימי במוח במקבילו הטרנזיסטורי, ומשאירים אותם בתוך הגוגלולת ומחוברים לעצבי החישה ועצבי התנועה המקוריים, אז זה עדיין יתפקד כמו המוח המקורי?
4. אבל הרגל אצל גלווני היתה מנותקת מצפרדע. לא היה שום כאב לשום דבר (טוב, יכול להיות שבשלב מסוים כאב לצפרדע שכרתו לה את הרגל, אבל בשלב שעליו אנחנו מדברים היא כבר היתה בת-מינן.)
לרבע את הלולאה. 461795
1. "לפחות אברהם, כמו יצחק ויעקב, הוא שם תנכי".
2. אבל אתה משמיט שלב קריטי באינדוקציה מתמטית: אם החלפנו אחד, לא השתנה כלום, אם החלפנו עוד אחד, *ביחס המתאים לראשון*, לא השתנה כלום... וגו'.
3. מראש אמרתי שאני יכולה לדמיין (כמובן בצירוף הנחות חזקות רבות, שאני מקבלת כרגע לצורך הדיון בלבד) מוח מלאכותי, אבל לא מחשב תבוני.
לרבע את הלולאה. 461809
2. לא הבנתי. את הראשון אנחנו מחליפים, תוך חיבור מתאים לכל אלו שהיו מחוברים לראשון. כך גם האחרים.
3. יפה. עכשיו ניקח את יחזקאל המסכן, זה שהחלפנו לו את כל נוירוני המוח הפנימיים כמו בתגובה הקודמת שלי, ושאת מסכימה טנטטיבית שהמוח המלאכותי שלו מתפקד כמו הקודם; ונחליף לו תא אחד מהרשתית ברכיב מלאכותי שמתפקד אותו דבר: כשפוגע בו אור בעוצמה הנכונה ובאורך הגל הנכון, הוא שולח פולס חשמלי. משהו השתנה?
לרבע את הלולאה. 461888
2. לא הבנתי.
3. מה פירוש "ונחליף לו תא אחד מהרשתית ברכיב מלאכותי שמתפקד אותו דבר"?
לרבע את הלולאה. 461922
2. עזבי - קראי שוב את טענה 2 שלי בתגובה 461794, והתעלמי מזה שכתבתי "כמו אינדוקציה מתמטית" - זו סתם הערת אילוסטרציה. אם את עדיין מתנגדת לטענה 2 הזו, אנא הסבירי לי יותר לאט למה.
3. הרשתית היא מין יריעה של תאים, שמה שכל אחד מהם עושה הוא שאם פוגע בו אור בכמות מסוימת ובאורך גל מסוים, התא שולח פולס חשמלי לנוירון, והפולס הזה עושה מסלול קצר, דרך כמה נוירונים (כולל עיבוד ראשוני) עד המוח. די פשוט, מושגית אם לא טכנולוגית, להחליף את תא החישה האורגני בתא פוטואלקטרי מבוסס סיליקון. להזכירך את כל הקונפיגורציה שעליה אני שואל: החלפנו את כל הנוירונים הפנימיים במוח של יחזקאל בטרניזסטורים סיליקוניים בעלי פונקציה כמו של נוירון, שמחוברים זה לזה כמו הנוירונים המקוריים (ועל זה הסכמת טנטטיבית שזה יפעל כמו המוח המקורי), ובנוסף לזה החלפנו תא רשתית אחד כמתואר לעיל. שאר הנוירונים שנכנסים או יוצאים מהמוח נשארו בינתיים כפי שהם, מחוברים בקצה אחד לטרנזיסטורים שבתוך מוח הסיליקון, ובקצה השני לאיברים האורגניים הרגילים של יחזקאל (חוץ מאחד, שמחובר לתא הפוטואלקטרי החדש שברשתית). האם את עדיין מקבלת, טנטטיבית, שזה יפעל כמו המוח המקורי?
לרבע את הלולאה. 461960
2. כפי שאמרת בעצמך, אמרתי איפה זה *בהכרח* נשבר (כמובן, הסכמתי שזה לא נשבר קודם היא לצורך הדיון בלבד). כמו כן, הסברתי שלצורך הדיון אני מסכימה אפףילו לאפשרות של מוח מלאכותי, והשאלה היא לגבי מחשב תבוני.
3. יכולת לדלג על כל ההסבר הארוך הזה לו אמרת פשוט שכוונתך לרשתית העין.
לרבע את הלולאה. 461970
3. שיט. מילא. מה תשובתך?
לרבע את הלולאה. 462089
תשובתי נאמרה כאן כבר כמה פעמים: גם אם אסכים שעדיין לא משתנה דבר (ונראה לי שהרבה מאוד ישתנה בתהליך, אבל זה לא שייך הנה), עדיין לא ברור לי איך אתה מגיע מכאן למחשב תבוני.
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • ירדן ניר-בוכבינדר
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  הספר הטוב ביותר שמיששתי • ראובן
  הספר הטוב ביותר שמיששתי • ראובן
  הספר הטוב ביותר שמיששתי • שוטה הכפר הגלובלי
  הספר הטוב ביותר שמיששתי • ראובן
  הספר הטוב ביותר שמיששתי • האייל האלמוני
  הספר הטוב ביותר שמיששתי • ראובן
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • ירדן ניר-בוכבינדר
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • ירדן ניר-בוכבינדר
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • ירדן ניר-בוכבינדר
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • ירדן ניר-בוכבינדר
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • Reut
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • l
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • ראובן
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • ראובן
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • ראובן
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • סתם אחד
  ''נפלאות התזונה'' • ראובן
  ''נפלאות התזונה'' • סתם אחד
  לרבע את הלולאה. • דורפל
  לרבע את הלולאה. • ראובן
  לרבע את הלולאה. • דורפל
  לרבע את הלולאה. • דורפל
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • האייל האלמוני
  נוירונים לא עושים שום פעולה חישובית • האייל האלמוני
  נוירונים לא עושים שום פעולה חישובית • האייל האלמוני
  נוירונים לא עושים שום פעולה חישובית • שוטה הכפר הגלובלי
  לרבע את הלולאה. • דורפל
  לרבע את הלולאה. • l
  לרבע את הלולאה. • ירדן ניר-בוכבינדר
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • ירדן ניר-בוכבינדר
  לרבע את הלולאה. • דורפל
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • דורפל
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • דורפל
  ! • ירדן ניר-בוכבינדר
  לרבע את הלולאה. • ברקת
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • ירדן ניר-בוכבינדר
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • טל כהן
  לרבע את הלולאה. • האייל התבוני
  לרבע את הלולאה. • טל כהן
  לרבע את הלולאה. • האייל התבוני
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • טל כהן
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • האייל התבוני
  לרבע את הלולאה. • טל כהן
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • האייל התבוני
  לרבע את הלולאה. • איילמוני
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • אורי גוראל-גורביץ'
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • אורי גוראל-גורביץ'
  לרבע את הלולאה. • איילמוני
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • איילמוני
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • איילמוני
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • איילמוני
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • איילמוני
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • ירון
  לרבע את הלולאה. • איילמוני
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • איילמוני
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • איילמוני
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • איילמוני
  גולדבך • שוטה הכפר הגלובלי
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • איילמוני
  לרבע את הלולאה. • ירדן ניר-בוכבינדר
  לרבע את הלולאה. • איילמוני
  לרבע את הלולאה. • ראובן
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • ירדן ניר-בוכבינדר
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • אלון עמית
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • אלון עמית
  לרבע את הלולאה. • אורי גוראל-גורביץ'
  לרבע את הלולאה. • אלון עמית
  לרבע את הלולאה. • אורי גוראל-גורביץ'
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • טל כהן
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • דורפל
  לרבע את הלולאה. • דורפל
  לרבע את הלולאה. • טל כהן
  לרבע את הלולאה. • שייח ספיר
  לזמר את ההוכחה. • טל כהן
  לזמר את ההוכחה. • שייח ספיר
  לזמר את ההוכחה. • טל כהן
  לזמר את ההוכחה. • שייח ספיר
  ההוכחה? • אלון עמית
  ההוכחה? • שייח ספיר
  ההוכחה? • האייל האלמוני
  ההוכחה? • אלון עמית
  ההוכחה? • שייח ספיר
  ההוכחה? • אלון עמית
  ההוכחה? • אורי גוראל-גורביץ'
  ההוכחה? • שייח ספיר
  ההוכחה? • אלון עמית
  ההוכחה? • שוטה הכפר הגלובלי
  ההוכחה? • שייח ספיר
  ההוכחה? • אלון עמית
  ההוכחה? • שייח ספיר
  לזמר את ההוכחה. • טל כהן
  לזמר את ההוכחה. • אלון עמית
  לזמר את ההוכחה. • עומר
  לזמר את ההוכחה. • האייל האלמוני
  לזמר את ההוכחה. • טל כהן
  לזמר את ההוכחה. • האייל האלמוני
  לזמר את ההוכחה. • שייח ספיר
  לזמר את ההוכחה. • האייל האלמוני
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • אורי גוראל-גורביץ'
  לרבע את הלולאה. • טל כהן
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • טל כהן
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • טל כהן
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • טל כהן
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • טל כהן
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • שוטה הכפר הגלובלי
  לרבע את הלולאה. • דורפל
  לרבע את הלולאה. • כבשה
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • כבשה
  לרבע את הלולאה. • ירדן ניר-בוכבינדר
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • אורי גוראל-גורביץ'
  לרבע את הלולאה. • גדי אלכסנדרוביץ'
  לרבע את הלולאה. • אורי גוראל-גורביץ'
  לרבע את הלולאה. • גדי אלכסנדרוביץ'
  לרבע את הלולאה. • אורי גוראל-גורביץ'
  לרבע את הלולאה. • גדי אלכסנדרוביץ'
  לרבע את הלולאה. • אורי גוראל-גורביץ'
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • ירדן ניר-בוכבינדר
  לרבע את הלולאה. • האייל האלמוני
  לרבע את הלולאה. • ירדן ניר-בוכבינדר
  לרבע את הלולאה. • שייח ספיר
  לרבע את הלולאה. • ירדן ניר-בוכבינדר
  לרבע את הלולאה. • שייח ספיר

חזרה לעמוד הראשי

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים