בתשובה לשוקי שמאל, 12/06/08 11:13
אינפורמציה לא נוצרת יש מאין. 481780
זה לא בדיוק הפוך? כלומר: פחות אנטרופיה <==> יותר אינפורמציה?
אלף קופים עם מקלדות 481813
זה באמת מבלבל- מבחינת תורת האינפורמציה, ככל שקשה לך לנבא מה הביט הבא יהיה, כך הוא נושא עימו יותר אינפורמציה, ומכאן שרעש אקראי מכיל הכי הרבה אינפורמציה.
אלף קופים עם מקלדות 482116
גם אני התבלבלתי פעם, תגובה 262525.
אלף קופים עם מקלדות 482122
דומני שניסוח מדויק יותר יהיה שאם המאפיינים הסטטיסטיים שלו דומים לשל אות אקראי הוא נושא יותר אינפורמציה. רעש אקראי אינו נושא אינפורמציה כלל.
אלף קופים עם מקלדות 482123
הגדר ''אינפורמציה''.
אלף קופים עם מקלדות 482127
זה מושג שיש לו הרבה הגדרות. בויקי האנגלית כתוב כך:

Information is the state of a system of interest. Message is the information materialized.

Information is a quality of a message from a sender to one or more receivers. Information is always about something (size of a parameter, occurrence of an event, etc).

רעש אקראי הוא לא מידע אודות משהו. הוא פשוט רעש אקראי, כלומר - הוא ניתן להחלפה בכל רעש אקראי אחר מבלי שיורגש ההבדל, ולכן האינפורמציה הכלולה בו היא אפס. בניסוח אחר: נניח שיש לי מסר כלשהו, ואני הופך בו ביט אחד באופן אקראי. אם המסר הוא, נניח, תמונת JPG או קובץ ZIP, עלולה להיגרם פגיעה קשה. אם מדובר ברעש אקראי יווצר רעש אקראי אחר, שאין דרך להבחין בינו לבין הרעש הקורי. בניסוח עוד יותר אחר: מסר המכיל רעש אקראי אינו מכיל מידע מעבר למסר עצמו, בעוד שמסר כמו התמונה והקובץ מכיל מידע כזה.
אלף קופים עם מקלדות 482133
אלו הם הגדרות סוביקטיביות, ומאוד קשה להגדיר מדידות על a quality of a message.
אינפורמציה לא נוצרת יש מאין. 481876
תחשוב על קוד המורכב מזוג סימנים החוזר על עצמו. קוד זה מכיל מספר קטן של פריטי אינפורמציה (2 הסימנים, אורך המסגרת (2) ומספר המסגרות הכולל). לעומת זאת בקוד שהוא סדרה אקראית של סימנים מכיל ים של אינפורמציה (הסימנים עצמם, סדר הופעתם וכו'). האנלוגיה לתורת האינפורמציה נמצאת בתגובתו של ראובן. בתרמודינמיקה, הקרח הוא סדרת הזוגות ואדי המים מקבילים לסדרה האקראית. לכן אני חושב ש- יותר אינפורמציה <==>יותר אנטרופיה.

חזרה לעמוד הראשי המאמר המלא

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים