בתשובה להאייל השֵנון, 12/12/11 13:43
588937
אתה: החוק השני של התרמודינמיקה לא רלוונטי לאנטרופיה אינפורמטיבית, כי אין לאנטרופיה האינפורמטית קשר לזמן (ולכן, במשתמע, היא "לא כמו" אנטרופיה פיזיקלית - אם אני מבין נכון את מה שאתה טוען. תקן אותי אם אני טועה).

אני: אם אין זמן אן זה באמת לא רלוונטי.. אבל ניתן לחשוב על הכללה מסויימת שיש בה זמן ושבה יהיה משהו דומה לחוק השני של התרמודינמיקה גם לאנטרופיה אינפורמטיבית.

אתה: אבל ההרחבה לא מעניינת/שימושית/מוכרת לי.

אני: לא טענתי שהיא מעניינת, שימושית או מוכרת (אם כי ייתכן שיש שימושים ידועים לחישובי אנטרופיה של "רעש" שנוצר עם הזמן). רק טענתי שהעובדה שהחוק השני של התרמודינמיקה לא תקף לאנטרופיה אינפורמטיבית, לא משנה דבר לגבי הקשר שלה לאנטרופיה פיזיקלית.
588946
אנא אל תכניס לי מילים לפה. לא אמרתי שההרחבה לא מעניינת או שימושית. אמרתי שלפי התיאור שלך, ההרחבה לא עובדת בתורת האינפורמציה.

אנסה שוב. אנטרופיה אינפורמטית לא משתנה בזמן, ולא משתנה בכלל. בשביל לדבר על אנטרופיה, אתה צריך מרחב מדגם עם התפלגות, ועליו אתה יכול לשאול מה האנטרופיה בהינתן פיסת מידע מסויימת. מה שאמרת לא מתמפה לי לאנטרופיה אינפורמטית.

עכשיו תסביר שוב בבקשה. מרחב המדגם שלך הוא מיקומי האטומים - עד כאן בסדר. מכאן לא הבנתי מה קורה. זה נראה כאילו אתה ממפה מידע לזמן, והאנטרופיה בזמן מסויים היא האנטרופיה של המערכת בהנתן המידע הזה. אבל לא ברור לי מהו המיפוי בין נקודת זמן למידע על המערכת.
588953
אני מתנצל על התגובה הקודמת.

אני גם מתחרט על ההכללה עם הזמן שנתתי. המחשה להכללה יכולה להיות למשל מודל מרקובי, שבו בכל צעד כל ביט יכול להחליף את ערכו. המיפוי לזמן הוא של האנטרופיה של המערכת בכל צעד על המודל המרקובי. אני מאמין שהאנטרופיה לא יכולה לקטון במערכת כזו, ואם מתחילים מאפס (כלומר ממצב ידוע) היא תגדל.

אני מתחרט כי היה עדיף פשוט לשאול ישירות למה אתה חותר - מה הבעיה בזה שהאנטרופיה כקונספט נוכחת במודל שהזמן לא משחק בו תפקיד?
588957
אין בעיה, אני פשוט לא הבנתי (ועדיין לא מבין), איך המודל עובד. זה יכול להיות אפילו הגיוני, או נוכחות מתבקשת, אבל עד עכשיו לא הבנתי איך האנטרופיה האינפורמטית נכנסת למודל.

אני ממשיך. מודל מרקובי של מיקומי האטומים, מתאר את התפלגות האטומים כפונקציה של הזמן. נפלא - זהו מרחב המדגם. עכשיו נותר לי להבין מהו המשתנה המקרי שאת האנטרופיה שלו אנחנו מודדים. המיקום של האטומים באיזו נקודת זמן?

אני משער שמה שאתה מתכוון הוא, אנחנו מודדים את האנטרופיה של מיקום האטומים בנקודת זמן רחוקה, וככל שאנחנו מתקרבים לנקודה זו, האנטרופיה קוטנת, כי אנחנו יודעים מה קרה כמעט רגע לפני הצעד האחרון. זו נשמעת הקבלה הגיונית. אם האנטרופיה האינפורמטית שווה לאנטרופיה הפיסיקלית של המודל - אז זה באמת קשר מעניין.

אגב, אתה נשמע איש מעניין, תוכל בבקשה להצפין אימייל שניתן ליצור איתך בו קשר בהודעה הבאה באתר הזה עם המפתח המצ"ב? כאן אפשר לעשות זאת אונליין (תעתיק את המפתח הפומבי לתיבת הטקסט העליונה, והאימייל לתחתונה. תעתיק רק את הטקסט האתר לפעמים מוסיף תוים מוזרים אחרי ההודעה המוצפנת).

-----BEGIN PGP PUBLIC KEY BLOCK-----
Version: BCPG C# v1.6.1.0

mI0ETuZhIAEEAKxZbR634JKCA/Z4XZCVmWfbbVBLeKmZlgO3TnAdXG/O2HMwV5IG
5uBAZZEd4KtqZijERpXRs59oLVILcN7Bp0mPxXNU5teffOM0BevPow3v6ook6Oa+
WrRDPGCsHOUTPIyhi725eTYb4fP72JcXaSI+G6IARaDtQs9w7XvX8W3xABEBAAG0
AIicBBABAgAGBQJO5mEgAAoJEO3NGVlCgdAgd5AD/R5nyWdi7dUs23H4TEyKpkQl
iMod8g3GxdbME7dvL4EL5jsLw5FQskuggJ/cVgnWLrA2OyoL8hIHlXBB+HFkI2jY
AZfZeYCV186P66FHSTneos4PrL49SKUVeHtvUryAKqe7OkizIThAG7Vo4DDTgRzu
lPVWEs1f7zMmvQ2RlHGK
=X1gz
-----END PGP PUBLIC KEY BLOCK-----

האימייל שלי מוצפן לדוגמא

-----BEGIN PGP MESSAGE-----
Version: BCPG C# v1.6.1.0

hIwD7c0ZWUKB0CABBACCSq8JpBa3W/vsaPB3eIcxgl17XtwOG/kyewB6LDwkL7Wf
qH+6apVpyiwdOEnvBxx/UpkUooOTSoTsIFlq4IFp/GLYLmeeCniqpIrpY7XQW1qu
cn2JehEDuWRmAIC26r5ZRvXYFgw+BPTkykfLGUEN9Zhyh6RLTAFPKiEtlftGMMkv
Yy2fOfnOY3HmzryLrv9j/RnMiGH0EuO32zLg/90fme/y7XfYqh4ATYfZW3NFfeM=
=MKDT
-----END PGP MESSAGE-----
588968
לא, זה הרבה יותר פשוט.

יש לך סדרה של ביטים (אם אתה מעדיף, סדרה של נתונים כלשהם על אטומים, אבל אני אשתמש בביטים לטובת הפשטות. זה לא משנה לצורך הדוגמא - הרי זה יעבוד על כל מה שאפשר לייצג בביטים).
כל אחד מהביטים "מחובר" למודל מרקובי משלו. מודל מרקובי, על רגל אחת, זה פחות או יותר אוטומט שמגדיר הסתברות למעבר בין הצמתים שלו. (עם כמה דרישות והוראות הפעלה).
זה יכול להיות משהו מאוד פשוט. למשל, שני צמתים, כל אחד עם הקשתות "להשאר באותו צומת - 99%, לעבור לצומת השני - 1%". נניח שהצומת הימני מסומן "1" והצומת השמאלי "0".
בכל צעד זזים בין צמתי האוטומט לפי הסטטיסטיקה של המודל המרקובי, ומשנים בהתאם את מצב הביט.

אם התחלנו עם ידע כלשהו על המערכת (כלומר סדרת הביטים והאוטומטים לעיל), אפשר להעריך כמה ידע יש לנו אחרי כל צעד, או במילים אחרות להעריך את האנטרופיה של המערכת בזמנים שונים.
בדוגמא הזאת האנטרופיה כל הזמן גדלה, עד שאין שום הבדל בין הסדרה המקורית לסדרה אקראית.

_____

אפשר לתאר ע"י מודל מרקובי גם דברים הרבה יותר מסובכים, לא בינאריים ולמיטב ידיעתי גם רציפים (אם כי אני לא בטוח שזה עדיין נקרא מודל מרקובי). הכל שאלה של איך נראה הגרף של המודל המרקובי ומה המצבים שלו מייצגים.

-----BEGIN PGP MESSAGE-----
Version: BCPG C# v1.6.1.0

hIwD7c0ZWUKB0CABBAClfS/bzlgFq/ngO3lj61Hy4HT3BmL4F4bnFuFncfAGDN3E
KsHRfqceqFI1dETRTPou5H3Kn8PsiQy3vzDGSn457ePCR/hOHl8ToaOd0nPX9bL0
I+BkD0JW2CpAitrRu3NWsljP5alAH1teSmHgOgXxVR5Y2PtXRY1okJQ9iatJZck1
kDXT4wZj835vgQGISe1x7hzo1g2ah9h8KZ7dlvidMUTtOgvYkZuvqaKDBCL91w6D
R4Ibx1U=
=KNIa
-----END PGP MESSAGE-----
588972
אני מכיר מודל מרקובי. אבל אני שואל מה האנטרופיה מודדת? את המצב של המודל המרקובי מתי? באיזה צעד? הרי בכל צעד יהיו לו ערכים אחרים.

אולי אתה מתכוון שהאנטרופיה מודדת את מצב הביטים בכל שלב, מעכשיו עד אינסוף בהרצה מסויימת?
588974
"אולי אתה מתכוון שהאנטרופיה מודדת את מצב הביטים בכל שלב, מעכשיו עד אינסוף בהרצה מסויימת?" - כן.
588977
המממ. אם ככה האנטרופיה אינסופית, ולא נראה לי שהיא משתנה גם בהנתן ידע על כמות סופית של צעדים שקרו.
588983
למה אין סופית?

אם מדובר בסדרת ביטים באורך 1, כלומר בביט יחיד שמצבו ידוע, הרי שהאנטרופיה הראשונית היא 0 והמקסימלית שאפשר להגיע אליה, גם אחרי אינסוף צעדים במודל, היא 1.
588987
נזכיר שהמשתנה המקרי שאת האנטרופיה שלו אנחנו בודקים מקבל את מצב הסיבית בכל נקודת זמן, או במילים אחרות, באינסוף נקודות זמן.

האנטרופיה על מצב הסיבית בכל נקודות הזמן הוא סכום לוג של מספר המצבים (נניח כרגע שכולם שווי הסתברות, זה יצא אינסוף בכל אופן). כיוון שמספר המצבים בכל נקודות הזמן הוא אינסופי (כי יש אינסוף נקודות זמן), לוג של אינסוף גם הוא אינסוף.

האנטרופיה בנקודת זמן 0 (בה אנחנו לא יודעים כלום על מצבי האטום בשום נקודת זמן) היא אינסוף. וידיעה של מצב הסיבית במספר סופי של נקודות זמן לא עוזר לך כל כך הרבה.
588999
למה המשתנה המקרי מקבל את מצב הסיבית ביותר מנקודה אחת בזמן?

כל הסיפור כאן הוא אנלוגיה לאנטרופיה פיזיקלית, ושם האנטרופיה משתנה עם הזמן אבל מחושבת לכל זמן בנפרד. החוק השני משווה בין שתי אנטרופיות בזמנים שונים.
589002
למה המשתנה המקרי מקבל את מצב הסיבית ביותר מנקודה אחת בזמן? לא יודע, חשבתי שאתה רוצה לעשות כך את האנלוגיה. תסביר לי אתה איך אתה מגדיר את המשתנה המקרי כך שהאנטרופיות הפיסיקלית והמידעית יהיו זהות. זה מה שאני מנסה להבין.

כל הסיפור כאן הוא וכו'. אני מבין שזו המטרה, אבל אני עדיין לא מבין את ההקבלה, ואשמח אם תעזור לי להבין.

הבסיס הוא, שאנטרופיה מידעית אפשר לחשב רק למשתנה מקרי מסויים. אין משמעות לאנטרופיה בלי משתנה מקרי, אז אתה חייב להסביר לי מהו המשתנה המקרי. אפשר גם לחשב אנטרופיה על משתנה מקרי בהנתן מידע כלשהו.

עכשיו אנא הסבר לי, מהי האנטרופיה המידעית המקבילה לאנטרופיה הפיסיקלית אחרי n צעדים של שרשרת מרקוב. על איזה משתנה מקרי היא רצה?

אני מנסה שוב לנחש, תגיד לי אם צדקתי:

אתה מחשב אנטרופיה ל-n משתנים מקריים. המשתנה המקרי ה-n הוא מצב הסיבית אחרי n צעדים בשרשרת מרקוב.

ואתה טוען, שהאנטרופיה של מצב הסיבית ה-n שואפת ל-‏0 ככל ש-n שואף לאינסוף. האם אני צודק?

ברור (עם הנחות מקלות) שאם אני יודע את המצב של הסיבית בזמן n-1 אז האנטרופיה של מצב הסיבית בזמן n שווה לאנטרופיה של מצב הסיבית בזמן 0 (כי אני יודע את המצב ההתחלתי). האנטרופיה המקסימלית של סיבית היא לוג ½.
589005
אני מחשב את האנטרופיה ל n משתנים מקריים - מצב n הסיביות הנוכחי. החישוב נעשה מחדש לאחר כל צעד במודל מרקוב.
כלומר, לפני הצעד הראשון האנטרופיה היא 0 לכל אחת מהסיביות ובכל צעד היא גדלה.
האנטרופיה של כל אחת מהסיביות שואפת ל 1 ככל ש n שואף לאינסוף.
589024
למה הכוונה "מצב n הסיביות הנוכחי"?

אין הגיון בלחשב מחדש אנטרופיה. האנטרופיה קבועה למ"מ מקרי מסויים. יש לנו כאן בעיה בטרמינולוגיה. אתה לא מדבר כמו שאני מכיר שמדברים בתורת האינפורמציה.

נתחיל שוב במודל פשוט. שרשרת מרקוב של "הילוך השיכור בין שני עמודי חשמל". השיכור מתחיל מנקודה 0, בהסתברות של 50% הוא ילך לנקודה 1, ובהסתברות של 50% הוא יישאר במקום. נסמן ב-X_i את מצב השיכור אחרי i צעדים.

מהם המשתנים המקריים שאתה רוצה לחשב את האנטרופיה שלהם?

דוגמאות:

אני רוצה לחשב את האנטרופיה של X_i עבור כל i, ואני רוצה לדעת מהי האנטרופיה של X_i כש-i שואף לאינסוף. במקרה הזה מובטח לך שהאנטרופיה היא בין 0 ללוג של חצי, כי ל-X_i יש רק שני אפשרויות.

אני רוצה לחשב את האנטרופיה של המשתנה המקרי Z=X_1,...,X_n כלומר, את תוצאת שרשרת המרקוב מהתוצאה הראשונה, עד התוצאה ה-n. במקרה הזה די ברור שהאנטרופיה שואפת לאינסוף. כי באינסוף יש למ"מ אינסוף אפשרויות.
589030
הדוגמא הראשונה שלך היא בדיוק מה שאני מתכוון אליו. ואתה צודק, זה 1/2 ולא 1.

המודל של ההילוך שיכור טיפה בעייתי כי ההסתברות שלו להחליף מצב גדולה מדי, תעשה שינוי קטן ותחליף את הסיכוי למעבר ל 1%.
עכשיו אתה יכול לחשב את האנטרופיה של המערכת אחרי כל צעד, ולראות שהיא גדלה כל הזמן ושואפת לחצי.
589031
סליחה על העילגות המתמטית, חסר שם לוג בכל מיני מקומות. אני לא בפוזיציה להציע לאנשים לחשב, לוקח את ההצעה בחזרה. בכל מקרה קל לראות שהאנטרופיה תתחיל ב 0 (לוג של 1) ותגדל בכל צעד.
הבעיה בהסתברות 50% להילוך השיכור היא שהיא מביאה אותך ישר ללוג של שתיים, ואין לה כבר לאן לשאוף אחרי זה.
589034
זה נכון במקרה שלך, אבל זה תלוי מאד בשרשרת. אני לא יודע אם אתה מכיר, אבל אדם שיכור חוזר הביתה (=אנטרופיה סופית), וציפורת שיכורה עפה לה (=אנטרופיה אינסופית כשמס' הצעדים שואף לאינסוף).

זה נראה נכון שהאנטרופיה לעולם לא תרד אחרי מס' כלשהו של צעדים. אני אנסה להוכיח את זה.

עכשיו מה ההקבלה לאנטרופיה פיסיקלית?
589035
אנטרופיה פיזיקלית זה בדיוק אותו דבר רק עם (הרבה) יותר מביט אחד ועם זמן רציף*.

* או לא רציף. תלוי את מי שואלים. לי אין דעה בנושא :)
** אגב, אפשר כמובן למדל במחשב תהליך פיזיקלי שהחוק השני תקף בו, ולחשב את האנטרופיה בזמנים שונים של התהליך. לא יפתיע אותי אם למידול החוקים הפיזיקליים והאנטרופיה משתמשים במודל דומה למה שתואר למעלה. אם כן, אולי מעניין למדוד את האנטרופיה של מודל ממוחשב כזה, ברמת הביטים שמייצגים אותו...

חזרה לעמוד הראשי

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים