בתשובה לערן בילינסקי, 25/05/08 17:21
התרבות היהודית של היהודים במדינת היהודים 478992
בדיוק חשבתי על זה שבעצם היה יכול להיות יותר מועיל, מהזוית של מדעי המחשב, לקחת קורס מבוא במכניקה (נגיד 1מ) וקורס במכניקה סטטיסטית (במקום 2מ), ואם חייבים קורס שלישי אז את תרמודינמיקה.
התרבות היהודית של היהודים במדינת היהודים 479005
למה דווקא מכניקה סטטיסטית ותרמודינמיקה?
התרבות היהודית של היהודים במדינת היהודים 479015
אני לא יודע מה הסיבה של האלמוני, אבל אני מנחש: שיראו מהיכן בא המושג "אנטרופיה", המשמש רבות במדעי המחשב. בהחלט אפשר גם בלי לדעת מהיכן הוא בא, אבל אם כבר מחייבים משהו... מעבר לזה, ממה שאני טעמתי מפיזיקה, זה הנושא היפה והמאלף ביותר, למעשה בעולם אידיאלי זה היה קורס חובה גם לפילוסופים, וגם לכל השאר.
התרבות היהודית של היהודים במדינת היהודים 479018
שני הקורסים, או רק תרמודינמיקה?
התרבות היהודית של היהודים במדינת היהודים 479163
מקובל שזה קורס אחד: "מכניסקה סטטיסית ותרמודינמיקה"; למעשה, הקשר ביניהם הוא הדבר היפה, החשוב וכו' שלומדים שם.
התרבות היהודית של היהודים במדינת היהודים 479023
זאת אכן הייתה הסיבה. אנטרופיה, התפלגות בולצמן-גיבס ובכלל פיזיקה בסימן יותר סטטיסטי עם נקודות השקה לתחומי הלמידה (machine learning) במדמ"ח.
התרבות היהודית של היהודים במדינת היהודים 479552
מה המשמעות של אנתרופיה במדעי המחשב?
התרבות היהודית של היהודים במדינת היהודים 479613
במשפט אחד (ולא מדויק כל כך) - כמה מידע נמצא בתוך רצף של ביטים או לחלופין, עד כמה רצף של ביטים נראה אקראי.
אנטרופיה (סטטיסטיקה) [ויקיפדיה]
התרבות היהודית של היהודים במדינת היהודים 479616
תודה.
התרבות היהודית של היהודים במדינת היהודים 588693
אין כמעט שום קשר בין מושג האנטרופיה בתורת האינפורמציה, למושג האנטרופיה בפיסיקה. למעשה בשיעור הראשון בתורת האינפורמציה מבקשים ממי שיודע מה זה אנטרופיה בפיסיקה לשכוח את העניין.

והמושג "אנטרופיה" לא משמש רבות במדעי המחשב לפחות בתארים ראשונים בפתוחה ובבר אילן. הייתי אומר שהוא לא משמש בכלל, אבל הוזכר איפהשהו בספר של האו"פ על קריפטוגרפיה משהו על אנטרופיה (שכמובן לא היה בחומר, ולא היית צריך לדעת אותו). ואני מוכן להתערב שיש פרופסורים שהתמקדו בתחומים מסויימים של מדעי המחשב שלא באמת יודעים מה זה אנטרופיה.

אם כבר, הוא משמש, אז זה בהנדסת חשמל.

בנוגע להצפנה תנו לי לתת לכם קורס בזק באנטרופיה:

אנטרופיה בצופן - חשוב
ואם יש מעט - זה עצוב
כנ"ל במפתח
ואל תתוכח
הגרל והגרל שוב ושוב.
התרבות היהודית של היהודים במדינת היהודים 588714
זה בדיוק אותו מושג.. ההבדל הוא שבפיזיקה מתעסקים במגוון גדול מאוד של תופעות עם אנטרופיה ובמדעי המחשב כמעט אך ורק באנטרופיה של רצף של ביטים.
התרבות היהודית של היהודים במדינת היהודים 588718
אני רק אצטט מהויקיפדיה:

"The inspiration for adopting the word entropy in information theory came from the close resemblance between Shannon's formula and very similar known formulae from thermodynamics.... At an everyday practical level the links between information entropy and thermodynamic entropy are not evident"

תרגום חופשי, הסיבה שהשם אנטרופיה נבחר הוא כי יש נוסחא דומה בשני האנטרופיות הפיסיקלית וזו של תורת האינפורמציה, מעבר לזה, קשה למצוא קשר בין שני האנטרופיות.
התרבות היהודית של היהודים במדינת היהודים 588721
אחסוך ממך את ציטוט הפסקה שלפני או אחרי זו שבחרת לצטט (ולתרגם באופן מגמתי), אך אציין שפתרון הפרדוקס של השדון של מקסוול כורך את השתיים לבלי הפרד.
התרבות היהודית של היהודים במדינת היהודים 588723
ראשית, התרגום שלי אכן לקוי, הייתי צריך להוסיף ש"מבחינה פרקטית אין בינהן קשר", ואני מתנצל.

כעת, בבקשה, אצטט מפסקה אחרי:

But, at a multidisciplinary level, connections <מוגדש can> be made between thermodynamic and informational entropy, although it took many years in the development of the theories of statistical mechanics and information theory to make the relationship fully apparent.

ההדגשה במקור.

אני לא אומר שאין קשר בכלל. יש גם קשר בין כימיה לפיסיקה, יש קשרים בין אופטיקה לתיאורית היחסות, כמו שמוזכר בויקי, מנקודת מבט בין תחומית, אנטרופיה פיסיקלית קשורה יותר לאנטרופיה של תורת האינפורמציה מאשר, למשל לספרות.

אבל להגיד שחיוני ללמוד אנטרופיה פיסיקלית ללומדי תורת האינפורמציה, זה קצת מוגזם. יש עוד הרבה דברים שכדאי להם ללמוד לפני, שקשורים לאנטרופיה לא פחות, וקשורים גם לתחומים אחרים במדעי המחשב, לדוגמה קומבינטוריקה, שקשורה בקשר גורדי לאנטרופיה, בקורס בו למדתי הראו כמה וכמה בעיות קומבינטוריות שנפתרות חיש קל עם מושג האנטרופיה. רוצה עוד דוגמאות מתחומים נוספים? בבקשה, היו עוד הרבה תחומים שקשורים, אבל אף אחד מהם לא היה האנטרופיה הפיסיקלית.
התרבות היהודית של היהודים במדינת היהודים 588725
אין בעיה.

עם המשפט "אבל להגיד שחיוני ללמוד אנטרופיה פיסיקלית ללומדי תורת האינפורמציה, זה קצת מוגזם." אני מסכים. למרות שאני בדעה אחת עם ירדן על יופיו של הנושא.
עם המשפט "אין כמעט שום קשר בין מושג האנטרופיה בתורת האינפורמציה, למושג האנטרופיה בפיסיקה." אני לא מסכים. היה בינם מספיק דימיון קונספטואלי בשביל לקרוא להם באותו שם, ובדיעבד גם מצאו קשר של ממש שמאחד אותם.

הקשר בין כימיה לפיזיקה הוא דוגמא טובה - האם היית אומר שאין קשר בין מסה של אטום בכימיה למסה של אטום בפיזיקה? ה"מסה" לא משמשת כימאים ופיזיקאים באופן זהה, וספק אם כימאי מתעניין ביחס בין הכוח המופעל על האטום לבין תאוצתו (או שפיזיקאי יתעניין במה שכימאי לא יעשה עם הנתון הזה) אבל היא אותה מסה.

האנטרופיה בשני המקרים מכמתת חוסר ידע על המערכת שעליה מדובר.
אולי חילוקי הדעות נובעים מעניין סמנטי.. מבחינתי המילה "מושג" היא תפלה כאן.
התרבות היהודית של היהודים במדינת היהודים 588726
מסה של אטום בכימיה ומסה של אטום בפיסיקה הם מאד מאד דומות אם לא זהות. ההשוואה לא במקום בכלל. כשכימאי אומר המסה של האטום היא כך וכך, הוא מתכוון בדיוק למה שהפיסיקאי מתכוון.

כשהפיסיקאי אומר האנטרופיה בחדר היא כך וכך, בוגר תורת האינפורמציה יביט בו במבט חלול. כשבוגר תורת האינפורמציה ישאל אותו מה האנטרופיה של החדר בהנתן שיש בו גז מתאן, הפיסיקאי יביט בו במבט חלול.

אולי השוואה נכונה היא תא בביולוגיה ותא סטודנטים בסוציולוגיה. יש ביניהם קשר רעיוני, שניהם מיצגים יחידה שעומדת בפני עצמה ומתקשרת עם הסביבה, כנראה שיוסיף לך לדעת על איך תא-סטודנטים עובד כי הוא דומה במידה מסויימת לתא ביולוגי. אבל מעבר לזה - אין הרבה קשר. כשאני אומר ''תא'' וכשהביולוג אומר ''תא'', שנינו מדברים על דברים אחרים.
התרבות היהודית של היהודים במדינת היהודים 588732
בוא נעזוב את האנלוגיות.

האלמוני למטה היה נדיב דיו לתת לי הזדמנות לתקן את הניסוח הבעייתי שהיה בעצם לב התגובה שלי, ואחזור על זה כאן בטיפה פחות עילגות:

האנטרופיה היא לוגריתם כמות המצבים שאי אפשר להבחין בינהם כאשר מסתכלים על המערכת כמכלול. זה נכון לגבי פיזיקה וזה נכון לגבי מדעי המחשב.

האנטרופיה הפיסיקלית קשורה לחום, אבל זה לא הופך את המשפט הקודם ללא נכון.
ההישג האינטלקטואלי האדיר שהביא אותנו למצב שבו אנחנו יודעים את זה הוא יפה ומרגש‏1 מכדי להתכחש לו :)

___________

1
אחד הספרים שהרשימו אותי יותר מכל (קראתי אותו לפני תשע שנים ושלושה חודשים (ארכיבאי!)) הוא
Maxwell's Demon: Entropy, Information, Computing
ואם הוא לא היה יקר בטירוף הייתי קונה אותו עכשיו באמאזון. אוסף המאמרים המקוריים ופורצי הדרך שהביאו ותנו עד הלום + פרשנות מחכימה. אם יש לך גישה לספרייה כלשהי אל תהסס.
התרבות היהודית של היהודים במדינת היהודים 588727
באיזה מובן האנטרופיה הפיזיקלית מכמתת חוסר ידע על המערכת?
התרבות היהודית של היהודים במדינת היהודים 588730
אנטרופיה מכמתת את מספר המצבים שאי אפשר להבחין בינהם כאשר מסתכלים על המערכת בכללותה.

(אולי יותר יפה ונכון להגיד שלוגריתם כמות המצבים שאי אפשר להבחין בינהם כאשר מסתכלים על המערכת בכללותה, היא האנטרופיה)
התרבות היהודית של היהודים במדינת היהודים 588731
זה לא ממש "מצבים שאי אפשר להבחין בינהם", זה יותר מצבים זהים. אבל בכל זאת, באיזה מובן זה מכמת חוסר ידע על המערכת? חוסר ידע של מי?
התרבות היהודית של היהודים במדינת היהודים 588734
זהים? אם הם זהים אז הם אותו מצב. כל הקטע זה שהם שונים אבל אי אפשר להבחין בינהם.

זה מכמת חוסר ידע כי אם היית יודע בדיוק באיזה מצב המערכת נמצאת, היה לך 0 חוסר ידע.
התרבות היהודית של היהודים במדינת היהודים 588735
וויקיפדיה אומרת ''זהים מבחינה מאקרוסקופית''. בפיזיקה כשאתה אומר על שני מצבים שאי אפשר להבחין ביניהם, אתה אומר שלי המדידה שלך לא מספיק רגיש להבדיל ביניהם. אבל זה לא בהכרח המצב כשיש אנטרופיה, אז מדובר במצבים זהים אחד לשני, ז''א כאלה שאין ביניהם הבדל (מאקרוסקופי) ולא רק כאלה שלא ניתן להבחין בהבדל.

למיטב הבנתי, גם אם היית יודע בדיוק באיזה מצב המערכת נמצאת לא הייתה לך אנטרופיה אפס. הכימות הוא על מספר המצבים הזהים שהמערכת יכולה להיות בהם, ואתה, המודד (או היודע), לא ממש שחקן.
התרבות היהודית של היהודים במדינת היהודים 588745
תודה, אין לי ידע מספיק בפיסיקה בשביל להסביר למה זה לא אותו דבר, והסברת את זה כך שאפילו אני אוכל להבין.
התרבות היהודית של היהודים במדינת היהודים 588751
אתה טועה (ומטעה).

פסקה ראשונה:
בוא נדמיין אטום בקופסה עם מחיצה שיש בה חור קטן. האטום יכול להמצא בצד ימין או בצד שמאל, ואלו המצבים שבהם אני מתעניין. נניח שאני מסתכל על הקופסא מבחוץ. האם המצב שבו האטום בצד ימין *זהה* למצב שבו האטום בצד שמאל?
לא. הם מצבים שאי אפשר להבחין בינהם מבחוץ אבל הם לא זהים, ואפשר לספור אותם (2). יש אינסוף מצבים "זהים", והם כל המיקומים האפשריים לאטום נניח בצד ימין, אבל הם לא מעניינים אותנו במערכת שהגדרנו.
למען האמת, הניסוח "מצבים זהים" הוא סוג של אוקסימורון בהקשר הזה - אם אתה רוצה לדבר על מיקום החלקיק המדוייק בתוך כל צד אז אתה מתעניין במערכת אחרת מזו שהוגדרה, ובה המצבים כבר לא זהים.
אין לזה שום קשר לשום כלי מדידה פיזי רגיש במידה זו או אחרת. האנלוגיה המיידית היא לביט של אינפורמציה שאתה לא יודע אם הוא 0 או 1. אין "סוגים שונים של 1", אין ריבוי של מצבים זהים.

פסקה שניה:
נניח ששמתי את האטום בצד ימין של הקופסא כאשר החור סגור. כל עוד אני יודע שהוא בצד ימין האנטרופיה היא 0. ברגע שאני פותח את החור האטום יכול לעבור מצד לצד האנטרופיה גדלה.
הדבר נכון גם אם היה מדובר במדידה, שברגע מסויים סוגרת את החור ובודקת איפה האטום נמצא.
התרבות היהודית של היהודים במדינת היהודים 588766
נראה לי שאנחנו לא מדברים על אותו הדבר. אנטרופיה בפיזיקה הוא גודל פיזיקלי, אפשר למדוד אותו (ז"א לא אותו, אבל את השינוי בו) והוא שומר על אינוורינטיות. לא מדובר במושג קוואנטי, מדידה לא בהכרח משנה אותו ואין מצב של קריסה.

עכשיו תחשוב על קופסא עם 10 מטבעות ושלושה פיזיקאים. שלושתם יודעים בתחילת הניסוי ש-‏4 מטבעות נמצאים על פלי ו-‏6 על עץ. סה"כ 15(?) מצבים אפשריים. שלושתם לוקחים מדחום ושמים בקופסא. אחד מהם הוא סקרן, אז הוא פותח את הקופסא ובודק בדיוק באיזה מצב המערכת נמצאת. אחד מהם בעל נטיות אובדניות, אז הוא לוקח פטיש ומתחיל לדפוק בראש שלו. השלישי סתם עצלן, אז הוא מסתכל על המדחום ומחכה שהשניים האחרים יסיימו אם מה שהם עושים. בסיום כל אחד בודק מה הידע שלו על המערכת, הראשון יודע על המערכת יותר, הוא יודע בדיוק באיזה מצב היא נמצאת, האנטרופיה אמורה היתה לרדת. השני יודע על המערכת פחות, הוא בקושי זוכר איך קוראים לו. השלישי יודע על המערכת בדיוק אותו הדבר. האם האנטרופיה עלתה, ירדה נשארה קבועה או שהיא שונה עבור כל אחד משלושת הצופים?
התרבות היהודית של היהודים במדינת היהודים 588767
ורק למען ההקבלה, באנטרופיה של תורת המידה, יש משמעות לאנטרופיה מותנת. כך שאכן האנטרופיה על מספר המטבעות שונה לכל אחד מהנוכחים, כל אחד לפי הידע שלו על המערכת.
התרבות היהודית של היהודים במדינת היהודים 588773
מחיקת הידע ע''י פטיש נראית לי משהו שהמודל מתורת האינפורמציה לא אמור לשקף.

בכל מקרה, ברגע שהפיזיקאים פתחו את הקופסה, האנטרופיה הפיזיקלית אינה קבועה. בפרט למכת הפטיש יש מן הסתם השפעה לא מבוטלת על האנטרופיה הפיזיקלית.
התרבות היהודית של היהודים במדינת היהודים 588775
בוודאי שכן, אני יכול לשאול מה האנטרופיה לפי הידע של המכה בפטיש (שהוא אפס ידע), ואז האנטרופיה מקסימלית (לוג של מספר המצבים), או לשאול מה האנטרופיה לפי הידע של זה שהסתכל על הקופסא ויודע בדיוק מה המצב שלה (ואז היא 0).
התרבות היהודית של היהודים במדינת היהודים 588776
לא ברור לי איך ידע יכול סתם להעלם בהקשר שלנו. אתה מכניס למודל שלך את המוח?

(וכן, ברור לי שמדובר על ניטפוק צדדי. מצד שני, שנון הוא אחד המחשבים שלי בעבודה)
התרבות היהודית של היהודים במדינת היהודים 588783
הסתברות מותנת אתה מכיר? זה עובד אותו דבר. אתה יכול לשאול שאלה, בהנתן שאתה יודע משהו על המערכת. מהי האנטרופיה של הטלת שני קוביות בהנתן שאתה יודע שסכום הקוביות הוא 10. אז כן, אתה בערך מכניס למודל את המוח, או אולי אתה ממדל את המוח כך שיכנס לתיאוריה.
התרבות היהודית של היהודים במדינת היהודים 588777
אני לא יודע כלום על תורת האינפורמציה. אם אתה לא יכול למחוק ידע על מערכת סגורה, אז הידע שלך עליה יכול רק לגדול או להשאר קבוע?

האנטרופיה של המערכת הסגורה שמכילה את המטבעות בלבד לא תלויה בפתיחת הקופסא שמכילה את המטבעות בתנאי שתעשה את זה במזהירות מספיקה. אנטרופיה הוא לא מושג קוונטי.
התרבות היהודית של היהודים במדינת היהודים 588778
אם הידע הזה תלוי במכת פטיש מחוץ למערכת, אי-אפשר להגיד שמדובר סתם על האנטרופיה של המערכת הסגורה. אם מרשים לי להוסיף מכת פטיש, אני אוסיף באותו מחיר גם אורקל שיספר למדען הרביעי איך בדיוק מסודרים המטבעות.
התרבות היהודית של היהודים במדינת היהודים 588781
אני לא רואה הבדל בין הרביעי לראשון, לא צריך אוראקל, מספיק להסתכל על המטבעות. בעייתי? נכון, בגלל זה אני לא מבין מה הקשר בין ידע על המערכת, מושג שרומז על תודעה של גורם שנמצא מחוץ למערכת, לבין התכונות הפיזיות שלה. למיטב ידיעתי זה דבר שקיים רק במערכות קוונטיות (וגם שם בצורה הרבה יותר עדינה מההגדרה של סתם). אולי נחכה שסתם יסביר לנו.
התרבות היהודית של היהודים במדינת היהודים 588794
סתם בשביל שיהיה הבדל: אחד מהמטבעות מזויף ושוקל פחות.

(לא המציאו את החידה הזו אחרי שכבר הפסיקו להשתמש במטבעות כסף וזהב אמתיים?. טוב. אז יש שם תשעה מטבעות רגילים ומטבע חנוכה אחד).
התרבות היהודית של היהודים במדינת היהודים 588797
אולי נהפוך את המטבעות לחזירים, את הקופסא לבית, ואת ההוא שדופק באת הראש בפטיש לזאב... לא ברור לי מה אתה רוצה להשיג ומה הקשר בין זה לדיון.
התרבות היהודית של היהודים במדינת היהודים 588801
אתה מתעלם ממה שכתבתי ואני מרגיש שזה לא הולך להשתנות.
מעולם לא טענתי שמדובר במדידה קוואנטית, שמדידה בהכרח משנה אותו ושיש מצב של קריסה. אתה שם בפי טענות מגוחכות ואז תוקף אותן וזה לא הגון.

אני טוען שיש קשר ממשי, ולא רק אנלוגיה, בין אנטרופיה תרמודינמית לאנטרופיה בתורת האינפורמציה. לא המצאתי את הקונספט הזה בעצמי, כמובן.
ראה למשל את המאמר הקלאסי
אם אתה חולק על הטענה הזו, תרשה לי רק לשאול לפני שנמשיך: האם בעיניך יש קשר ממשי בין אנטרופיה תרמודינמית לאנטרופיה במכניקה סטטיסטית או שגם כאן מדובר באנלוגיה בלבד?
התרבות היהודית של היהודים במדינת היהודים 588804
אני לא חולק על הטענה. למעשה, אני בור ועם הארץ בכל מה שנוגע לתורת האינפורמציה. אני חולק‏1 על הטענה שאנטרופיה פיזיקלית מכמתת חוסר ידע על המערכת.

1 או, יותר נכון: מנסה להבין את.
התרבות היהודית של היהודים במדינת היהודים 588807
ועל השאלה "האם בעיניך יש קשר ממשי בין אנטרופיה תרמודינמית לאנטרופיה במכניקה סטטיסטית או שגם כאן מדובר באנלוגיה בלבד?" אתה מוכן לענות?
התרבות היהודית של היהודים במדינת היהודים 588822
כן, אני מוכן לענות.

התשובה למיטב הבנתי היא כן, אבל אשמח לדעת אם ולמה אני טועה.
התרבות היהודית של היהודים במדינת היהודים 588859
אוקיי... אני מניח שענית שכן, יש קשר בין אנטרופיה תרמודינמית לאנטרופיה של מכניקה סטטיסטית.

אם כך, נעזוב לגמרי את תורת האינפורמציה (שהתחילה את הפתיל מבחינתי לפחות) - נשאר רק להראות את הקשר בין אנטרופיה של מכניקה סטטיסטית לחוסר ידע.
מדובר בקונספט בסיסי למדי של מכניקה סטטסיטית ואני מאמין שתוכל למצוא הסברים טובים משלי בהרבה מקומות.

במכניקה סטטסיטית לוקחים את התופעות המאקרוסקופיות של תרמודינמיקה (חום, אנטרופיה וכו') ומנסים להבין אותם ע"י סטטיסטיקה על חלקיקים שמרכיבים את המערכת.
את הסטטיסטיקה על החלקיקים עושים במונחים של המהירות, המיקום וכל מיני פרמטרים דומים - אפילו שאי אפשר למדוד אותם במבט מאקרוסקופי על המערכת ובטח לא את של כולם בו זמנית. עדיין אפשר לעשות כל מיני אינטגרלים על אוסף הפרמטרים המיקרוסקופיים שיכולים להרכיב את המצב המאקרוסקופי שאנחנו רואים מרחוק.
ככל שיש יותר מצבים מיקרוסקופיים מתאימים - האנטרופיה גדולה יותר (בולצמן).
עד כאן אני מקווה שאין בינינו חילוקי דעות. אם כן אנא פרט.

עכשיו לביזנס:
ככל שמספר המצבים המתאימים למצב המאקרוסקופי גדול יותר, אנחנו מחזיקים פחות ידע על המצב המיקרוסקופי האמיתי של המערכת.

אם היה לנו ידע על המצב המיקרוסקופי (זה מצב דימיוני ברוב המערכות כי מדובר על יותר מדי חלקיקים, אבל בכל זאת) היינו יכול לנצל אותו בדרכים שונות כדי לשנות את המצב המאקרוסקופי.
למשל, אם היינו שדון קטן שיושב ליד חור בין שני מיכלים, היינו יכולים לאפשר מעבר ימינה של חלקיקים עם מהירות גבוהה ושמאלה של חלקיקים עם מהירות נמוכה, ולהקטין את האנטרופיה של המערכת (משלמים על זה באנטרופיה גדלה במקום אחר אבל זה לא משנה כרגע). השדון בעצם רואה את המערכת ברמה המיקרוסקופית, ומבחינתו אין חוסר ידע שנובע מכך שהוא מסתכל על מערכת מאקרוסקופית.

----------------------------------------------------------------

בדיוק ברגע זה של כתיבת התגובה חיפשתי באינטרנט דוגמא משכנעת ומצאתי את הלינק הבא
http://en.wikipedia.org/wiki/Entropy_(statistical_thermodynamics)#Lack_of_knowledge_and_the_second_law_of_thermodynamics

אני מעתיק מהמאמר שני משפטים:
1. The entropy S is defined as kB*lnΩ where kB is Boltzmann's constant and Ω is the number of microstates consistent with the given macrostate.
2. We can view Ω as a measure of our lack of knowledge about a system

----------------------------------------------------------------

ובכן, אין לי פרטנזיות מוגזמות לגבי יכולת ההסבר שלי ומדובר בעניין שאתה יכול למצוא עליו אינפורמציה ברחבי האינטרנט.. גם במאמר המקושר לעיל וגם בכאלו שמתאים מה היא מכניקה סטטיסטית.

אם אתה עדיין לא משוכנע אני אנסה לחשוב על דוגמא נחמדה.
התרבות היהודית של היהודים במדינת היהודים 588862
"ככל שמספר המצבים המתאימים למצב המאקרוסקופי גדול יותר, אנחנו מחזיקים פחות ידע על המצב המיקרוסקופי האמיתי של המערכת" לא מסכים. נראה לי שאתה קורא "ידע" למשהו שהוא בכלל לא ידע. כמות הידע שאנחנו מחזיקים לגבי מערכת מסויימת לא קשורה למספר המצבים שלה, הוא קשור לכמות הידע שאספנו (בעזרת מדידות) עליה. אותה מערכת יכולה להיות כזאת שאנחנו לא יודעים עליה כלום (=לא מדדנו שום דבר) או שאנחנו יודעים עליה הרבה מאד (=מדדנו את כל מה שאפשר למדוד). כמה שלא תהפוך את זה, זאת עדיין אותה מערכת, והאנטרופיה שלה לא תלויה בידע שלנו. מספר המצבים הזהים מאקרוסקופית כן קשור לכמות הידע שאפשר לאסוף על מצב המיקרוסקופי של המערכת. לזה התכוונת?
התרבות היהודית של היהודים במדינת היהודים 588866
"מספר המצבים הזהים מאקרוסקופית כן קשור לכמות הידע שאפשר לאסוף על מצב המיקרוסקופי של המערכת." נכון. אני שמח שאנחנו מסכימים על זה.
מה שזה אומר, לצורך העניין:
אם אספנו רק מידע מאקרוסקופי, הרי ש(לוג)מספר המצבים המיקרוסקופיים הזהים מאקרוסקופית, שווה כמעט* לכמות חוסר הידע** על המערכת.
*כמעט: כי בכל זאת אספנו כמות מידע זניחה - המידע המאקרוסקופי.
** חוסר ידע: הידע שאפשר לאסוף פחות הידע שאספנו.

אם כן, לא ברור לי מדוע אתה "חולק‏ על הטענה שאנטרופיה פיזיקלית מכמתת חוסר ידע על המערכת" (הדגשה שלי) או מה אתה מנסה להבין בדיוק.

____

רק אם נלבן את הסוגיה לעיל, יהיה מעניין לדון במה שיקרה אם ייתכנו מדידות מיקרוסקופיות.
התרבות היהודית של היהודים במדינת היהודים 588867
אופס, תתעלם מה''כמעט''. שווה בדיוק כי אנחנו סופרים רק את המצבים המיקרוסקופיים שזהים למצב מאקרוסקופי מסויים. לא צריך להערבב בין השניים...
התרבות היהודית של היהודים במדינת היהודים 588877
אני חושש אני מתחיל לחזור על עצמי. תחזור בבקשה שוב על הסיפור עם שלושת הפיזיקאים תגובה 588766 ותענה לי על השאלה הפשוטה ששאלתי בסוף ("האם האנטרופיה עלתה, ירדה נשארה קבועה או שהיא שונה עבור כל אחד משלושת הצופים?").

אין קשר, לא כמעט ולא בטיח, בין הידע שלך לבין הידע האפשרי שלך (או שלי, ובטח לא שלנו). יש לך אפשרות לדעת מי היה מלך ספרד ב-‏1703 או מה תאריך הלידה של בריטני ספירס, אבל עד שלא תלך לוויקיפדיה ותבדוק את מה התשובה‏1 אין לך את הידע הזה. ידע לא יכול להיות גודל פיזיקלי של מערכת שלא כוללת את המודד.

1 פליפה החמישי, והשני לדצבמר 1981. כמובן.
התרבות היהודית של היהודים במדינת היהודים 588902
רק שניה, בוא נסגור את מה שדיברנו עליו קודם.
אתה אמרת "מספר המצבים הזהים מאקרוסקופית כן קשור לכמות הידע שאפשר לאסוף על מצב המיקרוסקופי של המערכת".
אני אמרתי "חוסר ידע: הידע שאפשר לאסוף פחות הידע שאספנו".
האם עד כאן הכל בסדר?
התרבות היהודית של היהודים במדינת היהודים 588903
למה אתה לא רוצה לענות לשאלה ששאלתי אותך?
התרבות היהודית של היהודים במדינת היהודים 588904
איזו שאלה, עם הפיזיקאים? היא נראהת לי יותר כמו בדיחה, ואם אתה מצפה לתשובה רצינית אז היא לא מוגדרת היטב, מבחינת הקשר בין המטבעות לאנטרופיה, לידע של הפיזיקאים ולעניות דעתי אין לה שום שום תרומה לנושא הכללי שאנחנו מדברים עליו. אני לא חושב שהיא נובעת מרצון להבין אלא מרצון להגחיך מה שאתה לא מבין.

למה אתה לא עונה על שאלה ה"כן/לא" הפשוטה, שאצרף לטובתך כאן:
"רק שניה, בוא נסגור את מה שדיברנו עליו קודם.
אתה אמרת "מספר המצבים הזהים מאקרוסקופית כן קשור לכמות הידע שאפשר לאסוף על מצב המיקרוסקופי של המערכת".
אני אמרתי "חוסר ידע: הידע שאפשר לאסוף פחות הידע שאספנו".
האם עד כאן הכל בסדר?"
התרבות היהודית של היהודים במדינת היהודים 588906
כן, אני מצפה לתשובה רצינית. אני רוצה להאמין שאם תנסה לענות ברצינות תבין את הבעיתיות שבהגדרה שלך ותנסח אותה מחדש.

ולשאלתך: לא. חוסר ידע הוא הידע שאפשר לאסוף פחות הידע שאספנו ופחות הידע שלא ניתן לאסוף) אלא אם כן אתה טוען שאין ידע שלא ניתן לאסוף? (אני עדיין לא מבין מה זה שייך לשאלה שלי: איך יכול המודע של צופה על מערכת סגורה להשפיע על התכונות הפיזיקליות שלה?)
התרבות היהודית של היהודים במדינת היהודים 588908
קיבלת את התשובה הרצינית... השאלה לא מוגדרת היטב ושום תשובה עליה לא תקדם את הדיון בינינו.

"חוסר ידע הוא הידע שאפשר לאסוף פחות הידע שאספנו ופחות הידע שלא ניתן לאסוף" - מה זה בדיוק ידע שלא ניתן לאסוף? נניח שמדובר על מיכל עם חלקיקים של גז. האם אי אפשר לאסוף מידע על מיקומו ומהירותו של אטום מסויים? של כל האטומים? ומה אם כן היה אפשר?

המודע של צופה יכול להשפיע על מערכת אם הוא עושה משהו עם הידע שלו.
אם אתה מחפש דוגמא חמודה על מקרה שבו הידע המיקרוסקופי של הצופה משפיע על תכונות מאקרוסקופיות (ובלעדי הידע אין לו את היכולת להשפיע על תכונות מאקרוסקופיות), קרא על השדון של מקסוול.
התרבות היהודית של היהודים במדינת היהודים 588912
אני חושב שהיא מוגדרת טוב למדי, אם יש פרטים נוספים שיעזרו לך, תשאל ואני אוסיף.

ידע שלא ניתן לאסוף: למשל שמות כל החללים המלחמה הפונית השנייה (כולל תאריך ומקום לידה מדוייק).

אם הוא עושה משהו על המערכת עם הידע שלו, אז בוודאי, אבל כאן המודע לא משחק תפקיד אלא המעשה (ז"א גם אם הוא היה שחקן ללא מודעות שפועל על המערכת הוא היה משפיע עליה באותו אופן, אני לא חושב שיש סיבה שלשדון של מקסוול, למשל, תהיהי מודעות). מצד שני, ועל זה שאלתי, אם הוא לא עושה שום דבר על המערכת עם הידע שלו, אז תסכים איתי שהוא לא יכול להשפיע על התכונות הפיזיקליות שלה?
התרבות היהודית של היהודים במדינת היהודים 588913
מסכים בהחלט.
התרבות היהודית של היהודים במדינת היהודים 588914
יפה. עכשיו באנטרופיה של תורת האינפורמציה הידע שלך על המערכת, משפיע בהחלט על האנטרופיה, והוא למעשה הדבר היחיד שיכול להשפיע על האנטרופיה של מ"מ מסויים. כמו שכתבתי, האנטרופיה של הפרופסור יודע-הכל היא תמיד 0.

השדון של מקסוול להבנתי המוגבלת, פותר פרדוקס שמאפשר לכאורה ליצור פרפטום מובילה אם יש לך ידע אינסופי על היקום, בכך שבשביל לאכסן ולשלוף את הידע הזה יש צורך באנרגיה. אני לא מבין מה הקשר בין זה לבין האנטרופיה של תורת האינפורמציה.
התרבות היהודית של היהודים במדינת היהודים 588915
אתה גם האייל האלמוני?

השדון של מקסוול הוא הפרדוקס, לא הפתרון. הקשר לתורת האינפורמציה הוא אחד הפתרונות לפרדוקס, קישרתי אליו בתגובה קודמת.
התרבות היהודית של היהודים במדינת היהודים 589000
אני לא האייל האלמוני, אבל הוא עושה עבודה טובה לטעמי. (אם הוא מסכים, אשמח שגם הוא יפרסם את האימייל שלו עם המפתח הפומבי שלי, ואם הוא מסכים שוב, אעביר אותו אליך).

כוונתי אכן לא היתה לשדון, אלא לפתרון של הפרדוקס שמופיע בויקיפדיה שמבוסס על עניין האינפורמציה כמו שציינת. (אני לא מבין גדול לא בפיסיקה ולא בשדונים).
התרבות היהודית של היהודים במדינת היהודים 588924
אינפורמציה זה חלקיקים לא?
התרבות היהודית של היהודים במדינת היהודים 588925
אינפורמציה אפשר להעביר באמצעות חלקיקים, אבל היא קיימת גם בלי החלקיקים. אולי אם אין חלקיקים לא יהיה לך מח ולא תוכל להעביר אותה, אבל היא קיימת בלי קשר.
התרבות היהודית של היהודים במדינת היהודים 588945
אין לי שמץ של מושג בתחומים שבהם אתה ודאי דן, אבל שימוש במושג אינפורמציה - במובן שבו אינפורמציה קיימת גם כאשר לא מתקיים שום סוג של מעבר אינפורמציה, נשמע לי לא אמין.
ולכן אתה טועה. אני מניח גם שהנימוקים הטובים ביותר ל""קיומה"" של אינפורמציה נובעים בדיוק מאותו החוק ה2 של'תרמודינמיקה. שגם הוא חסר טעם בלי מעבר של דברים.
ומעבר של דברים מתרחש באופן חלקיקי מסוים, לפחות ע"פ גישה מסוימת. (גם אם החלקיקים הם חלקיקים-מדומינים או "גלים" וצ'ו), כפי שהנפש אין לה קיום אלא דרך הבשר.

למח, למען האמת, ע"פ אותה הגישה, יש מעט מאוד קשר לנושא הזה של קיום או מעבר אינפורמציה, ולבטח פחות משקל מלשאר הדברים הכלולים בקבוצת הביולוגיה הפיזיקלית (חוץ ממח).
התרבות היהודית של היהודים במדינת היהודים 588951
אני לא מסכים עם מה שאתה אומר. יש בהחלט טעם לדון במידע, בלי לדון על מעבר מידע.

אני יכול להגיד לך בוודאות, שאם אתה יודע את סכום הקוביות הסיכוי שלך לנחש נכונה גבוה מהסיכוי שלך לנחש נכונה בלי לדעת את סכום הקוביות. זה נכון תמיד, בלי קשר לשאלה אם או איך המידע הזה עובר אליך, אם בכלל אפשרי להעביר אותו, וכדו'.

זה כמו שתגיד לי ''אין משמעות לסכום של דברים בלי להסתכל על מספר דברים בעולם הפיסיקלי''. הצליחו לייצר לזה משמעות.
התרבות היהודית של היהודים במדינת היהודים 588956
הדיון השני עוסק בכמה משמעות הצליחו לייצר בעזרת הגרעין הקשה של המדע.
עד עכשיו, בשאלה -האם אפשר לתאר רצון או משמעות בכלי המדע הקשיח?- התשובה שניתנת שם בכל סיבוב היא- זה לא מתישב עם עקרון הסיבתיות ותהה זו רנדומלית למחצה או רופפת לגמרי.

הדיון ההוא, הוא לא זה שעוסק באיפה בדיוק יושבת המתמטיקה, אלא שגם בנושא הזה לא זכור לי שהתורה הנושאת את דגל 'הסיבתיות הפשוטה' מספקת תשובות מהימנות. ובלי זה אין משמעות גם לשום ביטוי מתמטי מבחינה מדעית.

איך דנים במידע בלי לדבר על העברת מידע?
התרבות היהודית של היהודים במדינת היהודים 588960
אל תתן לו להגיד לך שהקופסא שמספר קופים לא ידוע בתוכה או מחוץ לה לא באמת קיימת, זה מה שהם תמיד אומרים.

"העברת מידע" כוללת כמובן את גם הפחיתה שלו, תחת חסות החוק ה2, אז הוא עובר לעולם שכולו טוב, אני משער, בקצב פרופורציונלי לגדילת אופק האירועים או אירועים חסרי פוטנציל וחד כיווניים דומים.
התרבות היהודית של היהודים במדינת היהודים 588962
לא הבנתי את הפסקה הראשונה.

לא הבנתי בקשר למה אמרת את הפסקה השניה.

בכל אופן, אם אפשר להניח בפיסיקה שאין חיכוך ויש לך מקור כח אינסופי מבחינת השאלה, למה אי אפשר להניח הנחות דומות כשעוסקים בשאלות של מידה, ולהתעלם מכך שצריך להעביר את המידע?

למה אפשר להתייחס באינפי להרכבת ריבוע מריבועים הולכים וקטנים עד אינסוף, למרות שאם תחתוך ריבוע אמיתי עד הסוף תתקל באטומים שלא ניתנים לחלוקה (טוב, לא בדיוק הם, אבל תתקל בבעיה כלשהי)?
התרבות היהודית של היהודים במדינת היהודים 588964
אני מעריך שעל מידע כזה (חסר חיכוך וכמותי) מדברים גם כשמזכירים חוסר ידע על (ב)מערכת וגם כשמזכירים אנטרופיה. אבל באמת, אני עשוי ללמוד משהו חדש על הקשר בין אנטרופיה לדברים אפילו מג'וד.
התרבות היהודית של היהודים במדינת היהודים 589001
אני באמת לא מבין מה שאמרת (מי זה ג'וד?). אתה יכול לנסות שוב?
התרבות היהודית של היהודים במדינת היהודים 589247
מי אתה ומה הקשר שלך אלי ולאנטרופיה?
התרבות היהודית של היהודים במדינת היהודים 589322
נדמה לי שהוא רומז בעדינות לדברים מסוג תגובה 582631, תגובה 582634 <חזירים שוביניסטים יכולים להכניס כאן בדיחות אבל לא לשלוח אותם, רק להיזכר בראש>.
התרבות הי הו של היהודים במדינת היהודים 589358
את צודקת, התבקש <קישור תגובה 582873 קישור>
ואני כבשה באמת
התרבות הי הו של היהודים במדינת היהודים 589386
מעניין, לא ידעתי שהיה אימפקט לתגובה הזאת כי לא היה לה הד, אך בשבילי היא היתה רגע מכונן. היא אמנם גולמית ומחוררת, אך הרגשתי שנגעתי בקצה זנבו של סוד היקום.
מאז עשיתי קורס רענון בתרמו', וקראתי ברגש את הכתובת החרוטה על מצבתו של לודוויג בולצמן, פיסגת מחקריו ותמצית עבודת חייו, ביטוי לאצבע אלוהים ולחץ הזמן שכמעט לעולם אינו סב על עקביו – הביטוי הקומבינטורי של האנטרופיה.
קראתי את הכתובת, ושטף הזדהות עבר בין בולצמן וביני, אחים אנו, שנינו הרגשנו אותו דבר... :-)
התרבות הי הו של היהודים במדינת היהודים 589424
חץ הזמן "שכמעט" לעולם אינו סב על עקביו? למה הכוונה, אם זו אינה פליטת מקלדת.
התרבות הי הו של היהודים במדינת היהודים 589443
חץ הזמן הוא הכיוון בו גדלה האנטרופיה, אבל גידול האנטרופיה הוא תהליך סטטיסטי ויש לאנטרופיה גם סיכוי לקטון. ברגע זה ממש מתחת לאפינו האנטרופיה קטֵנה מעצמה באינספור פינות זעירות, ובאותן פינות מתהפך לרגע קט חץ הזמן.
התרבות הי הו של היהודים במדינת היהודים 589433
מה את אומרת, יתכן שאחרי שתפחת כמות הבחירה עם התפשטות הכתמים האפור ביקום, (תפחת אך לאו דוקא תאיט, יתכן כי כשהאופציות יהיו מוגבלות יותר מהירות עיבוד האינפורמציה תעלה), יופיעו חיים חדשים המפרקים עבודה? ויתירו את כל התוצרת של המנועים החלודים והמסובכים לכאורה שנשארו על החוף?
אולי אחד החברה האלו יגלה ש T(-C^2) = E ויתוכח אם יש מקום לקואזו-בחירה בעולם לוגי של חלקיקי זמן
התרבות הי הו של היהודים במדינת היהודים 589444
:-) סיי ווט? כתבת שיר לירי שאת רובו המוחלט לא הבנתי. מה חבל, דבר לא יתיר את התוצרת של המנועים החלודים שעל החוף, כי הסטטיסטיקה היא זו שמייצרת את האנטרופיה והסטט' אינה יכולה להתהפך. (כי אם קיים עולם שבו לאירוע נדיר יש סיכוי גבוה לקרות ולאירוע ודאי כמו קיום אותו עולם עצמו סיכוי אפסי לקרות, אותו עולם לא קיים.)

דיסקליימר: אלנמב"י (אין לי נסיון מוכח בבניית יקומים)
התרבות היהודית של היהודים במדינת היהודים 589464
לצורך העניין,
האם אתה מתבסס על משמעות כלשהי המשויכת למילה אינפורמציה בפיסיקה?
סטיסטיקה היא תחום שמשתמש בטריק ה-'נגיד שידוע X', נראה לי שהקשר של התחום הזה למתמטיקה (הלא שימושית עלק) לא ידוע.
אין סימן מתמטי ל'נגיד ש-'.
התרבות היהודית של היהודים במדינת היהודים 588927
ובקשר לפסקה הראשונה - אז מה? פעם הגדרנו את האנטרופיה ביחס לחלקיקים, ופעם ביחס לביטים.

ההבדלים בין הביטים לחלקיקים הם בעיקר:
1. יש הרבה פחות ביטים מחלקיקים במערכת מעניינת.
2. קל מאוד לבצע מדידות ומניפולציות מיקרוסקופיות על ביטים (קוראים או כותבים ביט), והמצב של הביט משתנה אקראית לאחר הקריאה, אם בכלל, תחת חוקים פשוטים יותר.

עדיין ניתן לדבר על אנטרופיה בשני ההקשרים הללו.
התרבות היהודית של היהודים במדינת היהודים 588928
אני מבין איך תגדיר אנטרופיה על *המצב* של חלקיקים. כלומר האנטרופיה על מיקום החלקיקים (מרחב המדגם הוא כל המיקומים האפשריים של החלקיקים, מהי האנטרופיה של מיקומי החלקיקים בהנתן שאנו יודעים את מיקומו של החלקיק הראשון). זו שאלה ראויה לתורת האינפורמציה.

מה שלא הגיוני בעיני הוא משפט כמו "סך האנטרופיה במערכת סגורה לא יכול לקטון". סך האנטרופיה הוא תמיד יחסית לידע שלך על החלקיקים. הוא קוטן או גודל יחסית למשהו, אין לאנטרופיה האינפורמטית קשר לזמן.
התרבות היהודית של היהודים במדינת היהודים 588930
החוק השני של התרמודינמיקה (אליו אתה מתייחס במשפט השני) לא מגדיר את האנטרופיה, הוא משתמש באנטרופיה. במערכות פיזיקליות עם אנטרופיה פיזיקלית הוא תמיד רלוונטי, אבל יש סיטואציות (בתורת האינפורמציה קל למצוא כאלה) שבהן הוא לא רלוונטי.

אם היית מכניס למערכת שלך משהו שמשפיע אקראית על הביטים עם תלות בזמן (נניח, הסתברות מסויימת לביט להתהפך במהלך שנייה), גם לזמן היה קשר לאנטרופיה של המערכת.
עם קצת זהירות ועוד כמה הגדרות יש להניח שיהיה גם אפשר להגדיר חוק דומה לחוק השני במערכת כזו.
התרבות היהודית של היהודים במדינת היהודים 588932
אני לא חושב שיש לאנטרופיה האינפורמטיבית התייחסות לשינוי בביטים. הביטים לעולם לא משתנים. יש להם התפלגות מסויימת אפריורית, ולכן אנטרופיה קבועה אפריורית. לא מעניין מה קרה להם בפועל. האנטרופיה יכולה להשתנות בהנתן ידע מסויים על המערכת (ושוב, לא משנה מה קרה בפועל). אם אני יודע את הערך של הביט הראשון‏1 אז האנטרופיה הכוללת קטנה (בכמה? תלוי במרחב המדגם).

1 (אגב, אנטרופיה לא מחייבת ביטים או בסיס בינארי, אבל לא משנה.)
588937
אתה: החוק השני של התרמודינמיקה לא רלוונטי לאנטרופיה אינפורמטיבית, כי אין לאנטרופיה האינפורמטית קשר לזמן (ולכן, במשתמע, היא "לא כמו" אנטרופיה פיזיקלית - אם אני מבין נכון את מה שאתה טוען. תקן אותי אם אני טועה).

אני: אם אין זמן אן זה באמת לא רלוונטי.. אבל ניתן לחשוב על הכללה מסויימת שיש בה זמן ושבה יהיה משהו דומה לחוק השני של התרמודינמיקה גם לאנטרופיה אינפורמטיבית.

אתה: אבל ההרחבה לא מעניינת/שימושית/מוכרת לי.

אני: לא טענתי שהיא מעניינת, שימושית או מוכרת (אם כי ייתכן שיש שימושים ידועים לחישובי אנטרופיה של "רעש" שנוצר עם הזמן). רק טענתי שהעובדה שהחוק השני של התרמודינמיקה לא תקף לאנטרופיה אינפורמטיבית, לא משנה דבר לגבי הקשר שלה לאנטרופיה פיזיקלית.
588946
אנא אל תכניס לי מילים לפה. לא אמרתי שההרחבה לא מעניינת או שימושית. אמרתי שלפי התיאור שלך, ההרחבה לא עובדת בתורת האינפורמציה.

אנסה שוב. אנטרופיה אינפורמטית לא משתנה בזמן, ולא משתנה בכלל. בשביל לדבר על אנטרופיה, אתה צריך מרחב מדגם עם התפלגות, ועליו אתה יכול לשאול מה האנטרופיה בהינתן פיסת מידע מסויימת. מה שאמרת לא מתמפה לי לאנטרופיה אינפורמטית.

עכשיו תסביר שוב בבקשה. מרחב המדגם שלך הוא מיקומי האטומים - עד כאן בסדר. מכאן לא הבנתי מה קורה. זה נראה כאילו אתה ממפה מידע לזמן, והאנטרופיה בזמן מסויים היא האנטרופיה של המערכת בהנתן המידע הזה. אבל לא ברור לי מהו המיפוי בין נקודת זמן למידע על המערכת.
588953
אני מתנצל על התגובה הקודמת.

אני גם מתחרט על ההכללה עם הזמן שנתתי. המחשה להכללה יכולה להיות למשל מודל מרקובי, שבו בכל צעד כל ביט יכול להחליף את ערכו. המיפוי לזמן הוא של האנטרופיה של המערכת בכל צעד על המודל המרקובי. אני מאמין שהאנטרופיה לא יכולה לקטון במערכת כזו, ואם מתחילים מאפס (כלומר ממצב ידוע) היא תגדל.

אני מתחרט כי היה עדיף פשוט לשאול ישירות למה אתה חותר - מה הבעיה בזה שהאנטרופיה כקונספט נוכחת במודל שהזמן לא משחק בו תפקיד?
588957
אין בעיה, אני פשוט לא הבנתי (ועדיין לא מבין), איך המודל עובד. זה יכול להיות אפילו הגיוני, או נוכחות מתבקשת, אבל עד עכשיו לא הבנתי איך האנטרופיה האינפורמטית נכנסת למודל.

אני ממשיך. מודל מרקובי של מיקומי האטומים, מתאר את התפלגות האטומים כפונקציה של הזמן. נפלא - זהו מרחב המדגם. עכשיו נותר לי להבין מהו המשתנה המקרי שאת האנטרופיה שלו אנחנו מודדים. המיקום של האטומים באיזו נקודת זמן?

אני משער שמה שאתה מתכוון הוא, אנחנו מודדים את האנטרופיה של מיקום האטומים בנקודת זמן רחוקה, וככל שאנחנו מתקרבים לנקודה זו, האנטרופיה קוטנת, כי אנחנו יודעים מה קרה כמעט רגע לפני הצעד האחרון. זו נשמעת הקבלה הגיונית. אם האנטרופיה האינפורמטית שווה לאנטרופיה הפיסיקלית של המודל - אז זה באמת קשר מעניין.

אגב, אתה נשמע איש מעניין, תוכל בבקשה להצפין אימייל שניתן ליצור איתך בו קשר בהודעה הבאה באתר הזה עם המפתח המצ"ב? כאן אפשר לעשות זאת אונליין (תעתיק את המפתח הפומבי לתיבת הטקסט העליונה, והאימייל לתחתונה. תעתיק רק את הטקסט האתר לפעמים מוסיף תוים מוזרים אחרי ההודעה המוצפנת).

-----BEGIN PGP PUBLIC KEY BLOCK-----
Version: BCPG C# v1.6.1.0

mI0ETuZhIAEEAKxZbR634JKCA/Z4XZCVmWfbbVBLeKmZlgO3TnAdXG/O2HMwV5IG
5uBAZZEd4KtqZijERpXRs59oLVILcN7Bp0mPxXNU5teffOM0BevPow3v6ook6Oa+
WrRDPGCsHOUTPIyhi725eTYb4fP72JcXaSI+G6IARaDtQs9w7XvX8W3xABEBAAG0
AIicBBABAgAGBQJO5mEgAAoJEO3NGVlCgdAgd5AD/R5nyWdi7dUs23H4TEyKpkQl
iMod8g3GxdbME7dvL4EL5jsLw5FQskuggJ/cVgnWLrA2OyoL8hIHlXBB+HFkI2jY
AZfZeYCV186P66FHSTneos4PrL49SKUVeHtvUryAKqe7OkizIThAG7Vo4DDTgRzu
lPVWEs1f7zMmvQ2RlHGK
=X1gz
-----END PGP PUBLIC KEY BLOCK-----

האימייל שלי מוצפן לדוגמא

-----BEGIN PGP MESSAGE-----
Version: BCPG C# v1.6.1.0

hIwD7c0ZWUKB0CABBACCSq8JpBa3W/vsaPB3eIcxgl17XtwOG/kyewB6LDwkL7Wf
qH+6apVpyiwdOEnvBxx/UpkUooOTSoTsIFlq4IFp/GLYLmeeCniqpIrpY7XQW1qu
cn2JehEDuWRmAIC26r5ZRvXYFgw+BPTkykfLGUEN9Zhyh6RLTAFPKiEtlftGMMkv
Yy2fOfnOY3HmzryLrv9j/RnMiGH0EuO32zLg/90fme/y7XfYqh4ATYfZW3NFfeM=
=MKDT
-----END PGP MESSAGE-----
588968
לא, זה הרבה יותר פשוט.

יש לך סדרה של ביטים (אם אתה מעדיף, סדרה של נתונים כלשהם על אטומים, אבל אני אשתמש בביטים לטובת הפשטות. זה לא משנה לצורך הדוגמא - הרי זה יעבוד על כל מה שאפשר לייצג בביטים).
כל אחד מהביטים "מחובר" למודל מרקובי משלו. מודל מרקובי, על רגל אחת, זה פחות או יותר אוטומט שמגדיר הסתברות למעבר בין הצמתים שלו. (עם כמה דרישות והוראות הפעלה).
זה יכול להיות משהו מאוד פשוט. למשל, שני צמתים, כל אחד עם הקשתות "להשאר באותו צומת - 99%, לעבור לצומת השני - 1%". נניח שהצומת הימני מסומן "1" והצומת השמאלי "0".
בכל צעד זזים בין צמתי האוטומט לפי הסטטיסטיקה של המודל המרקובי, ומשנים בהתאם את מצב הביט.

אם התחלנו עם ידע כלשהו על המערכת (כלומר סדרת הביטים והאוטומטים לעיל), אפשר להעריך כמה ידע יש לנו אחרי כל צעד, או במילים אחרות להעריך את האנטרופיה של המערכת בזמנים שונים.
בדוגמא הזאת האנטרופיה כל הזמן גדלה, עד שאין שום הבדל בין הסדרה המקורית לסדרה אקראית.

_____

אפשר לתאר ע"י מודל מרקובי גם דברים הרבה יותר מסובכים, לא בינאריים ולמיטב ידיעתי גם רציפים (אם כי אני לא בטוח שזה עדיין נקרא מודל מרקובי). הכל שאלה של איך נראה הגרף של המודל המרקובי ומה המצבים שלו מייצגים.

-----BEGIN PGP MESSAGE-----
Version: BCPG C# v1.6.1.0

hIwD7c0ZWUKB0CABBAClfS/bzlgFq/ngO3lj61Hy4HT3BmL4F4bnFuFncfAGDN3E
KsHRfqceqFI1dETRTPou5H3Kn8PsiQy3vzDGSn457ePCR/hOHl8ToaOd0nPX9bL0
I+BkD0JW2CpAitrRu3NWsljP5alAH1teSmHgOgXxVR5Y2PtXRY1okJQ9iatJZck1
kDXT4wZj835vgQGISe1x7hzo1g2ah9h8KZ7dlvidMUTtOgvYkZuvqaKDBCL91w6D
R4Ibx1U=
=KNIa
-----END PGP MESSAGE-----
588972
אני מכיר מודל מרקובי. אבל אני שואל מה האנטרופיה מודדת? את המצב של המודל המרקובי מתי? באיזה צעד? הרי בכל צעד יהיו לו ערכים אחרים.

אולי אתה מתכוון שהאנטרופיה מודדת את מצב הביטים בכל שלב, מעכשיו עד אינסוף בהרצה מסויימת?
588974
"אולי אתה מתכוון שהאנטרופיה מודדת את מצב הביטים בכל שלב, מעכשיו עד אינסוף בהרצה מסויימת?" - כן.
588977
המממ. אם ככה האנטרופיה אינסופית, ולא נראה לי שהיא משתנה גם בהנתן ידע על כמות סופית של צעדים שקרו.
588983
למה אין סופית?

אם מדובר בסדרת ביטים באורך 1, כלומר בביט יחיד שמצבו ידוע, הרי שהאנטרופיה הראשונית היא 0 והמקסימלית שאפשר להגיע אליה, גם אחרי אינסוף צעדים במודל, היא 1.
588987
נזכיר שהמשתנה המקרי שאת האנטרופיה שלו אנחנו בודקים מקבל את מצב הסיבית בכל נקודת זמן, או במילים אחרות, באינסוף נקודות זמן.

האנטרופיה על מצב הסיבית בכל נקודות הזמן הוא סכום לוג של מספר המצבים (נניח כרגע שכולם שווי הסתברות, זה יצא אינסוף בכל אופן). כיוון שמספר המצבים בכל נקודות הזמן הוא אינסופי (כי יש אינסוף נקודות זמן), לוג של אינסוף גם הוא אינסוף.

האנטרופיה בנקודת זמן 0 (בה אנחנו לא יודעים כלום על מצבי האטום בשום נקודת זמן) היא אינסוף. וידיעה של מצב הסיבית במספר סופי של נקודות זמן לא עוזר לך כל כך הרבה.
588999
למה המשתנה המקרי מקבל את מצב הסיבית ביותר מנקודה אחת בזמן?

כל הסיפור כאן הוא אנלוגיה לאנטרופיה פיזיקלית, ושם האנטרופיה משתנה עם הזמן אבל מחושבת לכל זמן בנפרד. החוק השני משווה בין שתי אנטרופיות בזמנים שונים.
589002
למה המשתנה המקרי מקבל את מצב הסיבית ביותר מנקודה אחת בזמן? לא יודע, חשבתי שאתה רוצה לעשות כך את האנלוגיה. תסביר לי אתה איך אתה מגדיר את המשתנה המקרי כך שהאנטרופיות הפיסיקלית והמידעית יהיו זהות. זה מה שאני מנסה להבין.

כל הסיפור כאן הוא וכו'. אני מבין שזו המטרה, אבל אני עדיין לא מבין את ההקבלה, ואשמח אם תעזור לי להבין.

הבסיס הוא, שאנטרופיה מידעית אפשר לחשב רק למשתנה מקרי מסויים. אין משמעות לאנטרופיה בלי משתנה מקרי, אז אתה חייב להסביר לי מהו המשתנה המקרי. אפשר גם לחשב אנטרופיה על משתנה מקרי בהנתן מידע כלשהו.

עכשיו אנא הסבר לי, מהי האנטרופיה המידעית המקבילה לאנטרופיה הפיסיקלית אחרי n צעדים של שרשרת מרקוב. על איזה משתנה מקרי היא רצה?

אני מנסה שוב לנחש, תגיד לי אם צדקתי:

אתה מחשב אנטרופיה ל-n משתנים מקריים. המשתנה המקרי ה-n הוא מצב הסיבית אחרי n צעדים בשרשרת מרקוב.

ואתה טוען, שהאנטרופיה של מצב הסיבית ה-n שואפת ל-‏0 ככל ש-n שואף לאינסוף. האם אני צודק?

ברור (עם הנחות מקלות) שאם אני יודע את המצב של הסיבית בזמן n-1 אז האנטרופיה של מצב הסיבית בזמן n שווה לאנטרופיה של מצב הסיבית בזמן 0 (כי אני יודע את המצב ההתחלתי). האנטרופיה המקסימלית של סיבית היא לוג ½.
589005
אני מחשב את האנטרופיה ל n משתנים מקריים - מצב n הסיביות הנוכחי. החישוב נעשה מחדש לאחר כל צעד במודל מרקוב.
כלומר, לפני הצעד הראשון האנטרופיה היא 0 לכל אחת מהסיביות ובכל צעד היא גדלה.
האנטרופיה של כל אחת מהסיביות שואפת ל 1 ככל ש n שואף לאינסוף.
589024
למה הכוונה "מצב n הסיביות הנוכחי"?

אין הגיון בלחשב מחדש אנטרופיה. האנטרופיה קבועה למ"מ מקרי מסויים. יש לנו כאן בעיה בטרמינולוגיה. אתה לא מדבר כמו שאני מכיר שמדברים בתורת האינפורמציה.

נתחיל שוב במודל פשוט. שרשרת מרקוב של "הילוך השיכור בין שני עמודי חשמל". השיכור מתחיל מנקודה 0, בהסתברות של 50% הוא ילך לנקודה 1, ובהסתברות של 50% הוא יישאר במקום. נסמן ב-X_i את מצב השיכור אחרי i צעדים.

מהם המשתנים המקריים שאתה רוצה לחשב את האנטרופיה שלהם?

דוגמאות:

אני רוצה לחשב את האנטרופיה של X_i עבור כל i, ואני רוצה לדעת מהי האנטרופיה של X_i כש-i שואף לאינסוף. במקרה הזה מובטח לך שהאנטרופיה היא בין 0 ללוג של חצי, כי ל-X_i יש רק שני אפשרויות.

אני רוצה לחשב את האנטרופיה של המשתנה המקרי Z=X_1,...,X_n כלומר, את תוצאת שרשרת המרקוב מהתוצאה הראשונה, עד התוצאה ה-n. במקרה הזה די ברור שהאנטרופיה שואפת לאינסוף. כי באינסוף יש למ"מ אינסוף אפשרויות.
589030
הדוגמא הראשונה שלך היא בדיוק מה שאני מתכוון אליו. ואתה צודק, זה 1/2 ולא 1.

המודל של ההילוך שיכור טיפה בעייתי כי ההסתברות שלו להחליף מצב גדולה מדי, תעשה שינוי קטן ותחליף את הסיכוי למעבר ל 1%.
עכשיו אתה יכול לחשב את האנטרופיה של המערכת אחרי כל צעד, ולראות שהיא גדלה כל הזמן ושואפת לחצי.
589031
סליחה על העילגות המתמטית, חסר שם לוג בכל מיני מקומות. אני לא בפוזיציה להציע לאנשים לחשב, לוקח את ההצעה בחזרה. בכל מקרה קל לראות שהאנטרופיה תתחיל ב 0 (לוג של 1) ותגדל בכל צעד.
הבעיה בהסתברות 50% להילוך השיכור היא שהיא מביאה אותך ישר ללוג של שתיים, ואין לה כבר לאן לשאוף אחרי זה.
589034
זה נכון במקרה שלך, אבל זה תלוי מאד בשרשרת. אני לא יודע אם אתה מכיר, אבל אדם שיכור חוזר הביתה (=אנטרופיה סופית), וציפורת שיכורה עפה לה (=אנטרופיה אינסופית כשמס' הצעדים שואף לאינסוף).

זה נראה נכון שהאנטרופיה לעולם לא תרד אחרי מס' כלשהו של צעדים. אני אנסה להוכיח את זה.

עכשיו מה ההקבלה לאנטרופיה פיסיקלית?
589035
אנטרופיה פיזיקלית זה בדיוק אותו דבר רק עם (הרבה) יותר מביט אחד ועם זמן רציף*.

* או לא רציף. תלוי את מי שואלים. לי אין דעה בנושא :)
** אגב, אפשר כמובן למדל במחשב תהליך פיזיקלי שהחוק השני תקף בו, ולחשב את האנטרופיה בזמנים שונים של התהליך. לא יפתיע אותי אם למידול החוקים הפיזיקליים והאנטרופיה משתמשים במודל דומה למה שתואר למעלה. אם כן, אולי מעניין למדוד את האנטרופיה של מודל ממוחשב כזה, ברמת הביטים שמייצגים אותו...
התרבות היהודית של היהודים במדינת היהודים 588931
יפה. האם אתה מסכים איתי שלשני צופים (שלא פועלים) שונים בלתי תלויים יכול להיות מידע שונה על אותה מערכת סגורה?
התרבות היהודית של היהודים במדינת היהודים 588941
ברור.

אתה מתכוון להעביר אותי מסע לוגי שבסופו אכתוב "האנטרופיה לא מכמתת חוסר ידע"?

1. כבר ראינו שאם כל המדידות הן מאקרוסקופיות, אז המשפט "האנטרופיה מודדת חוסר ידע" תקף.
2. אם יש ידע על המצב המיקרוסקופי של המערכת, אפשר לנצל אותו להקטנת האנטרופיה ע"י פעולות מיקרוסקופיות מסויימות, *ובהעדרו אי אפשר לעשות זאת*.
3. באנטרופיות מסוגים אחרים (כמו בדיון המקביל) מכמתים את האנטרופיה בדיוק ע"י כימות חוסר הידע.

מבחינתי הנקודות האלה מצדיקות את המשפט "האנטרופיה מכמתת חוסר ידע".

אם לא היו לי סטנדרטים אסתטיים הייתי מוכן להתפשר על "האנטרופיה מכמתת חוסר ידע על המצבים השונים מיקרוסקופית של המערכת + ידע עליהם אשר לא נעשה בו שימוש, וקיימת התחייבות בכתב ובעל פה לא לעשות בו שימוש מאוחר יותר, גם אם הוא עדיין יהיה רלוונטי".
התרבות היהודית של היהודים במדינת היהודים 588944
איפה ראינו את זה? מה שאני ראיתי, ושבסוף המסע הלוגי אולי גם אתה תראה (או שתראה לי איפה אני טועה), זה שהאנטרופיה לא מכמתת חוסר ידע (היא, אולי, מכמתת פוטנציאל של חוסר ידע). לא מאקרוסקופי ולא מיקרוסקופי.

ואם זה עדיין לא ברור, בו נמשיך במסע (שלב ביניים שנוסף בגלל סעיף אחד כאן למעלה): האם אתה מסכים איתי שלשני צופים (שלא פועלים) שונים בלתי תלויים יכול להיות מידע מאקרוסקופי שונה על אותה מערכת סגורה?

אם כן, האם תסכים איתי שיכול להיות מצב בו אחד מהצופים (שכזכור, לא פועלים על המערכת) יכול לפעול על מנת להשיג עוד ידע מאקרוסקופי על המערכת בלי לשנות את התכונות הפיזיקליות שלה ובלי שחברו הבלתי תלוי ירכוש את אותו ידע?
התרבות היהודית של היהודים במדינת היהודים 588947
אוקיי, אז תחליף את 1. ל "כבר ראינו שאם כל המדידות הן מאקרוסקופיות, אז המשפט "האנטרופיה מכמתת פוטנציאל חוסר ידע" תקף." שאר התגובה עומדת בעינה.

את מה שכתבת בשורה השניה והשלישית אני לא מבין. לשני צופים יש ידע מאקרוסקופי שונה? זה קצת נון-סנס, בטח לא רלוונטי לשאלה פיזיקלית. למערכת יש מצב יחיד. זה כמו לשאול "האם יכול להיות שלאחד משני אנשים יהיה מדחום מקולקל?".

שאלה - יש לך אולי ניסוח נחמד לקשר בין חוסר ידע לאנטרופיה, בהתחשב בזה שראינו אותו מופיע כבר כמה פעמים בדיון הזה, למשל בשלוש הנקודות מתגובתי הקודמת (לאחר התיקון ותודה)?
התרבות היהודית של היהודים במדינת היהודים 588950
בוודאי לשלני צופים יכול להיות ידע שונה, אחד יכול להסתכל על המדחום (ולכן לדעת את הטמפרטורה של המערכת) והשני יכול להסתכל על המאזניים (ולכן לדעת את המשקל של המערכת).
התרבות היהודית של היהודים במדינת היהודים 588954
אוקיי. אבל זו כבר לא שאלה פיזיקלית. למה בדיוק זה מעניין?
  התרבות היהודית של היהודים במדינת היהודים • האייל האלמוני
  התרבות היהודית של היהודים במדינת היהודים • סתם
  התרבות היהודית של היהודים במדינת היהודים • האייל האלמוני
  התרבות היהודית של היהודים במדינת היהודים • סתם
  התרבות היהודית של היהודים במדינת היהודים • סתם
  התרבות היהודית של היהודים במדינת היהודים • סתם
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • ראובן
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • שוטה הכפר הגלובלי
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • ראובן
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • כבשה
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • האייל האלמוני
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • ראובן
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • האייל האלמוני
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • האייל השֵנון
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • סתם
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • האייל האלמוני
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • סתם
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • האייל האלמוני
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • סתם
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • ראובן
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • האייל האלמוני
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • ראובן
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • האייל האלמוני
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • ראובן
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • האייל האלמוני
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • ראובן
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • האייל האלמוני
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • ראובן
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • האייל האלמוני
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • ראובן
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • האייל האלמוני
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • ראובן
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • האייל האלמוני
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • ראובן
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • האייל האלמוני
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • ראובן
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • האייל האלמוני
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • ראובן
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • האייל האלמוני
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • ראובן
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • האייל האלמוני
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • ג'וד
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • סתם
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • כבשה
  אנטרופיה: אוביקטיבית או סוביקטיבית או אקסטנסיבית • כבשה
  התרבות היהודית של היהודים במדינת היהודים • ג'וד
  התרבות היהודית של היהודים במדינת היהודים • האייל האלמוני
  התרבות היהודית של היהודים במדינת היהודים • האייל השֵנון

חזרה לעמוד הראשי המאמר המלא

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים