בתשובה לאסף עמית, 11/10/02 7:45
בדיקת המתודה, כיצד? 98071
חבל שתמיר נוטש בדיוק עכשיו, כי המאמר הזה, שאליו הוא הפנה מספר פעמים, עושה שני דברים חשובים:
* הוא מוכיח את הטענה-הבלתי-מדעית-והלא-מוכחת שניסויי רעילות בבעלי חיים נותנים חיזוי מצוין לתוצאות בבני אדם.
* בהשוואה בין האלטרנטיבות המעבדתיות לבין תוצאות ממבחנים בבעלי-חיים, הוא מוצא יתרון (קל) דוקא לשיטה השניה (ראה הערה 1 שלי).

1+2. ההבדל בין תגובה באייל לבין מאמר מדעי הוא בזה שהמאמר עבר ביקורת עמיתים, ושיפוט של עורך. עורכי ה- ATLA אינם צריכים להיות "לא מקובלים עלי", אלא חסרי פניות, ויש לי סיבה טובה לחשוב שזה לא כך (מקום עבודתם, למשל). לו אני הייתי referee של המאמר הזה, הייתי ממליץ על תיקונים רבים לפני הפרסום; אולי זה בדיוק מה שקרה, והעורך החליט שהמאמר חשוב מכדי שיעכבו אותו?

דעותיהם הפרטיות של החוקרים על החשיבות האתית של הצלחת הניסוי, לא היו צריכות למצוא את דרכן למאמר.

בכל מקרה, האמינות של החוקרים או העורכים אינה הנושא המרכזי. התוצאות עצמן רחוקות מלהוכיח את מה שתמיר חזר וטען.

3. המאמר לא טען שהוכחה עליונות החלופות על פני כל קומבינציה אפשרית של בעלי-חיים, וזה בהחלט יכול לחכות למחקרים נוספים. הנקודה היא שעד שיבצעו את אותם מחקרים נוספים, אי אפשר להסיק שהאלטרנטיבות מצליחות יותר.
למרות זאת, לאחר שהושקע מאמץ גדול כל-כך בבדיקת תוצאות המעבדה, אפשר היה לאסוף יותר מידע על ניסויים קיים בבעלי-חיים, כפי שעשו לגבי חולדות ועכברים.

התוצאות *לא הראו* עדיפות לבדיקות המעבדה. זהו יתרון סטטיסטי שנובע מהשימוש ביותר משתנים מסבירים במקרה הזה!

בהחלט יתכן שמבדק בקומבינציה של עכברים וחולדות, וגם חתולים, כלבים וסוסים יתן תוצאות עוד יותר טובות. מי שרוצה לשכנע אותי לנטוש את השיטה הזאת ולעבור לאלטרנטיבות, מוזמן ללקט את הנתונים, לנתח ולפרסם אותם.

המסקנות של המחקר רק מאשרות שבדיקות בחולדות ועכברים הן בעלות אמינות רבה, וכדי להראות שסוללת מבחנים מסויימת מצליחה יותר יש לבדוק זאת בחומרים נוספים (מפני שאת *מקדמי* השקלול קבענו באופן שיתאים אופטימלית ל-‏50 החומרים הראשונים; את המקדמים האלה יש לבדוק במחקר נפרד).

4. אני לא רומז, אלא אומר במפורש שהחוקרים היו צריכים להסביר את השיטה שבה נבחרו (בדיוק) 50 החומרים.
יכולתי להציע כמה סכמות אחרות (מומחים בלתי תלויים ירכיבו את הרשימה; 50 החומרים הנפוצים ביותר בהרעלות; בחירה באקראי מרשימת 1000 הכימיקלים של איזשהו textbook בכימיה; כל החומרים שפורסמו עליהם נתונים משנת 1992 עד 1994 בעיתון מסויים) - אבל המאמר מסתפק בSelection was based on the availability of reasonably accurate human data on acute toxicity, וזה לא מסביר כלום.

"האם בידיך נתוני אמת על הרעלות מחומרים נוספים, שלדעתך היו צריכים להשתתף במחקר והיו משנים את תוצאותיו? אם לא, הייתי מציע לקבל את הטענה כנכונה עד שיוכח אחרת" - אני מצטער מאד, אבל לא כך עובדים. את האמינות של מחקר צריך לבנות (על-ידי סתימת כל הפרצות שאני מצביע עליהן), והמבקר אינו צריך לערוך מחקר שיפריך את התוצאות כדי להצביע על בעיות.

5. אני מקבל את ההסבר שהבחירה בספקים שונים נותנת אומד טוב יותר לתוצאות במקרה של הרעלה (ההסבר הזה לא מופיע במאמר).

6. זו לא תחרות עם דרישה ל"הגינות" אלא מחקר, ואני רוצה להסביר שוב את ההבדל. בפשטנות מסוימת, מדובר כאן על השוואה בין שתי שיטות (בדיקות מעבדה מול ניסויים בבעלי-חיים). אם היו קובעים את הנוסחה המדויקת למבחני המעבדה *מראש* (ואין זה משנה כיצד, או בכמה ידע ובאיזו מידה של תחכום מדעי היא משתמשת) - ההשוואה היתה במקום. אבל כאן בחרו את פרטי השיטה (שלושת או ארבעת החומרים בסוללה, ו*מקדמי השקלול* שלהם) בדיעבד - וזה כבר לא אותו דבר.

מבחינת המטרה המרכזית של המחקר - לבנות סוללת מבחני מעבדה - זה בדיוק מה שהיו צריכים לעשות. ככל הידוע לנו (ובהנחה שהחומרים נבחרו באופן אקראי (ובגלל זה נקודה 4 חשובה)), המדד הטוב ביותר לרעילות של החומר ה-‏51 (בהסתמך על מבדקי מעבדה בלבד), יהיה לפי המקדמים שנמצאו במחקר הזה.
המקדמים נקבעים *לפי התוצאות שנאספו*, ולא מראש. אין כאן בעיה של "זיוף תוצאות"; מההיבט של חיזוי רעילות, זו הגישה הנכונה.

אבל המטרה השניה, השוואה לנתונים מבעלי חיים, הוחמצה לחלוטין. כדי להראות ששיטה אחת עדיפה על אחרת, לא מספיק להראות שאחוז השונות המוסבר בשיטה הראשונה גדול מאשר בשניה (כי באחת יש כמה עשרות משתנים מסבירים ומהם נבחרו ארבעה, ובשניה יש רק שניים).
יש שתי דרכים להשוות את השיטות: אחת, להפעיל מבחנים סטיסטיים מסויימים על הנתונים הגולמיים שנאספו כאן (וזה לא נעשה). השניה, לאחר שהמקדמים של ניסויי המעבדה נקבעו, וכל האלגוריתמים המדעיים לשיפור התוצאות נקבעו, יש לאסוף חומרים חדשים, ולהשוות את מידת ההצלחה עליהם.

ובענין הסגנון שלי:
- הטענות שלי על אמינות עורכי העיתון אינן "בלתי מבוססות", ועם זאת אפילו במקום אחד לא פטרתי את המחקר ב"אני לא מאמין להם". כל ההערות שלי הן לגופו של המחקר.
- דרך בחירת החומרים באמת מפוקפקת, ונטל ההוכחה הוא על כותבי המאמר.
- התוצאות באמת שופרו באופן מלאכותי. זה בסדר גמור אם רוצים לבנות סוללה אופטימלית של בדיקות, ופסול לחלוטין אם רוצים לשכנע בעדיפות של הבדיקות האלה על שיטות אחרות.
- במחקר יש המון כשלים מתודיים, והתייחסתי אליהם בהרחבה.
- החוקרים מקווים שיהיו מודלים להסבר הספיגה בגוף החי (וזו אחת הבעיות העיקריות בכל חלופה אפשרית לניסויים בבעלי-חיים) - ולפטור בעיה מרכזית כזו בתקוה מעורפלת, זו באמת אופטימיות.
- המלים "לחץ חיצוני" התייחסו לזה שאני חושב שתמיר חושב שצריך להפעיל על חוקרים כדי שישתמשו בחלופות. אני חושב שאסור. אם גם תמיר חושב כך, אז יופי.
- החוקרים לא מציעים המשך השימוש במבחני in vivo לאחר החקר שלהם בלבד, אלא גם כשיטה עתידית (עמוד 66 בסקירה). זו גישה מציאותית יותר מזו שתמיר מציג, ואם זו היתה עמדתו הייתי מתייחס אליה אחרת. נחזור לזה בהמשך. אני לא מסתמך עליהם (אחרי ש"קטלתי את יושרם"), אלא מציין שבמסקנות שתמיר ניסה לגזור מהתוצאות שלהם, אפילו הם לא תומכים.

אני חוזר על כל האמירות המוחלטות שלי שאתה מצטט:
לתקווה שבסופה (הנראה לעין) של הדרך נוכל לוותר על ניסויים בבעלי-חיים אין לדעתי על מה לסמוך.
אם אתה מצפה שבסוף בדיקות המעבדה יזנקו לניסויים בחולים בגלל שתהיה להן אמינות כל-כך גבוהה עד שהניסויים בבעלי-חיים יהפכו למיותרים, אלו נראים לי חלומות באספמיא.

התקוות הגדולות (שנדונות לדעתי לכשלון) הן שאלטרנטיבות יוחלו *להחליף* את השימוש במודל החייתי. אם זו המטרה, אז גישת האלטרנטיבות תצליח רק אם בדרך-פלא מבדקי מעבדה יצליחו כל-כך עד שניסוי בבעלי-חיים יהפוך למיותר. מה לא ברור ב"פסק הדין" הזה?

באשר לפסקה האחרונה, צריך להבחין בין שימוש בחלופות כדי להפחית את מספר הניסויים בבעלי חיים (ולשפר את התוצאות!), לבין חלופות (במשמעות הרגילה של המלה) - במקום ניסויים בבעלי חיים.
ההצעה הראשונה היא חיובית מכל בחינה, ואני תומך בה בלי טיפת ציניות. הלהט שלי כולו מוקדש למאבק בגישה השניה. ואכן, המאמר אינו מוכיח שניסויי מעבדה יתנו תוצאות טובות יותר מניסויים בבעלי חיים.

כדי להוכיח שמבחני מעבדה, או מודלים ממוחשבים, או כל דבר אחר *משפר* את הידע שלנו, מספיק מאמץ די קטן. כדי להוכיח שכל החלופות האלו מספיקות כדי שאפשר יהיה לוותר על ניסויים, צריך להוכיח משהו שהוא באמת לדעתי כמעט בלתי אפשרי (ומכאן הפסימיות שלי): שהמידע הנוסף הנאסף בדרך הזו הוא זניח.

מחקר שיוכיח את הטענה הזו צריך להראות מתאם מובהק (לאו דוקא "מושלם") בין המודל לבין האדם, לספק נתונים השוואתיים מלאים של יעילות מודל מסוים מול כל קומבינציה (רלוונטית, לאו דוקא "אפשרית") של בעלי-חיים, אסור יהיה לו לנסות קומבינציות שונות של חלופות ולבחור מתוכן את הקומבינציה הטובה ביותר (אלא אם כן *זה נעשה מראש*, ולא בהסתמך על נתוני הניסוי; לא "כי זה לא הוגן", אלא כי זה לא יוכיח את הטענה הנכונה).

מחקר שיטען להחלפה מושלמת של השיטה הנוכחית, יצטרך לספק גם תשובות מלאות לשאלות נוספות מלבד שאלת הרעילות הבסיסית, מכיוון שניסויים בבעלי-חיים נותנים את התשובות האלה.

"האם ראיתם ולו מחקר השוואתי אחד בין מבדקים בבעלי-חיים לבין נתוני אמת מבני-אדם, שבו הוכח ביניהם מתאם שיבסס את האמון העיוור שלכם במתודה הזו?" - בהחלט. המחקר שתמיר הביא מוכיח את המתודה הזו; מקדם המתאם שהוא נותן בין ניסויים בחולדות ועכברים לבין הנתונים מבני-אדם הוא בעל מובהקות של 3e-17.

מדוע "דווקא מול המודלים המודרניים והמדויקים יותר אתם מערימים קשיים?" - לא בגלל שמשהו לא בסדר איתם. אתם מנסים לכפות את המודלים האלה במקום השיטה אחרת, והבעיה היא אתכם, לא איתם.
בדיקת המתודה, כיצד? 106275
תמיר, אם אתה עסוק, האם תוכל לענות רק לפסקה הראשונה בדבריו של עוזי? טענותיו נשמעות חזקות, וחבל יהיה אם יישארו ללא מענה. כוונתי בעיקר לטענה שדווקא הניסויים בבעלי החיים השיגו יתרון זעיר על הניסויים בחלופה.
בדיקת המתודה, כיצד? 106277
היתרון של נתונים מן החי על פני נתוני המעבדה הוא לא הרבה מעבר לקוריוז מספרי (ראה הערה 1 בתגובה 94629; בשורה השלישית מסוף ההערה צריך להיות "ארבעה משתנים מסבירים" ולא שנים), ותגובה 94623, בעיקר הערה ‏3.

המחקר מוכיח שאפשר לחזות נתוני רעילות בבני אדם לפי נתוני הרעילות בעכברים ובחולדות; ושאפשר לחזות את אותם נתונים לפי בדיקות מעבדה. החיזוי במקרה השני נראה טוב יותר, אלא שזה כך רק בגלל שהשתמשו ביותר נתוני מעבדה מאשר נתוני ניסויים בבעלי חיים (ובענין זה, ראה שלוש הפסקאות של הערה 6 בתגובה 98071).
אם ימחקו את הודעת ההקפצה הזו, האם עדיין ישאר הדיון במעלה הרשימה? 149321
אם ימחקו את הודעת ההקפצה הזו, האם עדיין ישאר הדיון במעלה הרשימה? 149326
לא, הדיון ''יחזור למקומו''. להבא, אבקש להפנות אלי שאלות כאלה בדואל ולא להטריד את קהל הקוראים כולו. תודה.

חזרה לעמוד הראשי המאמר המלא

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים