במטרה להגדיל את ההעתקות ולהעצים אחרים לבנות על עבודות שפורסמו ביתר קלות, אנו מציגים רשימת ביקורת להשלמת קוד ML. רשימת המשלימות של קוד ה- ML מעריכה את חנות הקוד על סמך התסריטים והחפצים המסופקים בו.
מבוא
בשנה שעברה, ג'ואל פינו פרסם רשימת ביקורת לשחזור כדי להקל על מחקר לשחזור שהוצג בכנסים גדולים של OA (NeurIPS, ICML, …). מרבית הפריטים ברשימת הבדיקה מתמקדים ברכיבי העיתון. פריט אחד ברשימה זו הוא "ספק קישור לקוד המקור", אך פרט לכך הושגו המלצות מעטות.
שיטות העבודה המומלצות תמצאו בפקודת השלמות של קוד ה- ML, המהווה כעת חלק מתהליך הגשת הקוד הרשמי של NeurIPS 2020 ויהיה זמין לשימוש הסוקרים כראות עיניהם.
רשימת מלאות של ML
רשימת המשימות של קוד M בודקת בחנות הקודים:
- תלות - האם במאגר יש מידע על תלות או הוראות כיצד להגדיר את הסביבה?
- תרחישי אימונים - האם המאגר מכיל דרך להכשיר / להתאים את המודלים המתוארים במסמך?
- תרחישי הערכה - האם המאגר מכיל סקריפט לחישוב ביצועי המודלים / ים המאומנים או הפעלת ניסויים במודלים?
- מודלים מאומנים מראש - האם המאגר מספק גישה חופשית למשקלי מודל שהוגדרו מראש?
- תוצאות - האם המאגר מכיל טבלה / גרף של התוצאות העיקריות ותסריט לשחזור תוצאות אלו?
כל מאגר יכול לקבל בין 0 (אין) ל -5 (כולל את כל) הסימנים. מידע נוסף על הקריטריונים עבור כל פריט ניתן למצוא במאגר Github.
מהן הראיות לפריטי רשימת הבדיקה תורמים למאגרים שימושיים יותר?
הקהילה בדרך כלל משתמשת בכוכבי GitHub כפרוקסי לתועלת המאגר. לכן, לרשומות חוזרות עם ציון גבוה יותר ברשימת הבדיקות השלמות של ML יש יותר כוכבי GitHub. לבדיקת השערה זו, הוגשו 884 מאגרי GitHub כיישומים רשמיים במסמכי NeurIPS 2019. תת קבוצה של 25% מכלל 884 מאגרות אלה נבחרה באופן אקראי ונבדקה ידנית ברשימת השלמות של ML. הם קיבצו את הדגימה הזו של NeurIPS 2019 GitHub repos לפי מספר הקרציות שיש להם ברשימת השלמות של קוד ה- ML ומיפו את הכוכבים החציוניים של GitHub בכל קבוצה. התוצאה למטה:
ל- repos של NeurIPS 2019 עם 0 תיבות סימון היה חציון של 1.5 כוכבים ב- GitHub. לעומת זאת, לרשומות חוזרות עם 5 תיבות סימון היה חציון של 196.5 כוכבי GitHub. רק 9% מהדוחות היו 5 קרציות, ורוב הדוחות (70%) היו 3 קרציות או פחות. מבחן סכום הדרגות של Wilcoxon בוצע ומצא שמספר הכוכבים בכיתת 5 קרציות גבוה משמעותית (עמ 'ערך <1e-4) מאשר בכל הכיתות האחרות למעט 5 לעומת 4 (כאשר ערך הערך הוא הגבול). ב- 0.015). אתה יכול לראות את הנתונים והקוד עבור נתון זה במאגר Github.
כדי לבדוק אם קשר זה מתרחב בצורה רחבה יותר, נוצר סקריפט לאוטומציה של חישוב רשימת הביקורת ממאגר README והקוד המשויך אליו. לאחר מכן ניתחנו מחדש את כל המערכות של 884 מאגרי NeurIPS 2019, כמו גם את הערכה הרחבה יותר של מאגרי קוד 8926 עבור כל מאמרי ה- ML שפורסמו בשנת 2019. בשני המקרים המומחים השיגו תוצאה זהה מבחינה איכותית כאשר כוכבים חציוניים גדלו בצורה מונוטונית מקרציות באופן מובהק סטטיסטית (עמ 'ערך <1e-4). לבסוף, באמצעות רגרסיה ליניארית חזקה, מצאנו כי למודלים ולתוצאות המאומנים מראש יש את ההשפעה החיובית הגדולה ביותר על כוכבי GitHub.
זו נחשבת לראיה שימושית בעיני האנליסטים המעודדת חוקרים לכלול את כל המרכיבים הנדרשים ברשימת הבדיקות השלמות של ML יובילו למאגרים שימושיים יותר, וכי הציון ברשימת הבדיקה מעיד על הגשות איכותיות יותר.
נכון לעכשיו, מומחים אינם טוענים כי 5 הפריטים המוצעים לרשימת הבדיקה הם הגורם היחיד או אפילו המשמעותי ביותר בפופולריות של המאגר. גורמים אחרים יכולים להשפיע על הפופולריות, כגון: גודל התרומה המדעית, שיווק (למשל פוסטים בבלוג ופוסטים בטוויטר), תיעוד (README מקיפים, מדריכים ותיעוד API), איכות קוד ועבודה קודמת.
כמה דוגמאות למאגרי NeurIPS 2019 עם 5 תיבות סימון:
מומחים מכירים בכך שלמרות שניסו להפוך את רשימת הבדיקה לכללית ככל האפשר, יתכן שהיא לא תהיה רלוונטית לחלוטין לכל סוגי המסמכים, למשל, תיאורטית או קבוצות של מסמכים. עם זאת, גם אם מטרתו העיקרית של המאמר היא לייצג מערך נתונים, הוא עדיין יכול להפיק תועלת משחרור מודלים בסיסיים, כולל תרחישי אימונים, תרחישי הערכה ותוצאות.
להתחיל להשתמש
כדי להקל על הסוקרים והמשתמשים להבין מה נמצא במאגר ולמומחים להעריך אותו נכון, ניתן אוסף של שיטות עבודה מומלצות לכתיבת קבצי README.md, הגדרת תלות ושחרור מודלים, מערכי נתונים ותוצאות מוכנות מראש. מומלץ להגדיר בבירור את 5 האלמנטים הללו במאגר שלך ולקשר אותם לכל משאבים חיצוניים כגון מסמכים ולוחות מובילים בכדי לספק יותר הקשר ובהירות למשתמשים שלך. אלה ההנחיות הרשמיות להגשת קוד ל- NeurIPS 2020.
