Նպատակ ունենալով վերարտադրելիությունը բարձրացնել և ուրիշներին դյուրին դարձնել տպագրված աշխատանքների վրա ավելի հեշտ հիմքեր ստեղծելու, մենք ներկայացնում ենք ML կոդի ամբողջականության ստուգաթերթ: ML կոդերի ամբողջականության ստուգաթերթը գնահատում է ծածկագրերի խանութը ՝ հիմնվելով դրանում պարունակվող սցենարների և արտեֆակտերի վրա:
Ներածություն
Անցյալ տարի elոել Պինոն թողարկեց վերարտադրելիության ստուգաթերթ, որպեսզի հեշտացնի վերարտադրելի հետազոտությունը, որը ներկայացվեց OA խոշոր համաժողովներում (NeurIPS, ICML,): Ստուգաթերթիկի նյութերի մեծ մասը կենտրոնացած է թղթի բաղադրիչների վրա: Այս ստուգաթերթի մեջ նշված է «աղբյուր հղել աղբյուրի կոդին» կետը, բայց բացի այդ, արվել են մի քանի առաջարկություններ:
Լավագույն փորձերն ամփոփվել են ML կոդերի ամբողջականության ստուգաթերթում, որն այժմ մաս է կազմում NeurIPS 2020 ծածկագրի պաշտոնական ներկայացման գործընթացի և հասանելի կլինի ստուգողների կողմից, ըստ իրենց ցանկության:
ML ամբողջականության ստուգաթերթ
M Code ամբողջականության ստուգաթերթը ստուգում է ծածկագրերի խանութը ՝
- Կախվածություն - Պահոցն ունի՞ կախվածության վերաբերյալ տեղեկատվություն կամ հրահանգներ, թե ինչպես կարգավորել միջավայրը:
- Դասընթացի սցենարներ. Շտեմարանը պարունակում է փաստաթղթում նկարագրված մոդելները մարզելու / համապատասխանեցնելու միջոց:
- Գնահատման սցենարներ. Պահոցը պարունակում է սցենար `պատրաստված մոդելի (ների) կատարումը հաշվարկելու կամ մոդելների վրա փորձեր կատարելու համար:
- Նախապատրաստված մոդելներ. Պահոցն ապահովու՞մ է անվճար նախապատրաստված մոդելի կշիռների հասանելիություն:
- Արդյունքներ. Արդյո՞ք պահոցում կա հիմնական արդյունքների աղյուսակ / գրաֆիկ և այդ արդյունքները վերարտադրելու համար սցենար:
Յուրաքանչյուր պահեստ կարող է ստանալ 0-ից (չունի) մինչև 5 (ունի բոլոր) տիզ: Յուրաքանչյուր իրի չափորոշիչների վերաբերյալ լրացուցիչ տեղեկություններ կարելի է գտնել Github- ի պահոցում:
Ի՞նչ ապացույցներ կան, որ ստուգաթերթի կետերը նպաստում են ավելի օգտակար պահոցներին:
Համայնքն ընդհանուր առմամբ օգտագործում է GitHub աստղերը ՝ որպես պահոցի օգտակարության վստահված անձ: Հետևաբար, ML- ի ամբողջականության ստուգաթերթում ավելի բարձր միավոր ունեցող ռեպոները, ինչպես սպասվում է, կունենան նաև GitHub- ի ավելի շատ աստղեր: Այս վարկածը ստուգելու համար NeurIPS 2019 փաստաթղթերում որպես պաշտոնական ներդրում ներկայացված էր 884 GitHub ռեպո: Այս 884 ռեպոների 25% ենթաբազմությունը պատահականորեն ընտրվեց և ձեռքով ստուգվեց ML- ի ամբողջականության ստուգաթերթում: Նրանք խմբավորեցին NeurIPS 2019 GitHub- ի ռեպոների այս նմուշը ըստ ML կոդերի ամբողջականության ստուգաթերթիկի մեջ եղած տիզերի քանակի և յուրաքանչյուր խմբում քարտեզագրեցին GitHub- ի միջին աստղերը: Արդյունքը ՝ ստորև:
NeurIPS 2019 ռեպոները 0 վանդակում ունեն GitHub- ում 1,5 աստղի միջին: Ի հակադրություն, 5 վանդակում պարունակվող ռեպոներն ուներ 196.5 GitHub աստղերի միջին: Repos- ի միայն 9% -ն է ունեցել 5 ticks, իսկ repos- ի մեծ մասը (70%) ունեցել է 3 ticks կամ ավելի քիչ: Կատարվել է Wilcoxon աստիճանի հանրագումարի թեստ և պարզվել է, որ 5 տիզ դասի աստղերի քանակը զգալիորեն (p.value <1e-4) ավելի բարձր է, քան բոլոր մյուս դասերում, բացառությամբ 5-ի 4-ի (որտեղ p.value- ն է սահմանը): 0,015-ին): Այս գործչի համար տվյալները և ծածկագիրը կարող եք տեսնել Github- ի պահոցում:
Ստուգելու համար, արդյոք այս հարաբերություններն ավելի լայն են, ստեղծվել է սցենար ՝ README պահոցից և դրա հետ կապված կոդից ստուգման ցուցակի հաշվարկն ավտոմատացնելու համար: Դրանից հետո մենք նորից վերլուծեցինք 884 NeurIPS 2019 պահեստարանների ամբողջ հավաքածուն, ինչպես նաև 8926 կոդի պահոցների ավելի մեծ հավաքածուն 2019 թվականին հրապարակված բոլոր ՓԼ հոդվածների համար: Երկու դեպքում էլ մասնագետները որակապես նույնական արդյունք ստացան, երբ միջին աստղերը վիճակագրորեն նշանակալի ձևով միանգամայն աճում էին տզերից (p.value <1e-4): Վերջապես, օգտագործելով ուժեղ գծային հետընթաց, մենք գտանք, որ նախապատրաստված մոդելներն ու արդյունքները ամենամեծ դրական ազդեցությունն ունեն GitHub աստղերի վրա:
Վերլուծաբանները սա համարում են օգտակար ապացույց այն մասին, որ հետազոտողներին խրախուսելը ներառել ՓԼ լրիվության ստուգման ցուցակում պահանջվող բոլոր բաղադրիչները, կհանգեցնի ավելի օգտակար պահոցների, և որ ցուցակի միավորը ցույց է տալիս ավելի որակյալ ներկայացումներ:
Ներկայումս փորձագետները չեն պնդում, որ առաջարկվող ստուգաթերթի 5 կետերը պահոցի ժողովրդականության միակ կամ նույնիսկ ամենանշանակալին գործոնն են: Այլ գործոններ կարող են ազդել հանրաճանաչության վրա, ինչպիսիք են ՝ գիտական ներդրման չափը, շուկայավարումը (օրինակ ՝ բլոգի գրառումները և Twitter գրառումները), փաստաթղթավորումը (համապարփակ READMEs, ձեռնարկներ և API փաստաթղթեր), կոդի որակը և նախորդ աշխատանքը:
NeurIPS 2019 պահեստարանների մի քանի օրինակներ ՝ 5 վանդակում.
Փորձագետները գիտակցում են, որ չնայած նրանք փորձել են ստուգաթերթը հնարավորինս ընդհանուր դարձնել, այն կարող է լիովին կիրառելի չլինել բոլոր տեսակի փաստաթղթերի, օրինակ `տեսական կամ փաստաթղթերի բազմությունների համար: Այնուամենայնիվ, նույնիսկ եթե հոդվածի հիմնական նպատակը տվյալների շտեմարան ներկայացնելն է, այն միևնույն է, կարող է օգուտ քաղել ելակետային մոդելների ՝ ներառյալ դասընթացների սցենարները, գնահատման սցենարները և արդյունքները:
Սկսեք օգտագործել
Որպեսզի վերանայողները և օգտվողները ավելի հեշտությամբ հասկանան, թե ինչ կա պահոցում, և փորձագետները ճիշտ գնահատեն այն, տրամադրվում է լավագույն փորձի հավաքածու ՝ README.md ֆայլեր գրելու, կախվածություններ սահմանելու և նախապատրաստված մոդելներ, տվյալների շտեմարաններ և արդյունքներ թողարկելու համար: Առաջարկվում է, որ ձեր պահոցում հստակորեն սահմանեք այս 5 տարրերը և դրանք կապեք ցանկացած արտաքին ռեսուրսների հետ, ինչպիսիք են փաստաթղթերը և առաջատար ցուցակները, ձեր օգտվողների համար ավելի մեծ ենթատեքստ և հստակություն ապահովելու համար: Սրանք NeurIPS 2020-ին ծածկագիր ներկայացնելու պաշտոնական ուղեցույցներ են: