Statcheck - Statcheck
Statcheck este un pachet R conceput pentru a detecta erorile statistice în articolele de psihologie revizuite de colegi prin căutarea lucrărilor pentru rezultate statistice, refacerea calculelor descrise în fiecare lucrare și compararea celor două valori pentru a vedea dacă se potrivesc. Se profită de faptul că lucrările de cercetare psihologică tind să raporteze rezultatele lor în conformitate cu liniile directoare publicate de Asociația Psihologică Americană (APA). Acest lucru duce la mai multe dezavantaje: poate detecta doar rezultatele raportate complet și în conformitate exact cu liniile directoare ale APA și nu poate detecta statistici care sunt incluse doar în tabelele lucrării. O altă limitare este că Statcheck nu poate face față corecțiilor statistice pentru testarea statisticilor, cum ar fi corecțiile Greenhouse-Geisser sau Bonferroni, care de fapt fac testele mai conservatoare. Unele jurnale au început să piloteze Statcheck ca parte a procesului lor de evaluare inter pares . Statcheck este un software gratuit publicat sub GNU GPL v3.
Valabilitate
În 2017, dezvoltatorii Statcheck au publicat o lucrare de preimprimare , concluzionând că programul a identificat corect erorile statistice de peste 95% din timp. Acest studiu de validitate a cuprins peste 1.000 de teste verificate manual, dintre care 5,00% s-au dovedit a fi inconsistente. Studiul a constatat că Statcheck a recunoscut 60% din toate testele statistice. O reanaliză a acestor date a constatat că, dacă programul a semnalat un test ca fiind incoerent, acesta a fost corect în 60,4% din cazuri. Invers, dacă un test a fost cu adevărat inconsecvent, Statcheck l-a marcat în aproximativ 51,8% din cazuri (această estimare a inclus testele nedetectate și a presupus că au aceeași rată de inconsecvențe ca testele detectate). Per total, acuratețea lui Statcheck a fost de 95,9%, cu jumătate de punct procentual mai mare decât nivelul de șansă de 95,4% așteptat atunci când toate testele sunt luate pur și simplu la valoarea nominală. Statcheck a fost părtinitor conservator (cu aproximativ o abatere standard) împotriva testelor de semnalizare.
Cercetări mai recente au folosit Statcheck pe lucrări publicate în reviste canadiene de psihologie, găsind rate similare de erori de raportare statistică ca și autorii originali pe baza unui eșantion de 30 de ani de astfel de articole. Același studiu a găsit, de asemenea, multe erori tipografice în versiunile online ale lucrărilor relativ vechi și că corectarea acestora a redus procentul estimat de teste care au fost raportate în mod eronat.
Istorie
Statcheck a fost dezvoltat pentru prima dată în 2015 de Michele Nuijten de la Universitatea Tilburg și Sacha Epskamp de la Universitatea din Amsterdam . Mai târziu în acel an, Nuijten și colegii ei au publicat o lucrare folosind Statcheck pe peste 30.000 de lucrări de psihologie și au raportat că „jumătate din toate lucrările de psihologie publicate ... conțineau cel puțin o valoare p care nu era în concordanță cu testul său”. Studiul a fost ulterior redactat favorabil în Nature . În 2016, Nuijten și Epskamp au primit ambele premiul Leamer-Rosenthal pentru științe sociale deschise de la Inițiativa Berkeley pentru transparență în științele sociale pentru crearea Statcheck.
În 2016, cercetătorul Universității din Tilburg, Chris Hartgerink, a folosit Statcheck pentru a scana peste 50.000 de lucrări de psihologie și a postat rezultatele pe PubPeer ; ulterior a publicat datele pe care le-a extras din aceste lucrări într-un articol din revista Data . Hartgerink a declarat pentru Motherboard că „verificăm cât de fiabilă este știința reală prezentată de știință”. De asemenea, i-a spus lui Vox că intenționează să folosească Statcheck pentru a îndeplini o funcție similară cu un program de verificare ortografică . Acțiunea lui Hartgerink a trimis, de asemenea, alerte prin e-mail fiecărui cercetător care a scris sau a coautor o lucrare pe care a marcat-o. Aceste semnalări și postarea lor pe un forum public s-au dovedit controversate, determinând Societatea Psihologică Germană să emită o declarație prin care să condamne această utilizare a lui Statcheck. Psihologul Dorothy VM Bishop , care avea două dintre propriile sale hârtii semnalate de Statcheck, a criticat programul pentru că a semnalat public multe hârtii (inclusiv unul al ei), în ciuda faptului că nu a găsit erori statistice în el. Alți critici au susținut că Statcheck a raportat prezența unor erori în lucrările care nu le conțineau, din cauza eșecului instrumentului de a citi corect statisticile din anumite lucrări.
Jurnalele care au început să piloteze utilizarea Statcheck ca parte a procesului de evaluare inter pares includ Psychological Science , Canadian Journal of Human Sexuality și Journal of Experimental Social Psychology . Acces deschis editorul PsychOpen le - a folosit , de asemenea , cu privire la toate documentele acceptate spre publicare în reviste lor începând cu 2017.
