Stitcheck - Statcheck
Statcheck er en R-pakke, der er designet til at opdage statistiske fejl i fagfællebedømte psykologiartikler ved at søge papirer efter statistiske resultater, lave om på de beregninger, der er beskrevet i hvert papir, og sammenligne de to værdier for at se, om de matcher. Det drager fordel af det faktum, at psykologiske forskningsartikler har en tendens til at rapportere deres resultater i overensstemmelse med retningslinjerne offentliggjort af American Psychological Association (APA). Dette fører til flere ulemper: det kan kun registrere resultater rapporteret fuldstændigt og i nøjagtig overensstemmelse med APA's retningslinjer, og det kan ikke registrere statistikker, der kun er inkluderet i tabeller i papiret. En anden begrænsning er, at Statcheck ikke kan håndtere statistiske korrektioner til teststatistik, f.eks. Greenhouse – Geisser eller Bonferroni -korrektioner, som faktisk gør testene mere konservative. Nogle tidsskrifter er begyndt at pilotere Statcheck som en del af deres peer review -proces. Statcheck er gratis software udgivet under GNU GPL v3.
Gyldighed
I 2017, Statcheck udviklere offentliggjort et preprint papir konkluderes, at programmet præcist identificerede statistiske fejl over 95% af tiden. Denne validitetsundersøgelse omfattede mere end 1.000 håndkontrollerede tests, blandt hvilke 5.00% viste sig at være inkonsekvente. Undersøgelsen viste, at Statcheck genkendte 60% af alle statistiske tests. En genanalyse af disse data viste, at hvis programmet markerede en test som inkonsekvent, var den korrekt i 60,4% af tilfældene. Omvendt, hvis en test virkelig var inkonsekvent, markerede Statcheck den i anslået 51,8% af tilfældene (dette estimat inkluderede de uopdagede test og antog, at de havde den samme hastighed af uoverensstemmelser som de påviste test). Samlet set var Statchecks nøjagtighed 95,9%, et halvt procentpoint højere end det forventede chanceniveau på 95,4%, når alle tests simpelthen tages til pålydende værdi. Statcheck var konservativt forudindtaget (ved ca. en standardafvigelse) mod flagningstest.
Nyere forskning har brugt Statcheck på artikler offentliggjort i canadiske psykologitidsskrifter og fundet lignende statistiske rapporteringsfejl som de originale forfattere baseret på en 30-årig prøve af sådanne artikler. Den samme undersøgelse fandt også mange typografiske fejl i online -versioner af relativt gamle papirer, og at korrektion for disse reducerede den anslåede procentdel af tests, der fejlagtigt blev rapporteret.
Historie
Statcheck blev først udviklet i 2015 af Michele Nuijten fra Tilburg University og Sacha Epskamp fra University of Amsterdam . Senere samme år udgav Nuijten og hendes kolleger et papir ved hjælp af Statcheck på over 30.000 psykologipapirer og rapporterede, at "halvdelen af alle offentliggjorte psykologipapirer ... indeholdt mindst en p-værdi, der var uforenelig med dens test". Undersøgelsen blev efterfølgende skrevet positivt ind i Nature . I 2016 modtog Nuijten og Epskamp begge Leamer-Rosenthal-prisen for åben samfundsvidenskab fra Berkeley Initiative for Transparency in the Social Sciences for at skabe Statcheck.
I 2016 brugte Tilburg University -forsker Chris Hartgerink Statcheck til at scanne over 50.000 psykologipapirer og postede resultaterne til PubPeer ; han offentliggjorde efterfølgende de data, han hentede fra disse papirer i en artikel i tidsskriftet Data . Hartgerink fortalte bundkort, at "vi kontrollerer, hvor pålidelig den faktiske videnskab præsenteres af videnskaben". Han fortalte også Vox, at han havde til hensigt at bruge Statcheck til at udføre en funktion, der ligner et stavekontrolprogram . Hartgerinks handling sendte også e-mail- advarsler til enhver forsker, der havde forfattet eller medforfatter et papir, som det havde markeret. Disse markeringer og deres opslag på et offentligt forum viste sig at være kontroversielle og fik det tyske psykologiske selskab til at udsende en erklæring, der fordømte denne brug af Statcheck. Psykolog Dorothy VM Bishop , der havde to af sine egne papirer markeret af Statcheck, kritiserede programmet for offentligt at markere mange papirer (herunder et af hendes egne) på trods af ikke at have fundet nogen statistiske fejl i det. Andre kritikere påstod, at Statcheck havde rapporteret tilstedeværelsen af fejl i papirer, der ikke rent faktisk indeholdt dem, på grund af værktøjets manglende korrekt læsning af statistik fra bestemte papirer.
Tidsskrifter, der er begyndt at teste brugen af Statcheck som en del af deres peer review -proces, omfatter Psychological Science , Canadian Journal of Human Sexuality og Journal of Experimental Social Psychology . Den åbne adgang udgiver PsychOpen har også brugt det på alle papirer accepteret til offentliggørelse i deres tidsskrifter siden 2017.
