Comprobación de estado - Statcheck
Statcheck es un paquete R diseñado para detectar errores estadísticos en artículos de psicología revisados por pares mediante la búsqueda de resultados estadísticos en artículos, rehaciendo los cálculos descritos en cada artículo y comparando los dos valores para ver si coinciden. Aprovecha el hecho de que los trabajos de investigación psicológica tienden a informar sus resultados de acuerdo con las pautas publicadas por la Asociación Americana de Psicología (APA). Esto conduce a varias desventajas: solo puede detectar resultados reportados de manera completa y exacta de acuerdo con las pautas de la APA, y no puede detectar estadísticas que solo se incluyen en tablas en el documento. Otra limitación es que Statcheck no puede manejar correcciones estadísticas para probar estadísticas, como las correcciones Greenhouse-Geisser o Bonferroni, que en realidad hacen que las pruebas sean más conservadoras. Algunas revistas han comenzado a probar Statcheck como parte de su proceso de revisión por pares . Statcheck es un software gratuito publicado bajo GNU GPL v3.
Validez
En 2017, los desarrolladores de Statcheck publicaron un pre-impresión de conclusión de papel que el programa identifica con precisión los errores estadísticos más del 95% de las veces. Este estudio de validez comprendió más de 1,000 pruebas verificadas manualmente, de las cuales el 5,00% resultó ser inconsistente. El estudio encontró que Statcheck reconoció el 60% de todas las pruebas estadísticas. Un nuevo análisis de estos datos encontró que si el programa marcaba una prueba como inconsistente, era correcta en el 60,4% de los casos. A la inversa, si una prueba era realmente inconsistente, Statcheck la marcó en un 51,8% estimado de los casos (esta estimación incluyó las pruebas no detectadas y asumió que tenían la misma tasa de inconsistencias que las pruebas detectadas). En general, la precisión de Statcheck fue del 95,9%, medio punto porcentual más alto que el nivel de probabilidad del 95,4% esperado cuando todas las pruebas se toman simplemente al pie de la letra. Statcheck tuvo un sesgo conservador (en aproximadamente una desviación estándar) contra las pruebas de marcado.
Investigaciones más recientes han utilizado Statcheck en artículos publicados en revistas de psicología canadienses , encontrando tasas similares de errores en los informes estadísticos que los autores originales basados en una muestra de 30 años de dichos artículos. El mismo estudio también encontró muchos errores tipográficos en las versiones en línea de artículos relativamente antiguos, y que corregirlos redujo el porcentaje estimado de pruebas que se informaron erróneamente.
Historia
Statcheck fue desarrollado por primera vez en 2015 por Michele Nuijten de la Universidad de Tilburg y Sacha Epskamp de la Universidad de Amsterdam . Más tarde ese año, Nuijten y sus colegas publicaron un artículo usando Statcheck en más de 30.000 artículos de psicología e informaron que "la mitad de todos los artículos de psicología publicados ... contenían al menos un valor p que era inconsistente con su prueba". Posteriormente, el estudio se redactó favorablemente en Nature . En 2016, Nuijten y Epskamp recibieron el Premio Leamer-Rosenthal de Ciencias Sociales Abiertas de la Iniciativa de Berkeley para la Transparencia en las Ciencias Sociales por la creación de Statcheck.
En 2016, el investigador de la Universidad de Tilburg, Chris Hartgerink, utilizó Statcheck para escanear más de 50.000 artículos de psicología y publicó los resultados en PubPeer ; posteriormente publicó los datos que extrajo de estos trabajos en un artículo en la revista Data . Hartgerink le dijo a Motherboard que "estamos comprobando qué tan confiable es la ciencia real que presenta la ciencia". También le dijo a Vox que tenía la intención de usar Statcheck para realizar una función similar a un programa de software de corrector ortográfico . La acción de Hartgerink también envió alertas por correo electrónico a cada investigador que había sido autor o coautor de un artículo que había marcado. Estos flaggings, y su publicación en un foro público, resultaron controvertidos, lo que llevó a la Sociedad Alemana de Psicología a emitir una declaración condenando este uso de Statcheck. La psicóloga Dorothy VM Bishop , que tenía dos de sus propios artículos marcados por Statcheck, criticó al programa por marcar públicamente muchos artículos (incluido uno propio) a pesar de no haber encontrado ningún error estadístico en él. Otros críticos alegaron que Statcheck había informado de la presencia de errores en artículos que en realidad no los contenían, debido a que la herramienta no pudo leer correctamente las estadísticas de ciertos artículos.
Las revistas que han comenzado a probar el uso de Statcheck como parte de su proceso de revisión por pares incluyen Psychological Science , Canadian Journal of Human Sexuality y Journal of Experimental Social Psychology . La editorial de acceso abierto PsychOpen también lo ha utilizado en todos los artículos aceptados para su publicación en sus revistas desde 2017.
