¿La crisis de reproducibilidad se ve agravada por la revisión por pares pre publicación?

¿La crisis de reproducibilidad se ve agravada por la revisión por pares pre publicación?

Men only care for science so far as they get a living by it, and that they worship even error when it affords them a subsistence.1 Goethe2

Antes de abordar la cuestión del título, primero vamos a echar un vistazo a la revisión por pares. Se ha convertido en uno de los pilares en que descansa la ciencia, y con razón. Los resultados y las teorías de investigación científica deben ser examinados y evaluados críticamente antes de que sean considerados aptos para ser añadidos a lo que es el consenso científico en un momento dado. Las publicaciones siempre deberían ser abordadas con un cierto nivel profesional de escepticismo y nunca ser aceptadas prima facie. Y, lo más importante, que esto es válido independientemente de si un artículo ha sido arbitrado antes de ser publicado. Después de todo, el arbitraje pre publicación solo significa que unos pocos árbitros – generalmente dos – han revisado el artículo, y en el mejor de los casos, si los autores tienen suerte, esos árbitros resultan ser verdaderos expertos y conscientes y que se las arreglarán para ayudar a mejorar el artículo, y no algunos investigadores tomados al azar que finalmente respondieron a la invitación del editor para revisarlo. Si usted piensa que esto suena demasiado cínico, sólo recuerde el hecho de que casi cualquier artículo finalmente termina publicado en una revista supuestamente arbitrada. Solamente 1,4% de las 11.962 revistas académicas arbitradas supervisadas por Thomson Reuters (bastante menos de la mitad de las 28.000 estimadas que existen) tienen un Factor de Impacto de 10.0 o más, y solamente 62% tienen un Factor de Impacto de 1.0 o más. Digo esto para ilustrar que solo por ser una revista arbitrada no tiene nada que ver con tener una buena reputación o la calidad que generalmente se percibe asociada con eso.

La revisión por pares que cualquiera de los artículos de estas revistas ha sido objeto pudo haber sido razonable, o incluso bueno. El problema es que nadie sabe con seguridad en qué artículos es este el caso (con la posible excepción de los pocos artículos que han sido sometidos a procesos de revisión totalmente abierto, y para los cuales los informes de los revisores y las respuestas de los autores son públicas). Esto significa que un análisis exhaustivo de cualquier documento publicado siempre requiere una actitud crítica y profesionalmente escéptica.

Esto puede ser que no ocurra lo suficiente. Los resultados y las conclusiones presentadas en artículos en revistas arbitradas puede que no sean cuestionados con la suficiente frecuencia. El estado de “artículo revisado” puede que sea considerado demasiado a menudo como una garantía de veracidad. Por supuesto, esto es una conjetura que yo sólo podría respaldar con algunas indicaciones anecdóticas que recibo personalmente y de manera informal, pero la pregunta sigue siendo: ¿no sería el caso que la falta de reproducibilidad, bastante generalizada si esta encuesta de Nature3 sirve de guía, mejoraría si los lectores tuvieran que considerar los artículos de manera más crítica, debido a la ausencia de un arbitraje formal, y los autores lo supieran?

Si este es el caso, principalmente la publicación de preprints podría ofrecer una solución, porque los preprints no son formalmente arbitrados antes de la publicación, lo que debería incentivar a los lectores serios a ser cuidadosos y críticos antes de aceptar los resultados. Cualquier revisión post publicación, visible y que proviene de fuentes reveladas (no anónimas, lo cual es la norma para las revisiones pre publicación, y parte del problema), podría ayudar al lector en este respecto.

Para los autores, habría un incentivo para por lo menos asegurarse que las descripciones y métodos publicados en preprints son tales que podrían intentarse la replicación con éxito, no sea que obtengan una reputación de publicar resultados irreproducibles.

 

Por Jan Velterop

Fuente: Scielo en perspectiva