Traducción de Let’s Talk Peer Review original de John Mandrola

El Estudio de la Semana explora el juicio de la ciencia médica. Aquí hay tres ejemplos que enfatizan algunas de las limitaciones de la revisión por pares

Enjuiciar ciencia siempre ha sido polémico. Pero el debate solía permanecer entre los científicos.

Las redes digitales y sociales, y, por supuesto, la pandemia y su politización de la ciencia han llevado el debate de revisión por pares a asunto principal. Tanto es así que la revisión por pares es ahora una  especie de modificador común.

Como en:

«Este documento revisado por pares informó …»

o

Este preprint, que aún no ha sido revisado por pares, encontró …»

Sin embargo, algo tan importante como juzgar la ciencia de alguna manera ha escapado en gran medida al estudio empírico.

Una revisión sistemática Cochrane de solo 28 estudios encontró que «hay poca evidencia empírica disponible para apoyar el uso de la revisión editorial por pares como un mecanismo para garantizar la calidad de la investigación biomédica».

Bueno, es decir, hasta el mes pasado

La influyente revista científica Proceedings of the National Academy of Science (PNAS para abreviar) publicó un experimento real para resolver el «sesgo del status» (n del t: también conocido como Efecto Mateo) en la revisión por pares. El sesgo de estatus es cuando los investigadores prominentes disfrutan de un trato más favorable que los investigadores sin tanto renombre.

Los autores invitaron a más de 3.300 investigadores a revisar un trabajo de investigación financiera escrito conjuntamente por un autor prominente (un premio Nobel) y un autor relativamente desconocido (un asociado de investigación en los inicios de su carrera), variando si los revisores podían ver el nombre del autor prominente, una versión anónima del artículo o el nombre del autor menos conocido.

Completaron 537 reseñas. La figura cuenta una historia impactante. Recuerde, es el MISMO documento

El lado izquierdo considera el rechazo. Aquí, el 65% de los revisores recomienda el rechazo, si el autor era un investigador junior (AL), el 48% rechazó una versión anónima frente a solo el 22% rechaza si el investigador prominente fue el autor (AH).

El lado derecho de la figura considera críticas positivas. Los autores consideraron una combinación de revisión menor o aceptar como «positiva», y se puede ver claramente un inverso de la relación. 10% para el investigador junior, 24% para el artículo anónimo y un masivo 59% para el investigador senior.

Podrías decir, vamos Mandrola, ese es un estudio. Estás recogiendo cerezas. ¡La revisión por pares es excelente!

Permítanme mostrarles dos ejemplos más.

Primero, es de la misma revista, PNAS, en 2014. En este experimento, los investigadores utilizaron los datos de un conjunto de más de 1000 manuscritos enviados a 3 revistas médicas de élite. La idea era evaluar las citas de los artículos que recibieron diferentes evaluaciones por parte de editores y revisores pares. En este conjunto de datos, 946 envíos fueron rechazados y 62 aceptados. De los rechazados, se publicaron (posteriormente) 757 artículos.

Como era de esperar, los artículos que inicialmente fueron rechazados o recibieron puntuaciones más bajas de revisión por pares terminaron con menos citas que los que pasaron la prueba. Pero. Hubo numerosas decisiones cuestionables en el proceso de control de acceso

Al examinar del total de los 808 manuscritos finalmente publicados, nuestras tres revistas focales rechazaron los 14 artículos más citados». De hecho, 12 de estos 14 artículos rechazados ni siquiera fueron enviados a revisores pares. El comité editorial lo rechazó.

Mira el extremo derecho. Los documentos más importantes fueron rechazados inicialmente.

.

Ahora una historia personal de cómo una revisión por pares sesgada afecta la interpretación de un estudio.

Junto con un equipo de investigación de Penn State, realizamos un metanálisis de estudios que compararon dos formas de evaluar a los pacientes que presentan sospecha de enfermedad coronaria.

Una forma fue con una angiografía coronaria por tomografía computarizada (CTA). Esto detecta obstrucciones anatómicas. La otra forma fue con una prueba funcional, como una prueba de esfuerzo. Esto detecta si la obstrucción suponer una carga para el corazón.

Hubo 13 estudios que compararon directamente estas técnicas. Un metaanálisis agrupa los resultados de estos juntos: la idea de combinar estudios (similares) pero más pequeños en uno grande conduce a una mayor precisión en la estimación.

La clave absoluta es que los estudios sean similares.

Si lee nuestro artículo en la importante revista JAMA-Internal Medicine, podra ver que los pacientes que fueron evaluados con cualquiera de las pruebas, no tuvieron diferencias en la mortalidad futura o la hospitalización por causa cardíaca. Pero aquellos que se sometieron a imágenes de CTA tuvieron una probabilidad ligeramente reducida de un futuro IM (ataque cardíaco). Nuestro estudio ahora es citado por los defensores de las imágenes CTA basándose en esta pequeña diferencia.

Pero este hallazgo fue 100% susceptible a la inclusión de un estudio, llamado SCOT-HEART, que no pensamos que pertenecía al análisis. El artículo original no incluyó SCOT-HEART porque ese ensayo comparó la CTA y las pruebas de esfuerzo funcional con las pruebas funcionales solas. No fue lo suficientemente similar a los otros estudios, en nuestra opinión.

Adivina qué: los revisores no aceptaron nuestra decisión. Tuvimos la opción de publicar el artículo con SCOT-HEART incluido o irnos con la música a otra parte.

Sí, explicamos el hecho de que SCOT-HEART no pertenecía, y que excluirlo eliminó la señal de reducción de IM en la sección de resultados y discusión, pero el resumen y los hallazgos principales incluyen el resultado favorable. Esto es lo que escribimos, bien abajo en la sección de discusión. Esa parte rara vez se cita.

Conclusión:

Mostrar defectos en la revisión por pares no es argumentar que deberíamos eliminarla.

Sin embargo, debemos comprender sus limitaciones, considerar formas de mejorarlo y nunca aceptar ciegamente un hallazgo únicamente porque ha pasado la revisión por pares. Del mismo modo, tampoco debemos ignorar los hallazgos que no han pasado la revisión por pares.

El propósito de la Medicina Sensible es elevar el nivel de evaluación crítica de la ciencia médica. La revisión por pares nunca debe detenerse o influir indebidamente en nuestro proceso de pensamiento.