Etiquetado: lectura crítica

Los golfos apandadores

Cuando hace veinticinco años publicaba junto a Concepción Campos, un trabajo sobre comunicación de reacciones adversas a medicamentos por médicos de atención primaria, nos topamos con un hallazgo que nos sorprendió mucho: la presencia, porcentualmente pequeña pero no despreciable de faltas de ética en el proceso de publicación científica, en concreto de publicaciones duplicadas, publicaciones salami y meat extender.

En las publicaciones salami, como si fuera este embutido, un trabajo de cierta entidad se corta en porciones menores que serán publicados como artículos independientes en diferentes revistas. Adaptando el término al castellano, se le podría llamar publicaciones chorizo aludiendo a nuestro embutido autóctono, y de paso a la catadura moral de sus practicantes. Los fragmentos en que se divide, o lo que se ha llamado «unidad mínima publicable», no aportan aisladamente nada nuevo y se deberían publicar como el todo que fueron en el momento del estudio» Las publicaciones “meat extender” (expansores de carne) consistían en publicaciones que, a la manera de los aditivos que se emplean para dar volumen a la carne, se duplican artificialmente por la técnica de añadir resultados o casos clínicos a series previamente publicadas. Se publica un artículo con las mismas conclusiones que uno anterior al que únicamente se han añadido más datos o casos. La extensa y amplia revisión bibliográfica que realizan los autores de revisiones sistemáticas, ha confirmado que estas prácticas, lejos de disminuir, han aumentado, seguramente debido a la falta de una política editorial homogénea, extendida y clara.

Con todo, no dejan de ser manifestaciones menores de fraude científico, mucho más importante son la invención, la falsificación y la manipulación datos. Todos presentes en un caso que encontró Paddy Ekkekakis, psicólogo especializado en psicología del ejercicio y profesor en la universidad de Iowa, en uno de sus cursos de «Evaluación crítica para la práctica basada en la evidencia”. En estos cursos sus alumnos eligen un metanálisis, sobre un tema de su elección para intentar replicarlo, de tal forma que este ejercicio de ingeniería inversa les sirve de un estupendo aprendizaje de lectura crítica.

Como expone el propio P Ekkekakis en Twitter, (consultar hilo) uno de los elegidos fue un metanálisis de ensayos clínicos donde se comparaba ejercicio físico frente a control en enfermedad renal crónica. Se trataba de una revisión titulada Physical Exercise and Patients with Chronic Renal Failure: A Meta-Analysis publicado en Biomed Research International, revista anual presente en las principales bases de datos y con factor de impacto en 2019 de 2.276. La revisión evaluaba como intervencion programas diversos de ejercicio físico y como variables de resultado, los niveles de presión arterial y el nivel máximo de consumo de oxígeno en pacientes con insuficiencia renal en hemodiálisis.

MIentras trabajaban con este metanálisis los alumnos empezaron a pensar que estaban equivocados, que no sabían lo suficiente. Al profesor le paso lo mismo.

Una primera lectura encontró algunos errores, inconsistencias y falta información suficiente para hacer una lectura crítica. Nada que no hubieran visto antes, además en una carta de respuesta publicada en la misma revista se hacían eco de algunos de estas faltas.

La sorpresa surgió cuando se recuperaron los artículos analizados en el metanálisis

Como se puede ver en el hilo de @Ekkekakis, de los nueve artículos seleccionados, solo dos eran auténticos ensayos clínicos aleatorizados (RCT) a pesar de que en los criterios de selección se señalaba explícitamente que debían de ser RCTs.

En los siete artículos restantes hay una variedad de irregularidades, desde que él no tenía nada que ver con el tema, hasta uno que utiliza los niveles séricos de sodio (Na) del estudio como valores de presión arterial media, pasando por, al menos dos, en que los datos estaban claramente inventados

Como ejemplo, un artículo incluido en el metanálisis, Henrique (2010) fue una intervención no controlada (un solo grupo). Los meta-analistas utilizaron los números de presión arterial sistólica basal como la tensión del «grupo de control» y la final como la del grupo ejercicio dividieron el tamaño de la muestra (N = 14) por 2, diciendo que cada «grupo» tenía 7 participantes.

Este tremendo engaño, abunda en lo que ya hace un tiempo denunciara Ioannidis sobre la producción masiva de revisiones sistemáticas y metanálisis redundantes, engañosos y conflictivos, muchos de ellos procedentes de China.

El profesor lo denuncio en Twitter y se puso en conocimiento de los editores de la revista sin que hasta la fecha se haya tomado ninguna medida (comunicación personal).

El asunto seria divertido si no tuviera las implicaciones que tiene: la diseminación del conocimiento científico engañoso. La revisión ha recibido hasta hoy en Google Académico 53 citas. Una revisión de los 18 artículos citantes localizados vía PubMed y WOS, mostraba que más del 80% se apoyaban en las conclusiones del articulo fraudulento (revisión personal).

Actualización 23/02/2024

Hoy, comunica el profesor Ekkekakis que por fin y tras 3 años se ha comunicado por parte de los editores de la revista la retractación del «famoso» metanálisis. Se añade a la historia la publicación /copia de ese mismo articulo en una revista depredadora de la India, por parte de un grupo de investigación saudí.

Hilarante si no fuera un reflejo de los problemas del a ciencia biomédica actual

El ovillo y la espada

Hace pocos meses se ha publicado el libro «El ovillo y la espada: manual de lectura crítica de documentos científicos» donde el pediatra Manuel Molina conocido por su blog Ciencia sin seso… locura doble, y su prolífico trabajo como autor en revistas de pediatría, ambas actividades sobre temas relacionados con la metodología de la investigación y la medicina basada en la evidencia (MBE).

Como dice el mismo autor, vivimos en el mundo de la «infoxicación», intoxicados por la gran cantidad de información que existe, no siempre de buena calidad. Aunque él lo aplica a los artículos científicos, también se podría acomodar a lo escrito sobre la propia MBE, no siempre bueno, ni escrito con el objetivo adecuado. El Dr Molina nos explica que, gracias a las herramientas que nos proporciona la MBE, como la lectura crítica, podemos valorar el impacto real de los resultados de la investigación científica y aplicar estos a nuestro trabajo diario. Lo asimila al hilo de Ariadna y a la espada de Teseo (de ahí el nombre de libro) útiles instrumentos para derrotar al Minotauro, regresar del laberinto y acabar con el tributo humano que Atenas satisfacía a Creta

El libro recopila (y amplia) muchas de las entradas del blog del autor. Se traslada, por tanto, la forma desenfadada de escribir un blog al formato libro lo cual, en este caso, tiene ventajas y algún inconveniente. Se apunta al haber de los beneficios, una manera amena e incluso divertida de explicar los abstrusos conceptos de la metodología de la investigación. No se olvida de intentar hacer sencillas estas explicaciones, teniendo siempre en mente el médico, que, como él, no es experto en esos temas, pero que necesita conocimientos básicos y prácticos, para interpretar lo que pretende decirle, no siempre con buena intención, la literatura médica. En el haber, de los llamémosle defectos, del libro, está la falta de cohesión que le da el mismo hecho de ser una recopilación. Me explico, en mi opinión el libro es un auténtico manual de medicina basada en la evidencia, no solo de lectura critica como dice el título, bastaría con acomodar algunos de los capítulos, dividirlos en secciones, añadir figuras, ilustraciones e índices simples y analíticos para tener un auténtico manual (y buen) de MBE.

La empresa merecería la pena, ya que en mi opinión es un libro valioso para los muchos profesionales que quieren conocer mejor, lo que es y significa la MBE en la medicina actual. La COVID-19 y la literatura que ha originado, es un claro ejemplo que la MBE y sus aportaciones sigue siendo necesarias para los profesionales que toman decisiones en la vanguardia de la cabecera del enfermo. Muchas de las medidas, no solo terapéuticas, que ha implementado durante esta pandemia, no hubieran tenido lugar en un mundo medico donde la MBE estuviera interiorizada de verdad en la actividad clínica, sin dar cabida al sesgo imperativo de “hacer algo, lo que sea” o incluso al pensamiento mágico que todavía perdura en nuestra profesión.

En resumen, un recomendable libro que se puede adquirir en Anestesiar y en AMAZON a un precio bastante asequible

Persistencia en el error

…y ya no necesitamos la medicina basada en la evidencia….

En la información publicitaria de un nuevo medicamento Sacubitrilo/Valsartán (Entresto®) se incluye, como es habitual en este tipo de información, una especie de infografía que incluye gráficas y textos con las conclusiones más relevantes del estudio pivotal sobre ese fármaco.
entresto4.PNGA pesar de ser elaborada por los departamentos de marketing de los laboratorios, esta información ha de rigurosa, basada fielmente en los estudios que cita y debe ser supervisada por los departamentos médico y legal del propio laboratorio.

Se ha comentado que este material promocional distribuido a los médicos presenta un perfil sesgado de los medicamentos y no esta basado en la evidencia científica, lo cual sorprende porque este tipo de información al menos de forma teórica está fuertemente regulada y aprobada por la autoridad farmacéutica correspondiente.

Lo que es menos sorprendente, y en cierto modo lógico, es que este material intente presentar una imagen favorable y un impacto positivo en la persona que lo ve, para lo cual se recurren a embelecos procedentes en su mayor parte de las ciencias sociales aplicadas. Estos trucos a veces rayan la legalidad o la ética. Es la autoridad sanitaria la que deben velar para que no estén presentes en información que a la postre, va tener un influencia innegable en los médicos prescriptores.

Lo que no es habitual que este material promocional contenga errores de bulto, creemos que no intencionados, y sobre todo que nadie se haya percatado de ellos cuando se supone que ha sido revisado extensivamente por muchas personas. Por ejemplo, es habitual presentar la medida del efecto de un medicamento en términos de Reducción Relativa de Riesgo (RRR), o lo que es lo mismo la reducción del evento por parte del medicamento expresada como porcentaje de lo que pasa en el grupo control *.

Es aceptado que los ensayos clínicos publicados en revistas y los documentos de comunicación científica derivados de ellos utilizar esta medida del efecto. Es una cifra más rotunda que remarca el mensaje,  aparece no solo en publicidad de medicamentos sino en la de todo tipo, tambien se enseñorea de titulares periodísticos e incluso de los discursos políticos.

El lector debe estar atento y reconocer que cuando se lee una reducción del 20% en la mortalidad cardiovascular, no es una reducción absoluta de la mortalidad, sino que se producen un 20% menos de muertes que las que se producen en el grupo que no toma el medicamento. entresto1

En el caso que nos ocupa la tabla no lanza este anzuelo tan sutil, sino que confunde directamente el Riesgo Relativo (RR) o el cociente entre el riego en el grupo tratamiento y riesgo en el grupo control, con la RRR.

Si se compara con la figura original se ve el error, basta con observar el valor del hazard ratio (medida similar al riesgo relativo pero que proporciona información temporal del desarrollo del suceso) en nuestro caso de 0,80 o 80% para saber que el RR no puede ser 20 como dicen y remarcan los confeccionadores del material, sino que esta cifra corresponde a la Reducción Relativa del Riego que es igual a 1 menos el Riesgo Relativo (RRR= 1-RR).

entresto2

nejm.org

Curiosamente en una sección denominada Directos de on line de una prestigiosa sociedad científica donde se habla Sacubitrilo / Valsartán (Entresto®), se presentan varias diapositivas con el mismo error. Aunque el ponente utiliza el ambiguo pero correcto termino de reducción del riego, en la figura se ve de nuevo RR=20%.

entresto3

secardiologia.es

Estos conceptos se aprenden en un curso básico de medicina basada en la evidencia (MBE), esa que según algunos ya está sobrepasada por una medicina basada en los big data. El error que presentamos aquí es banal pero que seguramente refleja que la MBE ha fracasado en transmitir la importancia de entender los resultados de la investigación clínica, seguiremos como reseñaba mi amigo José Francisco García siendo médicos anuméricos, y el problema es que esto es especialmente peligroso en una época en que la cancamusa innovadora y tecnológica nos acecha, no siempre con buenas intenciones.

*Es muy distinto hablar de una reducción relativa del riesgo que de una reducción absoluta del riesgo. Baste poner como ejemplo el análisis combinado de los ensayos de la vacuna frente al virus del papiloma humano. En una de las tablas de dicho trabajo, publicado recientemente en The Lancet, se habla de una reducción de riesgo del 18% para cualquier lesión precancerosa, independientemente de cuál sea el tipo del virus causal. Sin embargo, esta cifra se refiere sólo a una reducción relativa, ya que las tasas observadas fueron de 1,3 y 1,6 por 100 personas-año, respectivamente, en vacunadas y no vacunadas. Por lo tanto, la reducción absoluta del riesgo sería sólo del 0,3% al año. (Literal de  Martínez-González MA, Alonso A, López Fidalgo J. ¿Qué es una hazard ratio? Nociones de análisis de supervivencia Med Clin 2008;131:65-72 -)

Lectura crítica ensayo clínico SPRINT

Guías de usuarios de la literatura médica

usersguideLas Guías de usuarios de la literatura médica: Un Manual para la Práctica Basada en la Evidencia Clínica, ha llegado a su tercera edición. De nuevo Gordon Guyatt, Drummond Rennie  y una gran cantidad de colaboradores  actualizan este libro de cabecera para todos los que les gusta aproximarse a la literatura científica de una manera racional y sistematizada.

En esta nueva edición se han actualizado los capítulos previos con nuevos ejemplos extraídos de la literatura médica y se han añadido nuevos capítulos, como es el caso del dedicado a como evaluar ensayos clínicos de no inferioridad o los meta-análisis en red. Otros capítulos novedosos solo los que contemplan la valoración de estudios genéticos, o de mejora de la calidad.

Aunque por su título pueda parecer que solo se dedica a lo que es pura lectura crítica, dedica sus capítulos iniciales a repasar conceptos y principios básicos de la medicina basada en la evidencia como el formular preguntas o la búsqueda de esta evidencia, actualizando además las secciones sobre recursos “pre-evaluados”  y recomendaciones-. Incluye un nuevo capítulo dedicado a la relación de la medicina basada en la evidencia y la teoría del conocimiento.

En cada uno de los capítulos de valoración crítica cambian uno de los enunciados que engloban las preguntas básicas de la valoración crítica, de tal forma que el esqueleto de las plantillas de lectura queda así

  • ¿Cuál es el riesgo de sesgo?
  • ¿Cuáles son los resultados?
  • ¿Cómo puedo aplicar los resultados a la atención al paciente?

En el que el enunciado primero sobre la validez de le estudio se sustituyen por la necesidad de valorar el posible grado de sesgo del estudio.

Como en ediciones anteriores se acompaña de otro libro: “Essentials…“una versión reducida de bolsillo para médicos clínicos atareados. Sin embargo en esta edición no se incluye CD-ROM y tampoco, al menos en el momento de escribir esta reseña, está disponible on-line en la web JAMA evidence.

EVIGRA 2014 : Medicina Basada en la Evidencia

lectura crítica de una revisión sistemática