Categoría: Revistas medicas

Los golfos apandadores

Cuando hace veinticinco años publicaba junto a Concepción Campos, un trabajo sobre comunicación de reacciones adversas a medicamentos por médicos de atención primaria, nos topamos con un hallazgo que nos sorprendió mucho: la presencia, porcentualmente pequeña pero no despreciable de faltas de ética en el proceso de publicación científica, en concreto de publicaciones duplicadas, publicaciones salami y meat extender.

Las publicaciones “meat extender” (expansores de carne) consistían en publicaciones que, a la manera de los aditivos que se emplean para dar volumen a la carne, se duplican artificialmente por la técnica de añadir resultados o casos clínicos a series previamente publicadas; se publica un artículo con las mismas conclusiones que uno anterior al que únicamente se han añadido más datos o casos. La extensa y amplia revisión bibliográfica que realizan los autores de revisiones sistemáticas ha confirmado que estas prácticas, lejos de disminuir, han aumentado, seguramente debido a la falta de una política editorial homogénea, extendida y clara.

Con todo, no dejan de ser manifestaciones menores de fraude científico, mucho más importante son la invención, la falsificación y la manipulación datos. Todos presentes en un caso que encontró Paddy Ekkekakis, psicólogo especializado en psicología del ejercicio y profesor en la universidad de Iowa, en uno de sus cursos de “Evaluación crítica para la práctica basada en la evidencia”. En estos cursos sus alumnos eligen un metanálisis, sobre un tema de su elección para intentar replicarlo, de tal forma que este ejercicio de ingeniería inversa les sirve de un estupendo aprendizaje de lectura crítica.

Como expone el propio P Ekkekakis en Twitter, (consultar hilo) uno de los elegidos fue un metanálisis de ensayos clínicos donde se comparaba ejercicio físico frente a control en enfermedad renal crónica. Se trataba de una revisión titulada Physical Exercise and Patients with Chronic Renal Failure: A Meta-Analysis publicado en Biomed Research International, revista anual presente en las principales bases de datos y con factor de impacto en 2019 de 2.276. La revisión evaluaba como intervencion programas diversos de ejercicio físico y como variables de resultado, los niveles de presión arterial y el nivel máximo de consumo de oxígeno en pacientes con insuficiencia renal en hemodiálisis.

MIentras trabajaban con este metanálisis los alumnos empezaron a pensar que estaban equivocados, que no sabían lo suficiente. Al profesor le paso los mismo

Una primera lectura encontró algunos errores, inconsistencias y falta información suficiente para hacer una lectura crítica. Nada que no hubieran visto antes, además en una carta de respuesta publicada en la misma revista se hacían eco de algunos de estas faltas.

La sorpresa surgió cuando se recuperaron los artículos analizados en el metanálisis

Como se puede ver en el hilo de @Ekkekakis, de los nueve artículos seleccionados, solo dos eran auténticos ensayos clínicos aleatorizados (RCT) a pesar de que en los criterios de selección se señalaba explícitamente que debían de ser RCTs.

En los siete artículos restantes hay una variedad de irregularidades, desde que él no tenía nada que ver con el tema, hasta uno que utiliza los niveles séricos de sodio (Na) del estudio como valores de presión arterial media, pasando por, al menos dos, en que los datos estaban claramente inventados

Como ejemplo, un artículo incluido en el metanálisis, Henrique (2010) fue una intervención no controlada (un solo grupo). Los meta-analistas utilizaron los números de presión arterial sistólica basal como la tensión del “grupo de control” y la final como la del grupo ejercicio dividieron el tamaño de la muestra (N = 14) por 2, diciendo que cada “grupo” tenía 7 participantes.

Este tremendo engaño, abunda en lo que ya hace un tiempo denunciara Ioannidis sobre la producción masiva de revisiones sistemáticas y metanálisis redundantes, engañosos y conflictivos, muchos de ellos procedentes de China.

El profesor lo denuncio en Twitter y se puso en conocimiento de los editores de la revista sin que hasta la fecha se haya tomado ninguna medida (comunicación personal).

El asunto seria divertido si no tuviera las implicaciones que tiene: la diseminación del conocimiento científico engañoso. La revisión ha recibido hasta hoy en Google Académico 53 citas. Una revisión de los 18 artículos citantes localizados vía PubMed y WOS, mostraba que más del 80% se apoyaban en las conclusiones del articulo fraudulento (revisión personal).

Sobre el uso y mal uso de PRISMA

Mal uso

Hace ya muchos años en una librería inglesa cercana a la sede de la BMA, en Tavistock Square, mientras ojeaba libros sobre medicina y ciencia, mi vista se situó sobre dos libros, expuestos lomo contra lomo, uno se titulaba How to read scientific papers y el otro How to writte scientific papers. La coincidencia y mi interés por el tema me llevo a hojear con fruición ambos libros. Las dos perspectivas deberían ser y eran distintas pero sus índices y los temas que trataban prácticamente coincidían punto por punto.

A raíz de la publicación definitiva de la actualización Declaración PRISMA acrónimo de Preferred Reporting Items of Systematic reviews and Meta-Analyses -en preprint desde septiembre del pasado año como ya anunciamos en su momento- se ha escrito mucho sobre esta especie de guía para la elaboración, remisión para publicación y/o comunicación de revisiones sistemáticas y metanálisis – que es parte de lo que puede significar en español, el simple termino ingles reporting*-.

Como no podía de ser de otra forma se ha reproducido una misconception o equivoco, no por frecuente menos importante, que tiene mucho que ver con mi anécdota londinense, la de confundir una reporting guidelines con una guía de lectura crítica o de como leer un artículo científico. Estos errores se ejemplifican cuando se equipara la declaración PRISMA con AMSTAR 2, una (autentica) herramienta de evaluación crítica para revisiones sistemáticas, cuando se dan recomendaciones, más o menos explicitas, del uso de esta la declaración como herramienta de lectura crítica, cuando se la utiliza como un instrumento de evaluación de la “calidad” o del riesgo de sesgos de los estudios individuales en una revisión, o cuando se considera una guía metodológica para el diseño y realización de revisiones sistemáticas, como se comenta en una editorial de la revista Revisiones Sistemáticas.

Como se dice en la reciente actualización, la declaración PRISMA 2020 no tiene la intención de guiar la realización de revisiones sistemáticas, para las cuales se encuentran disponibles otros recursos, tampoco debe utilizarse para evaluar la calidad metodológica de las revisiones sistemáticas; hay otras herramientas para este propósito. Además, PRISMA 2020 no tiene la intención de aconsejar el a publicación de protocolos de revisiones sistemáticas, para los cuales se encuentra disponible una declaración separada (PRISMA for Protocols (PRISMA-P) 2015 statement)

Uso

Pues bastaría con leerse detenidamente la declaración PRISMA 2020, para que sea más fácil se puede descargar aquí la versión traducida al español

PRISMA 2020

Como ya anunciamos se ha publicado la declaración PRISMA 2020: una guía actualizada para informar revisiones sistemáticas. Se puede consultar en formato preprint en: Page, Matthew J., et al. “The PRISMA 2020 Statement: An Updated Guideline for Reporting Systematic Reviews.” MetaArXiv, 14 Sept. 2020. Web MetaArXiv

Es la actualización de PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) 2009 ·en español aquí· un conjunto mínimo de elementos o ítems seleccionados basándose ​​en la evidencia que sirven para establecer la mejor forma de mostrar la información que revisiones sistemáticas y metaanálisis deben proporcionar cuando se publican.

Sesgo con un final feliz

Jeffrey Aronson, farmacólogo clínico británico publica en el blog del BMJ una entrada titulada: “Cuando uso una palabra .….. Beneficios, daños y tres historias de retractaciones”

Cuenta tres historias sobre las retractación de tres artículos científicos publicados por los mismos y tristemente famosos autores, encabezados por el profesor Mandeep R Mehra. Dos son historias de beneficios (aparentes) y una de daño.

La primera de beneficio aparente se refiere al “pre-print” que aportaba los resultados de un estudio observacional de casos y controles que apoyaban a la ivermectina por su efecto beneficioso en la mortalidad hospitalaria.

La segunda historia, también de beneficio, es sobre un artículo publicado el 1º de mayo en la prestigiosa revista New England Journal of Medicine donde se describe un aparente efecto beneficioso de los inhibidores de la ECA en COVID-19 y ningún efecto pejudicial de los bloqueadores de los receptores de angiotensina (ARA). Hay que hacer notar que hasta entonces circulaba la idea de que estos fármacos podrían ser perjudiciales por afectar a la enzima conversora de angiotensina que el virus utilizaba para ejercer su acción. Estas conclusiones, eran por tanto una buena noticia.  El estudio se basaba en un registro obtenido de datos se habían reunido en una base de datos clínica internacional Surgical Outcomes Collaborative (Surgisphere)

Sin embargo, despues de un procedimiento de revisión, el 2 de junio, los cinco autores escribieron una carta a la revista, donde decían: “Debido a que no se les otorgó a todos los autores acceso a los datos en bruto y los datos en bruto no se pudieron poner a disposición de un auditor externo, no podemos validar las fuentes de datos primarias subyacentes a nuestro artículo. Por lo tanto, pedían que se retractara el artículo, como así se hizo.

La tercera y última historia se relaciona con el tristemente famoso artículo publicado en la revista Lancet que con los datos de 671 hospitales de todo el mundo en más de 96 000 pacientes con COVID-19, concluye que la mortalidad era mucho menor en los en pacientes que no recibieron ningún medicamento que en los que hidroxicloroquina y en estos también menor que a los que tomaba este medicamento con azitromicina o claritromicina. A pesar de su indudable valor informativo en ese momento, este articulo no era nada bueno, venía a decir que la estrategia seguida por casi todos los hospitales del mundo estaba equivoca y que incluso había provocado daño o perjuicio a los pacientes así tratados. Una estrategia terapéutica basada en unas pruebas muy muy débiles, por decir algo, y por esa mezcla de impulso a la acción y creencia en lo bondad de lo que hace, que impregna la mentalidad de los médicos.

Fue con este último artículo, cuando se desato la polémica. Los hospitales australianos informaron que no habían dado permiso para que se divulgara ningún dato, a estos le siguieron otros hospitales en distintas localizaciones les paso algo similar. Además, se hicieron notar otros problemas del estudio, como el pequeño número de autores para un estudio de base de datos tan grande y la falta de aprobación del comité de ética. Tras el inicio de una investigación por parte de la revista, tres de los autores retractaron el documento al “no poder responder por la veracidad de las fuentes primarias de datos”.

La imagen tiene un atributo ALT vacío; su nombre de archivo es retract2.png

La paradoja, como señala Aronson es que la respuesta a los dos primeros documentos fue cálida, a menudo entusiasta, con algunas, pocas, reservas escépticas. Las dudas surgieron solo cuando apareció el tercero que tenía una dirección distinta. Los dos primeros estudios mostraban un beneficio, cumpliendo las ilusiones de todos los que esperaban intervenciones efectivas. El tercero, sin embargo, describió perjuicios y ningún beneficio, desvaneciendo las esperanzas de todos aquellos que los esperaban. En nuestro científico interior hay un sesgo que nos convierte en alborotadores furibundos cuando cualquier estudio científico desafía nuestras creencias, nuestra esperanza o incluso nuestro medio de vida

Parece que estamos sesgados a creer, especialmente en esta desesperada pandemia, en buenos resultados y somos reticentes con los que contradicen nuestras esperanzas. En este caso nuestra inclinación ha procurado un final feliz – se ha desmontado una trampa- pero ¿y si no hubiera sido así?

Volver grupas

Los médicos nos olvidamos en muchas ocasiones de que la carga de la prueba la debe aportar el que propone la intervención; sin respeto a esta premisa nos lanzamos sin orden ni concierto a introducir intervenciones que, cuando se prueban en un ensayo clínico, resultan ser ineficaces o incluso perjudiciales. Es lo que se ha llamado Medical Reversal (MR), un término que empieza a ser popular en los ámbitos académicos y clínicos de la medicina. Cuando una intervención que se usa con cierta asiduidad se pone a prueba mediante un ensayo clínico y este demuestra que la intervención es ineficaz o que sus daños superan su beneficio, estamos ante un MR.

Como ya se ha comentado anteriormente en esta sección, el término fue acuñado por Prasad, Gall y Cifu en una carta al director publicada en 2011 tras estudiar 124 artículos publicados durante un año en la revista New England Journal of Medicine. Dos años más tarde, el estudio se ampliaba con la revisión de los artículos originales publicados entre 2001 y 2010 en la misma revista. Ahora se publica una ampliación aún mayor donde se analizan los ensayos clínicos publicados en tres revistas médicas (JAMA, Lancet y New England) en períodos amplios de tiempo (de 6 a 14 años según la revista).

En el estudio se analizaron los ensayos clínicos donde se ponía a prueba cualquier intervención médica. De un total de 3.017 ensayos clínicos se identificaron 396 ensayos (un 13% de todos los ensayos publicados) que podrían reflejar fenómenos de reversión. La temática que producía más MR era la enfermedad cardiovascular, seguida de la salud pública y medicina preventiva. Los MR se debían con más frecuencia a tratamientos con medicamentos, seguidos de procedimientos y suplementos nutricionales y vitaminas.

Pero, con todo, lo más interesante es repasar los resúmenes y comentarios que los autores hacen de los artículos que originan los diferentes MR (algunos todavía vigentes en la práctica médica especializada de España). Los autores seleccionan 20 en la versión impresa donde podemos encontrar perlas como: la ineficacia de los antidepresivos sertralina y mirtazapina en los pacientes con demencia, el cribado del cáncer de mama por debajo de los 50 años, los dispositivos wearables para la pérdida de peso, la infiltración epidural con corticoides para la ciática, o la cirugía para la rotura de menisco.

Por último, hacer notar que el artículo se publica en una revista poco conocida en medicina clínica: eLife.  La estructura de los artículos de esta revista tienen un enfoque novedoso y muy práctico: en lugar de seguir la estructura tradicional IMRYD (introducción, material y métodos, resultados y discusión), comienza por la introducción y sigue por los resultados, discusión y conclusiones, dejando la siempre tediosa sección de métodos para el final; una propuesta muy real  ya que la mayor parte de los profesionales no la llegan a leer; los editores de la revista lo saben y la dejan en un lugar secundario.

Publicado en AMF-actualización en medicina de familia. AMF 2019;15(8):497-498

“ideas” fake y opiaceos

narcoticsEsta carta de cinco oraciones se publicó en el New England Journal of Medicine en 1980. En los años posteriores fue altamente citada y de manera acrítica como evidencia de que la adicción era rara con la terapia con opiáceos (de prescripción) a largo plazo.
Este patrón de citas ha contribuido a la crisis de los opiáceos en América del Norte al ayudar a dar forma a una narrativa que disipó las preocupaciones de los prescriptores sobre el riesgo de adicción asociado con la terapia de opiáceos a largo plazo. En 2007, el fabricante de OxyContin y tres ejecutivos senior se declararon culpables de cargos criminales federales por engañar a reguladores, médicos y pacientes sobre el riesgo de adicción asociada con este medicamento Los hallazgos de esta carta resaltan las consecuencias potenciales de citas inexactas y subrayan la necesidad de actuar con diligencia al citar estudios publicados previamente.

resumido de Leung PTM, Macdonald EM, Stanbrook MB, Dhalla IA, Juurlink DN. A 1980 Letter on the Risk of Opioid Addiction. N Engl J Med. 2017 Jun 1;376(22):2194-2195. doi: 10.1056/NEJMc1700150.

POEMs y Choosing Wisely

Desde hace ya tres años Roland Grad y Mark Ebell  publican en la revista American Family Physicians (AFP) un artículo donde hace un recorrido critico por los artículos relacionados con la iniciativa Choosing Wiselly, más importantes publicados durante el año anterior.poemscw

Como ya hemos comentado en otras ocasiones, la selección de estos artículos no se hace por expertos, si no mediante una estrategia de crowdsourcing entre los lectores de un sistema de alerta bibliográfico conocido como POEMs Research Summaries (Infopoems) donde se escoge y resume en un formato fácil de entender y leer, artículos de la literatura médica contemporánea de más de 100 revistas clínicas, en tanto en cuanto proporcionan información útil para los médicos de familia.afp20170101-cover

Se entiende por información útil aquella que es relevante (contempla información orientada relacionada a resultados importantes para el paciente) y válida (el estudio estaba bien diseñado y no tiene sesgos importantes). El término “Orientado al paciente” de donde proviene el acrónimo POEM  se refiere a que los resultados de los estudios sean importantes para los pacientes, como pueden ser la disminución de la morbilidad y mortalidad, mejora de la calidad de vida, etc. en lugar de los resultados orientados a enfermedad, tales como cambios en las variables fisiológicas (por ejemplo, los niveles de glucosa sérica, filtrado glomerular caso, hallazgos electrocardiográficos).

Los veinte POEMS de artículos originales calificados como más relevantes durante el año 2017 se publicaron hace unos meses en la revista AFP.  Ahora se publican una selección de los POEMs de 2017 que están más de acuerdo con los principios de la campaña “Elegir sabiamente” –Choosing Wisely- lo que quiere decir que se añaden a las propiedades de relevancia, validez y resultados orientados al paciente, ocasionar un cambio en la práctica en el sentido de evitar intervenciones cuyos beneficios no son superiores a otras opciones, a veces son más caras o ponen a los pacientes en mayor riesgo de daño

Las recomendaciones abarcan desde afecciones musculoesqueléticas a las enfermedades cardiovasculares, pasando por infecciones o problemas respiratorios importunes en el trabajo diario de un médico de familia. Se exponen mediante un titular más un breve comentario donde se explica su relacion con choosing wisely, como se puede ver en esta tabla extraída directamente de la propia revista.

tabla3POEM

A propósito de Mónica (Regarding Mónica) 1/∞

Hace prácticamente 18 años mandaba este correo a una lista de distribución:

sandvik3

era el producto final intermedio de una iniciativa y “revuelta” que un medico general noruego inicio en la lista de distribución de la WONCA contra la Guia de Hipertensión de la OMS, como se  explica en esta captura de pantalla

sandvik4

se iniciaba así, como puse de relieve en mi mensaje, una nueva revolución de la mano de Internet gracias a la “jurásica” herramienta del correo electrónico y las listas de distribución. No solo en la forma de comunicar información, sino tambien en los equilibrios de poder en los que se basaba la detección de la información y sus canales de difusión, decía:.

No hay duda que estamos  ante un instrumento, que puede revolucionar la
comunicación de la información medica, donde no solo seamos sujetos
pasivos susceptibles  de manipulación por parte de cualquier estamento
de poder

El mismo colega lo había intentado con otras guía similares pero su reclamación quedo sandvik5sepultada en los inútiles mecanismos tradicionales de las Cartas al director.

Sin embargo con la revuelta iniciada en Internet tuvo mucho mas exito, la carta a la WHO Director General de entonces, Gro Harlem Brundtland fue contestada y aunque la repuesta fue algo tibia, la propia organización rectificaba cuatro años más tarde la guía (fue esta actualización la ultima que hizo sobre HTA) reconociendo que:

En cuanto a las preocupaciones acerca de las directrices de 1999, destaca la gran defensa de estas por una disminución más intensa de la presión arterial con la necesidad consiguiente de más medicamentos y que esta postura pudieran estar influida  por el apoyo financiero al comité  de estas guías por parte de los compañías farmacéuticas productoras de estos fármacos.”

Muchos médicos de familia y otras especialidades alrededor del mundo (un numero importante de españoles) sin saberlo fueron protagonistas de un pequeño pero novedoso hito en la generación, difusión y sobre todo discusión en la información medica.

Un simple medico general de un pequeño país arropado por colegas a los que no conocía, pero que compartían con el los postulados de una nueva corriente de lectura critica de la literatura científica, obligaba a la mayor organización sanitaria mundial, sus petulantes expertos, y a sus patrocinadores a rectificar sus afirmaciones basadas en interesadas observaciones (y no en la evidencia).

Comenzaba un nueva época, en palabras de Sergio Minue, las hormigas tenían (ya) altavoces, pero eso es ya otra historia

 

Culpas y culpables

Pues parece que la corrupción de las pruebas, o que la (s) industrias establezcan la agenda de la investigación clínica no es cosa de ahora, ni culpa de la medicina basada en la evidencia.

Sugar Industry and Coronary Heart Disease ResearchA Historical Analysis of Internal Industry Documents

Las señales tempranas de alerta sobre el riego del azúcar (sacarosa) de la enfermedad coronaria (EC) surgieron en la década de 1950. En este artículo se examina documentos internos e informes históricos de la Fundación de Investigación del Azúcar (SRF), así como las declaraciones correspondientes a los primeros debates sobre las causas dietéticas de las enfermedades del corazón y se reúne los resultados cronológicamente en un estudio narrativo de caso. etable

La SRF patrocinó su primer proyecto de investigación CHD en 1965, una revisión de la literatura, publicada en el New England Journal of Medicine, que señalaba la grasa y el colesterol de la dieta como causa de las enfermedades del corazón y restó importancia a la evidencia de que el consumo de sacarosa fuera también un factor de riesgo. La SRF estableció el objetivo de la revisión, contribuyó con artículos para su inclusión, y recibió los borradores. La financiación y el papel de la SRF no se revelo. Junto con otros análisis recientes de documentos de la industria azucarera, nuestros hallazgos sugieren la industria patrocinó un programa de investigación en los años 1960 y 1970 que señala con éxito dudas acerca de los peligros de la sacarosa, mientras que promociono la grasa como la culpable dietética en las enfermedades del corazón. Los comités políticos deberían considerar dar menos peso a los estudios financiados por la industria de alimentos e incluir estudios que evalúen el efecto de los azúcares añadidos en múltiples biomarcadores de la EC y en el desarrollo de la enfermedad.

Does the world need new stents?

Does the world need new stents? No, but device companies need new products for when current ones go off patent. And the Lancet needs to sell article reprints as part of its stated business plan. But do you, dear reader, really need to read a paper entitled

Ultrathin strut biodegradable polymer sirolimus-eluting stent versus durable polymer everolimus-eluting stent for percutaneous coronary revascularisation (BIOSCIENCE): a randomised, single-blind, non-inferiority trial?”

I would suggest not.

De Richard Lehman’s journal review—15 December 2014

¿Necesita el mundo necesita nuevos stents? No, pero las empresas de dispositivos necesitan nuevos productos para cuando los actuales queden fuera de patente. Y el  Lancet necesita vender copias de artículos como parte de su plan de negocio.Pero, ¿usted, querido lector, realmente necesitas leer un documento titulado

ultrafino puntal biodegradable stent polímero liberador de sirolimus frente polímero duradero stent liberador de everolimus de revascularización coronaria percutánea (Bioscience): un simple ciego, ensayo de no inferioridad aleatorio ? ”

Yo creo que no.