Etiquetado: fraude cientifico
Los golfos apandadores
Cuando hace veinticinco años publicaba junto a Concepción Campos, un trabajo sobre comunicación de reacciones adversas a medicamentos por médicos de atención primaria, nos topamos con un hallazgo que nos sorprendió mucho: la presencia, porcentualmente pequeña pero no despreciable de faltas de ética en el proceso de publicación científica, en concreto de publicaciones duplicadas, publicaciones salami y meat extender.
Las publicaciones “meat extender” (expansores de carne) consistían en publicaciones que, a la manera de los aditivos que se emplean para dar volumen a la carne, se duplican artificialmente por la técnica de añadir resultados o casos clínicos a series previamente publicadas; se publica un artículo con las mismas conclusiones que uno anterior al que únicamente se han añadido más datos o casos. La extensa y amplia revisión bibliográfica que realizan los autores de revisiones sistemáticas ha confirmado que estas prácticas, lejos de disminuir, han aumentado, seguramente debido a la falta de una política editorial homogénea, extendida y clara.
Con todo, no dejan de ser manifestaciones menores de fraude científico, mucho más importante son la invención, la falsificación y la manipulación datos. Todos presentes en un caso que encontró Paddy Ekkekakis, psicólogo especializado en psicología del ejercicio y profesor en la universidad de Iowa, en uno de sus cursos de «Evaluación crítica para la práctica basada en la evidencia”. En estos cursos sus alumnos eligen un metanálisis, sobre un tema de su elección para intentar replicarlo, de tal forma que este ejercicio de ingeniería inversa les sirve de un estupendo aprendizaje de lectura crítica.
Como expone el propio P Ekkekakis en Twitter, (consultar hilo) uno de los elegidos fue un metanálisis de ensayos clínicos donde se comparaba ejercicio físico frente a control en enfermedad renal crónica. Se trataba de una revisión titulada Physical Exercise and Patients with Chronic Renal Failure: A Meta-Analysis publicado en Biomed Research International, revista anual presente en las principales bases de datos y con factor de impacto en 2019 de 2.276. La revisión evaluaba como intervencion programas diversos de ejercicio físico y como variables de resultado, los niveles de presión arterial y el nivel máximo de consumo de oxígeno en pacientes con insuficiencia renal en hemodiálisis.
MIentras trabajaban con este metanálisis los alumnos empezaron a pensar que estaban equivocados, que no sabían lo suficiente. Al profesor le paso los mismo
Una primera lectura encontró algunos errores, inconsistencias y falta información suficiente para hacer una lectura crítica. Nada que no hubieran visto antes, además en una carta de respuesta publicada en la misma revista se hacían eco de algunos de estas faltas.
La sorpresa surgió cuando se recuperaron los artículos analizados en el metanálisis
Como se puede ver en el hilo de @Ekkekakis, de los nueve artículos seleccionados, solo dos eran auténticos ensayos clínicos aleatorizados (RCT) a pesar de que en los criterios de selección se señalaba explícitamente que debían de ser RCTs.
En los siete artículos restantes hay una variedad de irregularidades, desde que él no tenía nada que ver con el tema, hasta uno que utiliza los niveles séricos de sodio (Na) del estudio como valores de presión arterial media, pasando por, al menos dos, en que los datos estaban claramente inventados
Como ejemplo, un artículo incluido en el metanálisis, Henrique (2010) fue una intervención no controlada (un solo grupo). Los meta-analistas utilizaron los números de presión arterial sistólica basal como la tensión del «grupo de control» y la final como la del grupo ejercicio dividieron el tamaño de la muestra (N = 14) por 2, diciendo que cada «grupo» tenía 7 participantes.
Este tremendo engaño, abunda en lo que ya hace un tiempo denunciara Ioannidis sobre la producción masiva de revisiones sistemáticas y metanálisis redundantes, engañosos y conflictivos, muchos de ellos procedentes de China.
El profesor lo denuncio en Twitter y se puso en conocimiento de los editores de la revista sin que hasta la fecha se haya tomado ninguna medida (comunicación personal).
El asunto seria divertido si no tuviera las implicaciones que tiene: la diseminación del conocimiento científico engañoso. La revisión ha recibido hasta hoy en Google Académico 53 citas. Una revisión de los 18 artículos citantes localizados vía PubMed y WOS, mostraba que más del 80% se apoyaban en las conclusiones del articulo fraudulento (revisión personal).
Sesgo con un final feliz
Jeffrey Aronson, farmacólogo clínico británico publica en el blog del BMJ una entrada titulada: «Cuando uso una palabra .….. Beneficios, daños y tres historias de retractaciones”
Cuenta tres historias sobre las retractación de tres artículos científicos publicados por los mismos y tristemente famosos autores, encabezados por el profesor Mandeep R Mehra. Dos son historias de beneficios (aparentes) y una de daño.
La primera de beneficio aparente se refiere al “pre-print” que aportaba los resultados de un estudio observacional de casos y controles que apoyaban a la ivermectina por su efecto beneficioso en la mortalidad hospitalaria.
La segunda historia, también de beneficio, es sobre un artículo publicado el 1º de mayo en la prestigiosa revista New England Journal of Medicine donde se describe un aparente efecto beneficioso de los inhibidores de la ECA en COVID-19 y ningún efecto perjudicial de los bloqueadores de los receptores de angiotensina (ARA). Hay que hacer notar que hasta entonces circulaba la idea de que estos fármacos podrían ser perjudiciales por afectar a la enzima conversora de angiotensina que el virus utilizaba para ejercer su acción. Estas conclusiones, eran por tanto una buena noticia. El estudio se basaba en un registro obtenido de datos se habían reunido en una base de datos clínica internacional Surgical Outcomes Collaborative (Surgisphere)
Sin embargo, despues de un procedimiento de revisión, el 2 de junio, los cinco autores escribieron una carta a la revista, donde decían: “Debido a que no se les otorgó a todos los autores acceso a los datos en bruto y los datos en bruto no se pudieron poner a disposición de un auditor externo, no podemos validar las fuentes de datos primarias subyacentes a nuestro artículo. Por lo tanto, pedían que se retractara el artículo, como así se hizo.
La tercera y última historia se relaciona con el tristemente famoso artículo publicado en la revista Lancet que con los datos de 671 hospitales de todo el mundo en más de 96 000 pacientes con COVID-19, concluye que la mortalidad era mucho menor en los en pacientes que no recibieron ningún medicamento que en los que recibieron hidroxicloroquina y en estos también menor que a los que tomaba este medicamento con azitromicina o claritromicina. A pesar de su indudable valor informativo en ese momento, este articulo no era nada bueno, venía a decir que la estrategia seguida por casi todos los hospitales del mundo estaba equivocada y que incluso había provocado daño o perjuicio a los pacientes así tratados. Una estrategia terapéutica basada en unas pruebas muy muy débiles, por decir algo, y por esa mezcla de impulso a la acción y creencia en lo bondad de lo que hace, que impregna la mentalidad de los médicos.
Fue con este último artículo, cuando se desato la polémica. Los hospitales australianos informaron que no habían dado permiso para que se divulgara ningún dato, a estos le siguieron otros hospitales en distintas localizaciones les paso algo similar. Además, se hicieron notar otros problemas del estudio, como el pequeño número de autores para un estudio de base de datos tan grande y la falta de aprobación del comité de ética. Tras el inicio de una investigación por parte de la revista, tres de los autores retractaron el documento al “no poder responder por la veracidad de las fuentes primarias de datos”.
La paradoja, como señala Aronson es que la respuesta a los dos primeros documentos fue cálida, a menudo entusiasta, con algunas, pocas, reservas escépticas. Las dudas surgieron solo cuando apareció el tercero que tenía una dirección distinta. Los dos primeros estudios mostraban un beneficio, cumpliendo las ilusiones de todos los que esperaban intervenciones efectivas. El tercero, sin embargo, describió perjuicios y ningún beneficio, desvaneciendo las esperanzas de todos aquellos que los esperaban. En nuestro científico interior hay un sesgo que nos convierte en alborotadores furibundos cuando cualquier estudio científico desafía nuestras creencias, nuestra esperanza o incluso nuestro medio de vida
Parece que estamos sesgados a creer, especialmente en esta desesperada pandemia, en buenos resultados y somos reticentes con los que contradicen nuestras esperanzas. En este caso nuestra inclinación ha procurado un final feliz – se ha desmontado una trampa- pero ¿y si no hubiera sido así?
Chronos e Hygia: ¡vaya par de dioses!
En Primun non nocere y en AMF también nos hicimos eco de este estudio, resaltando el merito añadido de estar realizado por autores españoles, algunos de ellos radicado en atención primaria. Por último, la siempre rigurosa revista secundaria Evidence Based Medicine lo sancionaba con uno de sus «juicios” habituales en su sección veredicto
Una lectura crítica del artículo evidenciaba algunas debilidades, tales como ser un estudio abierto, sin cegamiento para pacientes e investigadores, tampoco se explicitaba como se había hecho la evaluación de las variables de resultado y sobre todo no aportaba daba suficiente información de como se había producido la asignación, aleatorización y el seguimiento en ambos grupos del ensayo clínico.
Esta falta se información sobre el proceso, diseño PROBE en este caso, se explica remitiendo al lector a un articulo previo donde se explicaría con mayor extensión. Esta práctica no es infrecuente, de hecho, muchos de los grandes ensayos clínicos, publicados en las revistas de prestigio no incluyen esta información, por ejemplo, la revista más importante en medicina, el NEJM no se cree en la obligación de informar sus lectores de como se hace la asignación a los grupos en los ECAs (oculta o no). El problema es que en estos grandes ECAs y el Hygia lo es, (19.804 pacientes) cuando se va al artículo metodológico publicado con anterioridad se despejan las dudas, mientras que el estudio que comentamos, no parece ser así.
En las primeras guías de lectura crítica de ensayos clínicos se incluía la pregunta: ¿se incluye con suficiente detalle información sobre aleatorización, asignación lo que fuera……? .Con el paso del tiempo y en aras de la simplificación esta “demanda de información» se ha ido diluyendo y basta con que los autores simplemente lo expongan para que se de como valido este ítem critico metodológico.
Contra estas leves o medianas objeciones, el articulo ofrece unos resultados espectaculares y como decíamos al principio increíbles. El problema, es que el termino increíble tiene dos acepciones:
- Que parece mentira o es imposible o muy difícil de creer
- Que causa gran admiración o sorpresa.
Para nosotros el significado numero dos fue el bueno, pero para otros fue el primero. Es el caso de un grupo de expertos y gurús de la hipertensión que han escrito un editorial en la revista Blood Pressure publicado hace pocos días, donde cuestiona la validez, incluso la ética del estudio Hygia.
Se puede consultar traducido en el blog de El rincon de Sisisfo que siempre nos adelanta, al fin y al cabo, Carlos es es un profesional. Este editorial fija su crítica en los siguientes puntos:
- La falta de material suplementario donde se dieran más detalles de cómo se hizo el ensayo clínico y el análisis de datos, incluida la evaluación de las variables de resultado utilizando un diseño prospectivo aleatorizado, ciego y abierto. Como hemos señalado antes, la lectura del articulo donde se describió el protocolo, no permite extraer información suficiente para saber si el ensayo se había realizado de forma adecuada.
- El cambio en el número de pacientes con respecto al protocolo inicial, las pocas perdidas en el seguimiento y la falta de información sobre cómo se monitorizaron los resultados y efectos adversos.
- La dificultad técnica de realizar anualmente los procedimientos descritos (principalmente MAPA) a todos los pacientes.
Por último, recordar la preocupación del Dr. Rubén Pascual, creador del excelente blog Ocularis cuando nos avisó de la relación de la hipotensión nocturna con la neuropatía óptica isquémica anterior (NOIA) y que se une a otros efectos adversos que se recogen en la editorial.
El estudio que toma su nombre de Hygia diosa griega de la higiene y la salud y sobre todo sus conclusiones, están en entredicho, aunque una editorial no puede hacer más que dar la voz de alarma, el caso está en manos del comité de ética de la revista European Heart Journal, y de la contestación de los autores, por el bien de todos esperemos que se de una pronta respuesta. Como dijo un revisor, en tono admirativo y tiempo antes de esta polémica: «los resultados son demasiado buenos para ser verdad»
me lo dices o me lo cuentas
Que las revistas se pone pesadas y no quieres publicar los artículos que favorecen a tus medicamentos
Que no encuentras suficientes expertos “fantasmas” que autoricen los papeles que tú has fabricado
Que lo antiguos de los revisores no admiten tus modernas y manipuladas graficas
Que a tus médicos no les basta con que les invites a cenar y te piden evidencias.
Aunque hipotéticos (en España imposibles) estos casos te pueden suceder a ti,
Si a ti
pero no te preocupes para eso están algunas editoriales médicas. Te hacen una revista que parezca seria y científica, le ponen un pomposo nombre como Australasian Journal of Bone and Joint Medicine (fíjate que bien y lejano suena lo de Australasian) y en ella puedes publicar lo que te dé la gana.
¿Para qué perder tiempo haciendo estudios como Dios manda? ¿ Porque gastar tanto dinero en intermediarios? ¿ Para que tanta tontería de peer review, ética, estadística, evidencia)
¡Haz tu revista! tenemos de muchas especialidades. Eso sí, procura que nadie se entere y que no te pillen como a MSD y a Elsevier
adenda Phrammacritique blog francés dedicado a lo que su nombre indica, curiosamente alojado en la edición francesa del periódico gratuito 20 minutos, explica con claridad y para los que no dominen el inglés la noticia publicada por the Scientist hace unos días.
12/05/2009 ELSERVIER pide disculpas, es justo reconocerlo y reseñarlo
Primum non nocere 2023 