Etiquetado: factor de impacto

Trampas

En la liga española hay un equipo de fútbol de la capital, que no es el Atleti, conocido como el trampas, incluso es tan famoso este sobrenombre que tiene cuentas en Facebook y Twitter.

La investigación sanitaria española ha crecidos en las últimas décadas, hasta el punto que ya no es raro como antaño, encontrarse artículos de autores españoles en revistas internacionales de prestigio, así como ver revista españolas encaramadas en lo alto de su especialidad. Sin embargo, este ascenso también tiene sus consecuencias indeseables, como son la adopción de vicios del sistema de investigación científica. Un buen ejemplo es la impactolatría o ” culto o adoración incontinente al factor de impacto como panacea en la evaluación de la ciencia”.

El factor de impacto (FI) es un indicador bibliométrico que pretende medir el impacto o repercusión de las revistas científicas, basándose en el promedio de citas recibidas por estas. En concreto el FI de una revista se obtiene dividiendo el número de citas que reciben en un año los trabajos publicados en una revista a lo largo de los dos años anteriores por el número total de artículos o ítems citables publicados en esos dos años.

 

 

Desde su creación las críticas a este modelo de evaluar la ciencia y de paso a los científicos han sido innumerables y documentadas, entre ellas el mal uso que supone calificar la calidad e importancia de los artículos de investigación con un indicador que “mide” el impacto de la revista, en la que él artículo se publica. Pero lejos de minar su alcance, el FI u otros indicadores similares, han crecido de manera inexorable, hasta el punto de que cuando en un país o disciplina comienza a eclosionar el sistema científico, el factor de impacto con todas sus virtudes (pocas) y defectos (muchos), emerge sin obstáculos. Pasó en España en su momento y desde hace unos años es una auténtica patología en China. La razón es sencilla y sorprendente: para los que dirigen y evalúan la ciencia, el FI es un mecanismo simple y aparentemente objetivo para repartir los fondos en investigación, medir e incentivar la producción científica y premiar carreras profesionales.

El Fi tiene además sus trampas y atajos, desenmascarar estos es precisamente el objetivo del artículo que con el gráfico título de Una guía del usuario para inflar y manipular los factores de impacto” se publica en la revista European Journal of Clinical Investigation. En este articulo se pone de manifiesto los trucos  que utilizan los directores de revistas médicas para aumentar el factor de impacto. Con ese proceder, aceptan de facto, la falsa validez del factor de impacto con el objeto de atraer más artículos originales, de mayor calidad y aumentar el prestigio de la revista. Los equipos editoriales se disponen a jugar el juego del FI bordeando en ocasiones los límites éticos de las publicaciones científicas.

Como se explica en el artículo, estas medidas son:

  • Acrecentar el FI promocionando la citación de artículos de la misma revista.
  • Aumentar el número de ítems considerados como no citables en el cálculo del FI  (editoriales, artículos de opinión, noticias, secciones formativas, etc) pero que a los que también se cita con frecuencia produciendo una asimetría e inflación del FI sin artículos
  • Sesgo hacia la publicación de artículos que por su propia naturaleza u objetivos, se sabe que atraerán muchas citas a la revista. Revisiones, guías de práctica clínica, conferencias de consenso, artículos donde se definen o se consensuan los criterios diagnósticos de enfermedades, son auténticos blockbusters sobre todo si se publican en revistas que son órganos de expresión de sociedades científicas conocidas.

Una tabla con la representación numérica de estas medidas inflacionistas del FI en revistas generales y específicas de cardiología, entre las que desgraciadamente está la española Revista Española de Cardiología , muestra que la proporción de autocitación, y la asimetría e inflación del FI es estas última revistas probablemente sea desproporcionada y explique la subida (artificial) del FI de estas publicaciones en los últimos años.

Los autores terminan diciendo que: el factor de impacto es un indicador muy imperfecto y fácil de trucar. Es un indicador que ha sobrevivido a su utilidad. La empresa que lo confecciona debería eliminarlo por completo de las ediciones de los Journal Citation Reports y reemplazarlo por otras medidas menos fáciles de manipular, hasta que no se den estos pasos, los científicos serios deberían tener cuidado con las medidas de impacto ya que son demasiado buenas para ser verdad.

A hombros de gigantes

No por casualidad, o quizás si, es el aforismo que adorna a modo de epígrafe la versión académica del famoso buscador de Internet Google , es decir Google academico. Aunque famosa por utilizarla el físico Isaac Newton en su relación epistolar con Robert Hooke , en realidad su origen se data en antecedentes muy lejanos  en el tiempo como narra en un erudito y divertido libro el sociólogo Merton.

Gigantes en Ayerbe. Autor: P. Bescó

Desde sus orígenes la frase viene a ser una metáfora en la que enanos encaramados a los hombros de un gigante pueden ver más y más lejos que los propios gigantes. Por lo visto, la idea de los hombros y los gigantes gusta mucho en el mundo anglosajón, así las monedas de dos libras esterlinas tienen la frase grabada en sus cantos y esta cita ha sido utilizada por modernos grupos musicales como los estadounidenses R.E.M [Standing on the shoulders of giants, leaves me cold, leaves me cold] o el grupo británico Oasis que la utilizó para bautizar su tercer disco.

Más interesante es la equivalencia  del aforismo de los enanos a hombros de gigantes con la idea sociológica, según la cual los descubrimientos científicos emergen de una base cultural existente, de tal forma que nuevos autores obtienen más conocimiento a partir del de sus predecesores. Una aplicación moderna derivada de esta aproximación científica al aforismo, son los índices de citas y su producto estrella el famoso Factor de impacto , puesto en solfa en innumerables ocasiones pero especialmente querido por esta especie de eruditos a la violeta que pueblan el panorama académico español.

Las revisiones sistemáticas son en cierta medida otra aplicación practica e inesperada que deriva de la idea del conocimiento acumulado, se revisa y sintetiza la literatura científica disponible sobre un tema determinado y genera, en ocasiones, nuevo conocimiento, podríamos decir que los autores de este tipo de revisiones localizan y/o construyen los gigantes y luego cabalgan sobre ellos para otear el horizonte  y vislumbrar nueva y mejor información que guíe la toma de decisiones o sugiera futuras investigaciones

buenos hospitales, mala medicina

Con la excusa de la intervención quirúrgica de el Rey en el hospital  Clínico de Barcelona, comenta y afirma Arcadi Espada en su columna de El Mundo de ayer 12 de mayo lo buenos que son los hospitales catalanes. Para apoyar su percepción, con la que estoy de acuerdo por otra parte, de la  “superioridad catalana en términos de calidad hospitalaria” se recuesta en lo brazos de la bibliometría y su aplicación a la biomedicina.

A poco que se investigue sobre esta aplicación práctica de las ciencias de la información que se conoce como bibliometría , se reconoce su escasa capacidad de medir la calidad y de lo marrullero y susceptible de manipulación de sus indicadores *. Por mucho que lo digan los expertos a los que se arrima Espada,  ni los “números” son objetivos por si mismos, ni la bibliometría puede categorizar los hospitales en buenos y malos, ítem mas cuando lo que mide es productividad investigadora y de lo que se trata según  parece, es de eficacia asistencial.

En cualquier caso tampoco tiene mucha importancia, no hace falta siguiera soporte tan endeble para reconocer las superioridad de los hospitales de Cataluña sobre los del resto de España . Es una realidad no sé si objetiva, pero sin comprobable y sin duda tiene pocas vueltas.

Sin embargo en estos buenos hospitales no tiene porque hacer una buena medicina y en este caso el ejemplo del monarca es perfecto, con todas las reservas que implica el desconocimiento del caso completo. Lo explica muy bien Julio Bonis en su blog y explicarlo de nuevo seria redundancia, pero el caso de Su Majestad es un paradigma de medicina más que regular. Práctica médica cuya  mala calidad pasa inadvertida y es vendida y percibida como buena y salvadora. Esto es así “de siempre” y la causa es una incapaciadad de razonar en clave numérica y epidemiológica de muchos ciudadanos, incluidos muchos médicos y sobre todo de las clases altas y teóricamente cultas de nuestro país.

Las razones que explican que nuestro soberano acuda a los hospitales catalanes, siempre lo ha hecho, no tiene que ver con la superioridad científica catalana, tiene que ver como apunta Arcadi con los sistemas de gestión privados que predominan en los hospitales catalanes. Y no por que los privados sean mejores per se, sino porque sus usuarios, las clases altas del país sin distinción de ideologías, de que sean reyes o periodistas, desprecian el sistema de sanidad pública, al que solo acuden cuando no queda otro remedio y/o tienen que salir en la tele.

*Bravo R, Ferreiro Aláez L. Factor de impacto y revistas biomédicas españolas. Med Clín (Barc). 1992; 98: 76-77

el impacto del dinero

La supuesta relación entre el factor de impacto entre otras medidas bibliométricas y la calidad metodológica de los artículos publicados en ella, queda en entredicho con esta revisión sistemática sobre los ensayos de la vacunación antigripal , donde se ve claro que no existe relación entre estas variables. Bien es cierto que los autores toman losfi
indicadores bibliométrico como posibles indicadores de difusión no de calidad formal,y que en medicina de familia, de momento ese debate tiene poca intensidad –afortunadamente, aunque todo se andará y más desde la gloriosa entrada en la Universidad  Española–. En cualquier caso lo que les sale, como se ve en la tabla, es muy revelador, entre otras cosa que le impacto esta más relacionado con la financiacion que con la calidad metodologica.

Esta tabla  se encuentra en un nuevo experimento de la revista BMJ, trata de resumir la información de un artículo original (en este caso Relation of study quality, concordance, take home message, funding, and impact in studies of influenza vaccines: systematic review) siguiendo el famoso formato PICO postulado por la MBE en el paso primero de la formulación de preguntas.

Estos u otros resúmenes serán en el futuro el material principal de las revistas medicas (las que subsistan)  impresas. Solo se recurrirá al material original (articulo como lo conocemos ahora más información ampliable hasta cualquier limite)  accediendo a grades repositorios o bases de datos cuando se quiera tener en cuenta una información muy concreta o especifica.

No esta claro si alguna vez hubo 11. 000 vírgenes pero lo que sí lo está, es que pocos son los médicos que  se paran a leer un artículo completo.