Etiquetado: bibliometria

Del impacto de la ciencia médica

En estos días se ha publicado la nueva edición anual de los JCR o Journal Citation Reports que para quien no lo sepa, es donde se recopilan los factores de impacto (FI) de las revistas científicas.

¿qué es el factor de impacto? 

Como no podía ser de otra forma responsables de revistas y autores estaban muy excitados con el acontecimiento, al fin y al cabo, es como un examen anual de su trabajo. Un simple  cambio en el numerito puede lanzar una revista,o una carrera científica, o hundirla en el fango.

Siempre me ha sorprendido como la ciencia utilizaba para autoevaluarse una cosa tan poca científica como este índice bibliométrico. El FI no se recomienda para evaluar artículos y autores individuales pero a pesar de todo se sigue utilizando, incluso con soporte institucional. Esto ha llevado al nacimiento de un nuevo culto: la Impactolatria. En esta nueva secta los discípulos son los científicos que dependen de los presupuestos de universidades y gobiernos, es decir casi todos, los sumos sacerdotes se localizarían en las universidades, ANECA y la FECyT y su biblia es el JCR de Clarivate Analitycs, la salida de su número anual, que motiva este post. En los últimos años, el FI se ha sustituido por los famosos cuartiles. Un articulo y/o un autor estaría mas valorado si se publicará en las mejores revistas de su especialidad calificadas por cuartiles, aunque algo más justo es igualmente erróneo por persistir en dar propiedades a los artículos que corresponden , si acaso, a las revistas.

Si dividimos en 4 partes iguales un listado de revistas ordenadas de mayor a menor factor de impacto, cada una de estas partes será un cuartil. Las revistas con el factor de impacto más alto estarán el primer cuartil, los cuartiles medios serán el segundo y el tercero y el cuartil más bajo será el cuarto.

Aparte de su inutilidad para evaluar lo que no miden, también se ha señalado en numerosas ocasiones sus problemas para clasificar las revistas. Una de las ultimas fue un artículo de John Ioannidis, que ya comentamos en este blog,  donde se ponía de manifiesto “los trucos” que utilizan los directores de revistas médicas para aumentar el factor de impacto, bordeando en ocasiones los límites éticos de las publicaciones científicas.

En este artículo , se cita como mecanismos de inflaccion artificial del FI:  el Impulso de autocitación o el aumento porcentual del FI debido a las autocitaciones, asimetría e inflación no debida a artículos o porcentaje de inflación del FI vs la mediana de citas por articulo y artículos supercitados basados en expertos o la presencia de artículos como guías de práctica clínica elaboradas por expertos y artículos de consenso con definiciones o criterios de enfermedades. Entre los ejemplos que se utilizaban para ejemplificar estas práctica, se incluye la Revista Española de Cardiología que no queda muy bien parada al presentar un alto porcentaje de auto-citas.

Como hace mucho tiempo que no leo a fondo sobre este tema, no voy a hacer comentarios sobre los nuevos JCR, solo comentar dos anécdotas:

La primera tiene que ver con una revista española, en concreto la revista Adicciones que aparece en la lista de revistas canceladas en 2020 por Clarivate, ya que sus métricas muestran patrones de citas anómalos, en concreto un 33% de autocitas, que distorsionan significativamente el FI de la revista y el rango que ostenta la revista entre las de su especialidad. Adicciones está financiada por el (antiguo) Ministerio de sanidad, servicios sociales e igualdad (con la división en tres ministerios no sabemos en cual se habrá quedado) con lo que suponemos que alguien tomara cartas en el asunto.

El otro caso es internacional y se refiere a la revista que tiene el más alto factor de impacto, CA: A Cancer Journal for Clinicians una revista de la American Cancer Society y que según hace costar en su web publica información sobre la prevención, detección temprana y el tratamiento del cáncer, así como sobre nutrición, cuidados paliativos, supervivencia y otros temas de interés relacionados con el cuidado del cáncer. Sorprende que una revista clínica poco conocida, llegue tan alto en el ranking del FI ( el mayor FI de todas las revistas del SCI), la sorpresa acaba cuando vemos el listado de artículos destacados entre los que predominan auténticos blockbusters, tipo artículos de estadísticas del cáncer o guías de práctica clínica que atraen una gran cantidad de citas, sin que ese hecho tenga que ver con la (desmesurada) calidad de la revista. si nos atenemos al FI.

 

Gracias a Isidro Aguillo @isidroaguillo por sus expertos comentarios al borrador de esta entrada.

buenos hospitales, mala medicina

Con la excusa de la intervención quirúrgica de el Rey en el hospital  Clínico de Barcelona, comenta y afirma Arcadi Espada en su columna de El Mundo de ayer 12 de mayo lo buenos que son los hospitales catalanes. Para apoyar su percepción, con la que estoy de acuerdo por otra parte, de la  “superioridad catalana en términos de calidad hospitalaria” se recuesta en lo brazos de la bibliometría y su aplicación a la biomedicina.

A poco que se investigue sobre esta aplicación práctica de las ciencias de la información que se conoce como bibliometría , se reconoce su escasa capacidad de medir la calidad y de lo marrullero y susceptible de manipulación de sus indicadores *. Por mucho que lo digan los expertos a los que se arrima Espada,  ni los “números” son objetivos por si mismos, ni la bibliometría puede categorizar los hospitales en buenos y malos, ítem mas cuando lo que mide es productividad investigadora y de lo que se trata según  parece, es de eficacia asistencial.

En cualquier caso tampoco tiene mucha importancia, no hace falta siguiera soporte tan endeble para reconocer las superioridad de los hospitales de Cataluña sobre los del resto de España . Es una realidad no sé si objetiva, pero sin comprobable y sin duda tiene pocas vueltas.

Sin embargo en estos buenos hospitales no tiene porque hacer una buena medicina y en este caso el ejemplo del monarca es perfecto, con todas las reservas que implica el desconocimiento del caso completo. Lo explica muy bien Julio Bonis en su blog y explicarlo de nuevo seria redundancia, pero el caso de Su Majestad es un paradigma de medicina más que regular. Práctica médica cuya  mala calidad pasa inadvertida y es vendida y percibida como buena y salvadora. Esto es así “de siempre” y la causa es una incapaciadad de razonar en clave numérica y epidemiológica de muchos ciudadanos, incluidos muchos médicos y sobre todo de las clases altas y teóricamente cultas de nuestro país.

Las razones que explican que nuestro soberano acuda a los hospitales catalanes, siempre lo ha hecho, no tiene que ver con la superioridad científica catalana, tiene que ver como apunta Arcadi con los sistemas de gestión privados que predominan en los hospitales catalanes. Y no por que los privados sean mejores per se, sino porque sus usuarios, las clases altas del país sin distinción de ideologías, de que sean reyes o periodistas, desprecian el sistema de sanidad pública, al que solo acuden cuando no queda otro remedio y/o tienen que salir en la tele.

*Bravo R, Ferreiro Aláez L. Factor de impacto y revistas biomédicas españolas. Med Clín (Barc). 1992; 98: 76-77

anotada

La útil aplicación denominada Anne O’Tate, ya comentada en este blog, ha realizado su puesta de largo en la literatura biomedica con la publicación reciente un artículo monográfico en la revista electrónica Journal of Biomedical Discovery and Collaboration (que nombre más estupendo)

Esta aplicación web basada en los datos que ofrece PubMed permite en pocos minutos, y sin esfuerzo averiguar cosas como los autores más productivos en un determinado tema o revista, las revistas que publican más artículos sobre un tema determinado, las palabras claves más frecuentes en los artículos que publica una revista , etc. Destaca la tabla del final del artículo donde se reseñan otras aplicaciones que permiten llevar a cabo procesamientos originales de los datos de PubMed.