Del impacto de la ciencia médica
En estos días se ha publicado la nueva edición anual de los JCR o Journal Citation Reports que para quien no lo sepa, es donde se recopilan los factores de impacto (FI) de las revistas científicas.
Como no podía ser de otra forma, responsables de revistas y autores se mostraban muy excitados con el acontecimiento, al fin y al cabo, es como un examen anual de su trabajo. Un simple cambio en el numerito puede lanzar una revista, o una carrera científica, o hundirla en el fango.
Siempre me ha sorprendido como la ciencia utilizaba para autoevaluarse una cosa tan poca científica como este índice bibliométrico. El FI no se recomienda para evaluar artículos o a autores individuales pero se sigue utilizando, incluso con soporte y apoyo institucional. Esto ha llevado al nacimiento de un nuevo culto: la Impactolatria. En esta nueva secta los discípulos son los científicos que dependen de los presupuestos de universidades y gobiernos, es decir casi todos, los sumos sacerdotes se localizarían en las universidades, ANECA y la FECyT y su biblia sería el JCR de Clarivate Analitycs y la salida de su número anual, que motiva este post.
En los últimos años, el FI se ha sustituido por los famosos cuartiles. Un articulo y/o un autor estaría mas valorado si se publicará en las mejores revistas de su especialidad calificadas por cuartiles, o incluso deciles. Aunque algo más justos es igualmente erróneo por persistir en dar propiedades a los artículos y a sus autores atributos que corresponden, si acaso, a las revistas.
Si dividimos en 4 partes iguales un listado de revistas ordenadas de mayor a menor factor de impacto, cada una de estas partes será un cuartil. Las revistas con el factor de impacto más alto estarán el primer cuartil, los cuartiles medios serán el segundo y el tercero y el cuartil más bajo será el cuarto.
Aparte de su inutilidad para evaluar lo que no miden, también se ha señalado en numerosas ocasiones sus problemas para clasificar las revistas. Una de las ultimas fue un artículo de John Ioannidis, que ya comentamos en este blog, donde se ponía de manifiesto “los trucos” que utilizan los directores de revistas médicas para aumentar el factor de impacto, bordeando en ocasiones los límites éticos de las publicaciones científicas.
En este artículo , se cita como mecanismos de inflaccion artificial del FI: el Impulso de autocitación o el aumento porcentual del FI debido a las autocitaciones, asimetría e inflación no debida a artículos o porcentaje de inflación del FI vs la mediana de citas por articulo y artículos supercitados basados en expertos o la presencia de artículos como guías de práctica clínica elaboradas por expertos y artículos de consenso con definiciones o criterios de enfermedades. Entre los ejemplos que se utilizaban para ejemplificar estas práctica, se incluye la Revista Española de Cardiología que no queda muy bien parada al presentar un alto porcentaje de auto-citas.
Como hace mucho tiempo que no leo a fondo sobre este tema, no voy a hacer comentarios sobre los nuevos JCR, solo comentar dos anécdotas:
La primera tiene que ver con una revista española, en concreto la revista Adicciones que aparece en la lista de revistas canceladas en 2020 por Clarivate, ya que sus métricas muestran patrones de citas anómalos, en concreto un 33% de autocitas, que distorsionan significativamente el FI de la revista y el rango que ostenta la revista entre las de su especialidad. Adicciones está financiada por el (antiguo) Ministerio de sanidad, servicios sociales e igualdad (con la división en tres ministerios no sabemos en cual se habrá quedado) con lo que suponemos que alguien tomara cartas en el asunto.
El otro caso es internacional y se refiere a la revista que tiene el más alto factor de impacto, CA: A Cancer Journal for Clinicians una revista de la American Cancer Society y que según hace costar en su web publica información sobre la prevención, detección temprana y el tratamiento del cáncer, así como sobre nutrición, cuidados paliativos, supervivencia y otros temas de interés relacionados con el cuidado del cáncer. Sorprende que una revista clínica poco conocida, llegue tan alto en el ranking del FI (el mayor FI de todas las revistas del SCI), la sorpresa acaba cuando vemos el listado de artículos destacados entre los que predominan auténticos blockbusters, artículos de estadísticas del cáncer o guías de práctica clínica que atraen una gran cantidad de citas, sin que ese hecho tenga que ver con la (desmesurada) calidad de la revista. si nos atenemos al FI.
Gracias a Isidro Aguillo @isidroaguillo por sus expertos comentarios al borrador de esta entrada.
Primum non nocere 2023 
La estupidez redactada en inglés parece ciencia, pero no cambia nada. CM Cipolla la describía como esa capacidad de, simultáneamente, hacer daño al resto y hacerse a sí mismo. Algo atufa el FI a esa definición. Sin duda el determinar que es válido científica, profesional o socialmente es una empresa compleja donde las haya. Solución que todos agradeceríamos si ello fuera posible, por la inaprensible dificultad de bregar con decenas de miles de artículos y documentos, y por la, siempre subjetiva valoración de confianza en el consejo recibido. Hace unas décadas creíamos que ello bastaba con leer ese reducido número de revistas, por sector de interés, de afamado prestigio, en las que confiabas, por la supuesta solvencia de los redactores y correctores. Pero comenzaron a publicarse diferentes denuncias de la debilidad de la condición humana cuando bienes tangibles ($$$) o intangibles (poder) se mezclaban en esa monacal dedicación de correctores y editores en la selección de artículos a publicar. La ciencia, como nos relata Harari, se convirtió en la nueva religión, atrayendo a las hordas de adoradores huérfanos de fe, que daban por buena toda desviación de la inversión general hacia los nuevos templos del saber. Universidades, grados, masters, licenciaturas, becas, tesis ganaban su prestigio por la ciencia …. ¿Por la ciencia o por los rankings secundarios a los indicadores? Evidente.
Aún no sabemos apreciar los hallazgos del comportamiento y la motivación, que desde hace más de 70 años nos muestran que la curiosidad, la autonomía, el dominio y la Meta-Misión son los verdaderos motores del comportamiento y del conocimiento. Pero, …, pero la mediocridad mueve el mundo y en ella sus sacerdotes, calidólogos, econócratas, infonócratas, y plumillas del infotainment, descubrieron el poder de la reducción de la vida a la simplificación del like-dislike (1/0 de la computación) y a la de sus indicadores restrictivos, como el FI, tan manipulables y, por tanto, tan tóxicos. Tan iguales a nuestros simplistas indicadores de “Cartera de Servicios”, de DPO, de actividad en base a visitas. El drama es que, por su imposible neutralidad e inocuidad, producen daño cerebral permanente, desgraciadamente inapreciable, si el 90% ve verde lo lila.
Es por lo que , en todo ese Entorno-relación, la excelencia permanece invisible, pues no es “codificable” por el simplismo de las FI o de nuestros indicadores de actividad.
La solución del primero es compleja, pues el tinglao montado es insuperable. Pero si algo nos ha enseñado este siglo es que las crisis, y ya van dos, cada vez más graves y más profundas, ya no son por consecuencia directa a nuestros actos (belicismo, hostilidad, armamentismo), sino consecuencia indirecta de nuestros modelos de relación, organización social y comportamiento (Desigualdad atroz, 500.000 muertos, sin una sola bala). ¿Qué nos muestran estas 2 crisis? Primero, que al FI, como a la bolsa en 2007, le llegará, inesperadamente, indirectamente, una crisis no prevista, que mostrará, como con Lehman Brothers, que la mercantilización y financiarización de la ciencia solo era un castillo de arena, derrumbándose, dándonos otra oportunidad, que podremos volverla a perder, para reconsiderar que el valor de la ciencia no puede depender de la bolsa, de la especulación, de la suma de Likes/Dislikes.
La solución de los segundos, es una oportunidad que el Covid19 nos está presentando, que obliga a la adopción de un Nuevo Modelo de Relación, que comienza por dejar de repetir que lo lila es verde, es decir, que la Demanda es intrínseca y no reactiva, como ya hemos comprobado, que la AtPrimaria es cosa de recursos (que bienvenidos sean), sino de cambio de paradigma. El FI de la AtP, es decir, sus indicadores de actividad, nos han producido un daño cerebral del que hay que salir asumiendo que lo tenemos, comenzando por dejar de repetir los tópicos mantras caducos y alcanforados.
ART
Me gustaLe gusta a 1 persona