La burbuja de publicaciones científicas

Artículo escrito en colaboración con Hernán Astudillo y Anabel Fraga, publicado hace unos meses en The Conversation.


La ciencia académica sufre desde hace unos años una enfermedad que consiste en un enorme aumento del número de publicaciones científicas sin el correspondiente avance del conocimiento. Los hallazgos se cortan en rodajas tan finas como el salami y se envían a diferentes revistas para producir más artículos (The cost of salami slicing, Nature Materials, 2005). Estos logros espurios de la Academia, representados por montañas de publicaciones no apreciadas y no leídas, son sin duda un despilfarro de artículos de solo escritura. Es un proceso de publica-y-perece en el que la mayoría de los trabajos se pierden.

Si consideramos los artículos académicos como una especie de «moneda» científica respaldada por lingotes de oro en el banco central de la ciencia «verdadera», entonces estamos asistiendo a un fenómeno de inflación de artículos, una auténtica «burbuja cienciométrica». La situación fue descrita ya en 1981 en la revista Science (The publishing game: getting more for less), con una crítica a la reducción de la longitud de los artículos y al abuso de las llamadas Unidades Mínimas de Publicación (LPU por sus siglas en inglés); pero las cosas han ido a peor desde entonces.

Por qué son necesarias las publicaciones científicas

No cuestionamos la necesidad de publicar los resultados científicos. La ciencia es un asunto público que debe ser discutido en la plaza pública, es decir, en talleres, conferencias y revistas científicas. Además, hoy en día cualquiera puede publicar cualquier cosa en cualquier rincón de la red global. Por lo tanto, es beneficioso un filtrado previo por parte de un comité de programa o un consejo editorial responsables. Este filtrado añade valor en tanto que el núcleo de la ciencia (el lingote de oro) se hace más accesible… porque se mantiene pequeño. Así pues, cuanto más grande y menos filtrada sea la burbuja, menos accesible será el núcleo.

Las publicaciones científicas deberían ser un remedio para la sobrecarga de información (término popularizado por Alvin Toffler en su libro de 1970 El Shock del Futuro). Por el contrario, la Academia ha creado una necesidad artificial de publicar, no para el avance del conocimiento, sino para el avance de las carreras profesionales. La Academia ha sucumbido a la «infoxicación».


La ciencia también sufre de la sobrecarga de información

Por qué es necesario evaluar la productividad científica

La ciencia es cara. Los gobiernos y los inversores privados esperan, con razón, que pagar los salarios de los científicos sea rentable. Por tanto, es deseable promover a los buenos científicos y centros de investigación, al tiempo que se desalienta a los malos. Ahora bien, en nuestra moderna sociedad industrial pensamos que podemos lograr este objetivo midiendo la productividad. Pero la productividad científica no se parece a la productividad industrial. Las ideas no se pueden medir como los ladrillos.

Por qué las actuales métricas de productividad científica son perniciosas

Las actuales métricas de productividad científica tienen como objetivo evaluar la calidad de las publicaciones y, a través de ellas, la calidad del investigador. La calidad de una publicación se estima con el factor de impacto de la revista donde aparece, que es el número de citas que han recibido otros artículos en la misma revista en los últimos años. Los supuestos implícitos en este procedimiento de medición son:

  • Una publicación es buena si se publica en una buena revista.
  • Una revista es buena si ha merecido suficiente atención de los científicos.

En otras palabras, se supone que existe una correlación positiva entre el factor de impacto y la calidad científica. La idea es interesante, pero tiene muchos efectos secundarios negativos: se favorece la popularidad sobre la calidad, se promueve la ciencia rápida, se provoca el Efecto Mateo, se destruyen los foros locales y regionales, etc.

La raíz del problema

El principal problema que subyace a todo esto es que el factor de impacto es utilizado como indicador de calidad. Los partidarios de la cienciometría argumentarán que, a pesar de todas sus deficiencias, es el mejor sistema que podemos tener, porque se basa en mediciones objetivas. Esto nos recuerda al borracho que buscaba las llaves bajo la farola porque era el único sitio donde había luz, aunque en realidad las había perdido a varios metros de distancia. La cienciometría presenta la inevitable tendencia que tiene todo indicador de rendimiento a medir lo que se puede medir, y dejar de lado lo que no se puede medir, de modo que lo medible adquiere una importancia desmedida.


El borracho buscaba las llaves bajo la farola porque era el único sitio donde había luz

Por qué toda métrica de productividad científica es perniciosa

La cienciometría puede probablemente evitar algunos de sus peores efectos mejorando los sistemas de medición. Pero, al final, el problema en sí es la concepción de la Academia como un sistema retroalimentado. El problema está en empeñarse en medir la productividad científica, y retroalimentar el sistema con esas mediciones. Que es justamente lo que enuncia la Ley de Goodhart: cuando una métrica de evaluación se convierte en objetivo, deja de ser una buena métrica.


Lo medible adquiere una importancia desmedida

Es prácticamente inevitable: los científicos y los espacios de publicación se adaptarán para asegurar su propia supervivencia, desarrollando estrategias como la ciencia salami, las autocitas y las citas de amigos, etc. Todas estas estrategias se combinan para crear una cultura poco ética y anticientífica en la que se premian demasiado las habilidades políticas y demasiado poco los enfoques imaginativos, las ideas heterodoxas, los resultados de alta calidad y los argumentos lógicos. Y todo contribuye a inflar la burbuja cienciométrica y hacer menos accesibles los lingotes de oro de la ciencia más valiosa.

No podemos prescindir del juicio humano

Sólo hay una manera de salir de este círculo vicioso: reconocer que la «calidad» es algo que esencialmente no se puede medir, que está más allá de los números y los algoritmos, que sólo puede ser juzgado por humanos a pesar del carácter falible de su juicio. El postulado de que existe una correlación positiva entre el factor de impacto y la calidad científica está lejos de haberse demostrado (Deep impact: unintended consequences of journal rank, Frontiers in Human Neuroscience, 2013). La creencia de que las estadísticas de citas son intrínsecamente más precisas que el juicio humano y, por tanto, superan la posible subjetividad de la revisión por pares, es infundada: «utilizar sólo el factor de impacto es como utilizar sólo el peso para juzgar la salud de una persona» (Citation Statistics. A Report from the International Mathematical Union, Statistical Science, 2009). Sin duda, las medidas objetivas pueden ayudar al juicio humano. Pero nos engañamos si pensamos que podemos evitar la corrupción y lograr una justicia ciega utilizando fórmulas matemáticas.

No existe una solución algorítmica al problema de la medición de la calidad científica. Por eso la Declaración de San Francisco sobre la Evaluación de la Investigación enfatiza «la necesidad de eliminar el uso de métricas basadas en revistas, tales como el Journal Impact Factor, al decidir sobre financiación, nombramientos y promociones; la necesidad de evaluar la investigación por sus propios méritos y no en base a la revista en la que se publica la investigación».

Es mucho más fácil recopilar algunas cifras que pensar seriamente en lo que ha logrado un investigador. Como dice Lindsay Waters, es más simple basarse en números anónimos para despedir a alguien o descartar un proyecto de investigación, sin tener que explicarle razonadamente un juicio de valor negativo (Enemies of Promise: Publishing, Perishing, and the Eclipse of Scholarship, 2005).

Conclusión

Nuestro principal interés es crear conciencia sobre el problema. Miles de científicos han firmado la Declaración de San Francisco, pero creemos que el mensaje merece ser difundido aún más ampliamente: la burbuja cienciométrica es poco ética y es perjudicial para la ciencia. Es perjudicial el valor abrumador que están adquiriendo los números y las fórmulas en el mundo académico, en detrimento de la verdadera evaluación de la calidad de los trabajos individuales. Necesitamos una alternativa a la cultura del “publicar o perecer”.

Pero claro, evaluar a través de los factores de impacto y el ranking de revistas es tan barato… De hecho, los verdaderos beneficiarios de la evaluación numérica no son ni los investigadores ni la propia ciencia, sino las agencias de evaluación, que pueden sustituir a los científicos (capaces de revisar a sus pares) por meros burócratas (capaces de contar citas).

También hay una amenaza para los valores éticos que afectan a la forma en que un investigador aborda su actividad científica. La perversión en la forma de evaluar la productividad científica estimula al científico a preocuparse por publicar-para-no-perecer, en lugar de obtener un conocimiento más verdadero y fiable. El investigador, urgido por sobrevivir dentro de este sistema, preferirá la popularidad al valor intrínseco, considerará mejor «dónde» publicar y no «qué» publicar.

La obsesión por encontrar métodos cuantitativos y algorítmicos para evaluar la productividad científica esconde una cobardía intelectual: la abdicación del evaluador de su responsabilidad de emitir un juicio personal sobre la calidad científica del trabajo evaluado. El evaluador termina así por convertirse en un obediente pero absurdo burócrata que se limita a aplicar fórmulas matemáticas. Sustituir el factor humano por una métrica «objetiva» en la evaluación de la ciencia no evitará la corrupción.

Los juicios humanos son falibles, pero al menos no promueven esta burbuja cienciométrica que amenaza con paralizar el avance del conocimiento ocultando los lingotes de oro de la «verdadera» ciencia bajo una enorme sobrecarga de publicaciones.

Créditos de las imágenes

https://pixabay.com/es/photos/biblioteca-libros-conocer-3926899/
https://pixabay.com/es/photos/estacionamiento-snow-farola-luz-2625670/
https://pixabay.com/es/photos/medida-criterio-cinta-regla-1509707/

Referencias

Este artículo es una versión traducida y abreviada de: The scientometric bubble considered harmful, Science and Engineering Ethics 22(1):227-235, February 2016. Aunque tiene ya unos años, nos ha parecido oportuno publicar ahora esta versión más divulgativa, donde hemos omitido por brevedad la mayor parte de las referencias. El lector interesado puede acudir al artículo original para consultarlas (y también al manuscrito en español).

Anuncio publicitario

14 comentarios en “La burbuja de publicaciones científicas

  1. Muy interesante. Sería necesario tener en cuenta el volumen de alumnos y egresados que hay hoy en día, motor de las universidades y al menos en mi campo (la Psicología) de publicaciones de calidad. Eso sí que es una burbuja grande! Saludos

    Me gusta

    • Gracias, Mario. Más que la burbuja de alumnos, personalmente me preocupa la burbuja de Grados excesivamente especializados. Los Grados deberían ser generalistas, y las especializaciones dejarlas a los Másteres.

      Me gusta

  2. Muchas gracias por el artículo Gonzalo.
    En mi opinión este tema de la burbuja de publicaciones es una manifestación más de un problema mucho más genérico: el culto a la cantidad, presente en casi todas facetas de nuestro modo de vida actual, desde la economía hasta el ocio, y que algunos se atreven incluso a vincular con el mismísimo concepto de calidad. ¿Es mejor una serie porque tenga 2000 episodios o millones de seguidores? ¿Es más interesante alguien o algo porque tenga muchos likes?
    Estoy totalmente de acuerdo con que es necesario el aporte humano para medir la calidad de la información contenida en los artículos científicos usando una forma más completa (y compleja) que el mero recuento de referencias, pero también hay que tener cuidado con la idea de la revisión por pares. La ciencia es una actividad humana más y como tal, está sujeta acomplejas relaciones personales e intereses que la pueden alejar de la necesaria objetividad. La historia está llena de artículos que ha sido rechazados por las grandes revistas científicas y que con el tiempo han terminado incluso en premios Nobel ( https://web.northeastern.edu/slavovlab/blog/2014/08/15/papers-that-triumphed-over-their-rejections/ o tamnbién https://nintil.com/discoveries-ignored), y no solo debido a una posible predisposición personal negativa del revisor hacia el autor, sino también a la incapacidad de los propios revisores para realizar la evaluación de forma sólida. Cuando una pieza científica está en la frontera, o incluso más allá, de los paradigmas establecidos ¿puede alguien revisarla fácilmente y con objetividad? El artículo de Turing sobre los números computables tardó varios meses en publicarse en los Proceedings of the London Mathematical Society debido a la falta de revisores que se atrevieran con su contenido y algo similar pasó con Pauling y su teoría sobre en enlace químico.
    No me parece nada fácil abordar este problema, y no solo por su carácter multidimensional, sino sobre todo porque en el fondo se está intentando la mayoría de las veces medir la calidad o el impacto de una idea y eso no es fácil.
    Saludos

    Me gusta

    • Gracias, Antonio. Completamente de acuerdo con todo lo que dices, en especial tu conclusión de que es un tema nada fácil de abordar. Es más fácil señalar las limitaciones o vicios de un método que dar con el método perfecto. Pero eso no quita que sea importante denunciar el culto a la cantidad.

      Tengo previsto escribir algún día un artículo en este blog sobre «la paradoja de la calidad»: lo que «medir» revela acerca de lo no medible en la calidad.

      Me gusta

  3. Publicar en revistas que no estan en los índices JCR o Scopus

    El Supremo carga contra el sistema español de evaluación científica por ignorar el contenido de los artículos.
    – Una sentencia establece que la valoración debe considerar la calidad del texto y no sólo en qué medio se publica.
    – A una investigadora de la Universidad de Extremadura se le denegó un sexenio por publicar en revistas que no estaban en los índices JCR o Scopus.
    – La agencia evaluadora Aneca no aclara si el fallo obliga a cambiar todo el modelo

    El Tribunal Supremo ha asestado un golpe a todo el sistema de evaluación de la investigación científica en la universidad española, basado en incentivar la publicación de artículos en revistas incluidas en índices de referencia como el Journal Citation Reports (JCR). Una sentencia firme establece que la producción científica de los investigadores no puede ser evaluada ignorando su contenido y teniendo únicamente en cuenta las revistas en que se publica.

    Noticia completa: https://ccoo.upv.es/negociacions-i-acords/negociacions-pdi/condicions-laborals/1691-publicar-en-revistas-que-no-estan-en-los-indices-jcr-o-scopus

    (Comentario ya publicado en TheConversation.)

    Me gusta

  4. De un fantástico y demoledor artículo en inglés:

    Science worships peer review, but it doesn’t know why. (…) In the short span of time since the 1970s, peer review has now grown from an occasional things into a beast that is devouring the time and energy and careers of scientists.

    https://elemental.medium.com/the-absurdity-of-peer-review-1d58e5d9e661

    Mark Humphries. The Absurdity of Peer Review. What the pandemic revealed about scientific publishing

    (Comentario ya publicado en TheConversation.)

    Me gusta

  5. Noticia relacionada: la Universidad de Utretch deja de emplear el factor de impacto en las evaluaciones para contrataciones y promociones. Se valorará el compromiso con la ciencia abierta.

    https://nature.com/articles/d41586-021-01759-5

    Impact factor abandoned by Dutch university in hiring and promotion decisions
    Faculty and staff members at Utrecht University will be evaluated by their commitment to open science.

    A Dutch university says it is formally abandoning the impact factor — a standard measure of scientific success — in all hiring and promotion decisions. By early 2022, every department at Utrecht University in the Netherlands will judge its scholars by other standards, including their commitment to teamwork and their efforts to promote open science, says Paul Boselie, a governance researcher and the project leader for the university’s new Recognition and Rewards scheme. “Impact factors don’t really reflect the quality of an individual researcher or academic,” he says. “We have a strong belief that something has to change, and abandoning the impact factor is one of those changes.”

    (Comentario ya publicado en TheConversation.)

    Me gusta

  6. Buenas

    Leo con sorpresa que la Academia ha creado una necesidad artificial de publicar, no para el avance del conocimiento, sino para el avance de las carreras profesionales, resultando de todo ello que la Academia ha sucumbido a la “infoxicación”. El hecho de que la ciencia sufra de exceso de información y caiga en el culto a la cantidad aconseja volver a la dialéctica de Aristóteles para entender mejor este galimatías. Antes de referirme con brevedad a la dialéctica aristotélica atestiguo que la blogosfera científica exhibe una posición ambivalente respecto del dilema cantidad/calidad. Algunos blogueros actúan de simples correas de transmisión del discurso académico, carecen de perspectiva crítica y reaccionan por instinto en contra de cualquier propuesta heterodoxa. Otros divulgadores se muestran más flexibles con los planteamientos novedosos, estos últimos pueden hacer de bisagra para que la creatividad y la calidad equilibren el culto a la cantidad.

    Aristóteles estudió con atención las propiedades de la predicación, que todo aquello que se dice de un predicado se dice también del sujeto. El núcleo de la dialéctica aristotélica es la transitividad. Ahora bien, esta cuestión es más compleja de lo que parece ya que hay diversos grados de predicación o de transitividad entre el sujeto y el objeto, de modo que la inclusión del sujeto en el predicado puede ser total, parcial, ambivalente y nula. Si la pulsión a publicar se justifica en el amiguismo y en la adquisición de estatus profesional y salarial en detrimento de la verdad científica, entonces el nexo transitivo que une al sujeto con lo que predica se difumina. Aquí nos encontramos con un efecto dialéctico fantasmal sustentado en la exposición de cosas que no se dicen de nada ni están en nada. Según Aristóteles, la cantidad y la cualidad son categorías o predicamentos. La calidad de un trabajo científico se explica mejor con la cualidad que con la cantidad. El problema se presenta con el sesgo subjetivo de los pares que revisan y juzgan la brillantez y originalidad de una investigación. Unos se ofenderán por lo que consideran extravagancia y otros resaltarán la calidad de la misma. A día de hoy parece una cuestión regida por la incertidumbre.

    Me gusta

    • En mi opinión lo que es verdaderamente perjudicial no es la revisión por pares, sino la necesidad de publicar para progresar en la carrera académica.

      La revisión por pares, sin llegar a decir que es una lotería, es una forma muy limitada de dar vía libre a la publicación de un artículo académico. Pero a su favor puede decirse que es un obstáculo tan difícil de sortear que los autores harán el esfuerzo de escribir el mejor trabajo que puedan, aunque eso no les garantice el éxito.

      Me gusta

  7. Aunque fuera de tema le remito mi respuesta a su comentario del artículo «Azar y certeza» del blog «Divulciencia» que su gestor ha censurado y no publicado, debe ser por su «peligroso contenido»; este es:

    »
    El ejemplo de la lotería está absolutamente fuera de lugar, ya que no es ese el resultado solicitado (que es trampa al constituir el universo muestral total) sino un resultado especifico, p. e. el número 35.171 de 60.000 posibles, probabilidad evidentemente muy pequeña, no “la certeza absoluta”.
    Las variables o mutaciones viables de prácticamente cualquier cosa son no funcionales e incluso deletéreas, comparadas con las funcionales y “progresivas” existentes, como se sabe por simple biología y por situar un caso concreto, por el código genético; por tanto los resultados “viables” de cualquier situación azarosa son siempre minúsculos comparados con los no funcionales y deletéreos y por tanto su probabilidad prácticamente igual de minúscula que con la consideración de uno solo, por lo que no afecta a los cálculos. En su ejemplo de la lotería es como si además del número afortunado hubiese otro, el 15.674, la probabilidad de celebrar el premio para nosotros sería prácticamente la misma, vamos, que no nos iba a tocar.
    Y claro, no estamos hablando de cantidades tan nimias sino de unas que superan con mucho a las astronómicas, además de tener tiempo y eventos muy reducidos para llegar a los resultados esperados.
    Contra las creencias profundas de cada uno, muchas veces religiosas o sentimentales, es imposible convencer y realmente ni siquiera razonar, por tanto, que cada uno tenga las suyas y tan contentos.
    Saludos
    JL
    «

    Me gusta

  8. Rescato de este artículo de Jordi Paniagua (Una cobra de acceso abierto en la ANECA) estas palabras, que me parecen muy certeras:

    La ANECA se muestra exquisitamente prolífica al introducir cada dos o tres años nuevos tipos de sexenios (…) y nuevos criterios de acreditación (…). Utilizando su mismo léxico es oportuno preguntarse qué explica el comportamiento no estándar de la ANECA en relación a otros organismos similares. (…) Una explicación plausible es el efecto cobra: medidas que en su momento parecieron sensatas (criterios transparentes y cuantitativos) y bienintencionadas (aumentar la calidad de la investigación), pero que han acabado teniendo el efecto contrario al deseado. El ejemplo de manual es el de la India cuando los oficiales británicos ofrecieron una rupia por cada cobra cazada para frenar una plaga. El resultado fue el contrario: aumentó el número de cobras se las criaba para cobrar una rupia.

    (Comentario también publicado en TheConversation.)

    Me gusta

  9. Artículo de Randy Schekman en 2013, Premio Nobel de Medicina ese mismo año, que denuncia este mismo fenómeno. Ojalá lo hubiera conocido antes de escribir el mío. Así comienza:

    Soy científico. El mío es un mundo profesional en el que se logran grandes cosas para la humanidad. Pero está desfigurado por unos incentivos inadecuados. Los sistemas imperantes de la reputación personal y el ascenso profesional significan que las mayores recompensas a menudo son para los trabajos más llamativos, no para los mejores. Aquellos de nosotros que respondemos a estos incentivos estamos actuando de un modo perfectamente lógico —yo mismo he actuado movido por ellos—, pero no siempre poniendo los intereses de nuestra profesión por encima de todo, por no hablar de los de la humanidad y la sociedad.

    https://elpais.com/sociedad/2013/12/11/actualidad/1386798478_265291.html

    (Comentario también publicado en TheConversation.)

    Me gusta

Deja una respuesta

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Salir /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Salir /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Salir /  Cambiar )

Conectando a %s