La burbuja de publicaciones científicas

Artículo escrito en colaboración con Hernán Astudillo y Anabel Fraga, publicado hace unos meses en The Conversation.

---

La ciencia académica sufre desde hace unos años una enfermedad que consiste en un enorme aumento del número de publicaciones científicas sin el correspondiente avance del conocimiento. Los hallazgos se cortan en rodajas tan finas como el salami y se envían a diferentes revistas para producir más artículos (The cost of salami slicing, Nature Materials, 2005). Estos logros espurios de la Academia, representados por montañas de publicaciones no apreciadas y no leídas, son sin duda un despilfarro de artículos de solo escritura. Es un proceso de publica-y-perece en el que la mayoría de los trabajos se pierden.

Si consideramos los artículos académicos como una especie de «moneda» científica respaldada por lingotes de oro en el banco central de la ciencia «verdadera», entonces estamos asistiendo a un fenómeno de inflación de artículos, una auténtica «burbuja cienciométrica». La situación fue descrita ya en 1981 en la revista Science (The publishing game: getting more for less), con una crítica a la reducción de la longitud de los artículos y al abuso de las llamadas Unidades Mínimas de Publicación (LPU por sus siglas en inglés); pero las cosas han ido a peor desde entonces.

Por qué son necesarias las publicaciones científicas

No cuestionamos la necesidad de publicar los resultados científicos. La ciencia es un asunto público que debe ser discutido en la plaza pública, es decir, en talleres, conferencias y revistas científicas. Además, hoy en día cualquiera puede publicar cualquier cosa en cualquier rincón de la red global. Por lo tanto, es beneficioso un filtrado previo por parte de un comité de programa o un consejo editorial responsables. Este filtrado añade valor en tanto que el núcleo de la ciencia (el lingote de oro) se hace más accesible… porque se mantiene pequeño. Así pues, cuanto más grande y menos filtrada sea la burbuja, menos accesible será el núcleo.

Las publicaciones científicas deberían ser un remedio para la sobrecarga de información (término popularizado por Alvin Toffler en su libro de 1970 El Shock del Futuro). Por el contrario, la Academia ha creado una necesidad artificial de publicar, no para el avance del conocimiento, sino para el avance de las carreras profesionales. La Academia ha sucumbido a la «infoxicación».

La ciencia también sufre de la sobrecarga de información

Por qué es necesario evaluar la productividad científica

La ciencia es cara. Los gobiernos y los inversores privados esperan, con razón, que pagar los salarios de los científicos sea rentable. Por tanto, es deseable promover a los buenos científicos y centros de investigación, al tiempo que se desalienta a los malos. Ahora bien, en nuestra moderna sociedad industrial pensamos que podemos lograr este objetivo midiendo la productividad. Pero la productividad científica no se parece a la productividad industrial. Las ideas no se pueden medir como los ladrillos.

Por qué las actuales métricas de productividad científica son perniciosas

Las actuales métricas de productividad científica tienen como objetivo evaluar la calidad de las publicaciones y, a través de ellas, la calidad del investigador. La calidad de una publicación se estima con el factor de impacto de la revista donde aparece, que es el número de citas que han recibido otros artículos en la misma revista en los últimos años. Los supuestos implícitos en este procedimiento de medición son:

• Una publicación es buena si se publica en una buena revista.
• Una revista es buena si ha merecido suficiente atención de los científicos.

En otras palabras, se supone que existe una correlación positiva entre el factor de impacto y la calidad científica. La idea es interesante, pero tiene muchos efectos secundarios negativos: se favorece la popularidad sobre la calidad, se promueve la ciencia rápida, se provoca el Efecto Mateo, se destruyen los foros locales y regionales, etc.

La raíz del problema

El principal problema que subyace a todo esto es que el factor de impacto es utilizado como indicador de calidad. Los partidarios de la cienciometría argumentarán que, a pesar de todas sus deficiencias, es el mejor sistema que podemos tener, porque se basa en mediciones objetivas. Esto nos recuerda al borracho que buscaba las llaves bajo la farola porque era el único sitio donde había luz, aunque en realidad las había perdido a varios metros de distancia. La cienciometría presenta la inevitable tendencia que tiene todo indicador de rendimiento a medir lo que se puede medir, y dejar de lado lo que no se puede medir, de modo que lo medible adquiere una importancia desmedida.

El borracho buscaba las llaves bajo la farola porque era el único sitio donde había luz

Por qué toda métrica de productividad científica es perniciosa

La cienciometría puede probablemente evitar algunos de sus peores efectos mejorando los sistemas de medición. Pero, al final, el problema en sí es la concepción de la Academia como un sistema retroalimentado. El problema está en empeñarse en medir la productividad científica, y retroalimentar el sistema con esas mediciones. Que es justamente lo que enuncia la Ley de Goodhart: cuando una métrica de evaluación se convierte en objetivo, deja de ser una buena métrica.

Lo medible adquiere una importancia desmedida

Es prácticamente inevitable: los científicos y los espacios de publicación se adaptarán para asegurar su propia supervivencia, desarrollando estrategias como la ciencia salami, las autocitas y las citas de amigos, etc. Todas estas estrategias se combinan para crear una cultura poco ética y anticientífica en la que se premian demasiado las habilidades políticas y demasiado poco los enfoques imaginativos, las ideas heterodoxas, los resultados de alta calidad y los argumentos lógicos. Y todo contribuye a inflar la burbuja cienciométrica y hacer menos accesibles los lingotes de oro de la ciencia más valiosa.

No podemos prescindir del juicio humano

Sólo hay una manera de salir de este círculo vicioso: reconocer que la «calidad» es algo que esencialmente no se puede medir, que está más allá de los números y los algoritmos, que sólo puede ser juzgado por humanos a pesar del carácter falible de su juicio. El postulado de que existe una correlación positiva entre el factor de impacto y la calidad científica está lejos de haberse demostrado (Deep impact: unintended consequences of journal rank, Frontiers in Human Neuroscience, 2013). La creencia de que las estadísticas de citas son intrínsecamente más precisas que el juicio humano y, por tanto, superan la posible subjetividad de la revisión por pares, es infundada: «utilizar sólo el factor de impacto es como utilizar sólo el peso para juzgar la salud de una persona» (Citation Statistics. A Report from the International Mathematical Union, Statistical Science, 2009). Sin duda, las medidas objetivas pueden ayudar al juicio humano. Pero nos engañamos si pensamos que podemos evitar la corrupción y lograr una justicia ciega utilizando fórmulas matemáticas.

No existe una solución algorítmica al problema de la medición de la calidad científica. Por eso la Declaración de San Francisco sobre la Evaluación de la Investigación enfatiza «la necesidad de eliminar el uso de métricas basadas en revistas, tales como el Journal Impact Factor, al decidir sobre financiación, nombramientos y promociones; la necesidad de evaluar la investigación por sus propios méritos y no en base a la revista en la que se publica la investigación».

Es mucho más fácil recopilar algunas cifras que pensar seriamente en lo que ha logrado un investigador. Como dice Lindsay Waters, es más simple basarse en números anónimos para despedir a alguien o descartar un proyecto de investigación, sin tener que explicarle razonadamente un juicio de valor negativo (Enemies of Promise: Publishing, Perishing, and the Eclipse of Scholarship, 2005).

Conclusión

Nuestro principal interés es crear conciencia sobre el problema. Miles de científicos han firmado la Declaración de San Francisco, pero creemos que el mensaje merece ser difundido aún más ampliamente: la burbuja cienciométrica es poco ética y es perjudicial para la ciencia. Es perjudicial el valor abrumador que están adquiriendo los números y las fórmulas en el mundo académico, en detrimento de la verdadera evaluación de la calidad de los trabajos individuales. Necesitamos una alternativa a la cultura del “publicar o perecer”.

Pero claro, evaluar a través de los factores de impacto y el ranking de revistas es tan barato… De hecho, los verdaderos beneficiarios de la evaluación numérica no son ni los investigadores ni la propia ciencia, sino las agencias de evaluación, que pueden sustituir a los científicos (capaces de revisar a sus pares) por meros burócratas (capaces de contar citas).

También hay una amenaza para los valores éticos que afectan a la forma en que un investigador aborda su actividad científica. La perversión en la forma de evaluar la productividad científica estimula al científico a preocuparse por publicar-para-no-perecer, en lugar de obtener un conocimiento más verdadero y fiable. El investigador, urgido por sobrevivir dentro de este sistema, preferirá la popularidad al valor intrínseco, considerará mejor «dónde» publicar y no «qué» publicar.

La obsesión por encontrar métodos cuantitativos y algorítmicos para evaluar la productividad científica esconde una cobardía intelectual: la abdicación del evaluador de su responsabilidad de emitir un juicio personal sobre la calidad científica del trabajo evaluado. El evaluador termina así por convertirse en un obediente pero absurdo burócrata que se limita a aplicar fórmulas matemáticas. Sustituir el factor humano por una métrica «objetiva» en la evaluación de la ciencia no evitará la corrupción.

Los juicios humanos son falibles, pero al menos no promueven esta burbuja cienciométrica que amenaza con paralizar el avance del conocimiento ocultando los lingotes de oro de la «verdadera» ciencia bajo una enorme sobrecarga de publicaciones.

Créditos de las imágenes

https://pixabay.com/es/photos/biblioteca-libros-conocer-3926899/
https://pixabay.com/es/photos/estacionamiento-snow-farola-luz-2625670/
https://pixabay.com/es/photos/medida-criterio-cinta-regla-1509707/

Referencias

Este artículo es una versión traducida y abreviada de: The scientometric bubble considered harmful, Science and Engineering Ethics 22(1):227-235, February 2016. Aunque tiene ya unos años, nos ha parecido oportuno publicar ahora esta versión más divulgativa, donde hemos omitido por brevedad la mayor parte de las referencias. El lector interesado puede acudir al artículo original para consultarlas (y también al manuscrito en español).