¿Cómo debe evaluarse la investigación?

La revolución digital se deja sentir en todos los ámbitos sociales, económicos, políticos y, cómo no, científicos. El sector de la investigación se halla ahora ante un cambio de paradigma donde se pasa de la consigna ‘publica o perece’ a un escenario protagonizado por la ‘Open Science’ donde los datos, repositorios, revistas y herramientas en abierto, junto con las redes sociales, facilitan la difusión de los estudios e investigaciones entre un mayor número de personas.

“Se trata de abrir y promocionar la investigación, no solo los resultados, sino también todo el proceso previo, para lograr un modelo más rico, variado y exigente”. Así lo defendió Isidro Aguillo, responsable del Laboratorio de Cibermetría (Grupo Scimago) del Instituto de Bienes y Políticas Públicas (IPP – CSIC), durante su intervención en las ‘Jornadas sobre evaluación de la investigación del profesorado universitario español: métricas y productos’, que organizó UNIR.

Pero esa perspectiva choca de frente con el sistema actual de métricas que evalúan la investigación, y donde el factor de impacto desempeña un papel clave. “En él solo se usan los trabajos de dos años y las citas de último año, ¿por qué? Desde hace muchos años se usan las métricas de revistas para evaluar individualmente, cuando lo que se debería hacer es evaluar artículos. El factor de impacto promueve la mediocridad y no la excelencia”, recalcó Aguillo.

Citas incorrectas

El licenciado en Biología, editor también de la revista Cybermetrics y de los rankings Webometrics, remarcó además que dicho factor de impacto cuenta con diversas limitaciones. “Se trata de citas ‘esperadas’, no reales ni actuales y donde en torno al 5-10% son incorrectas; no se pueden comparar disciplinas, que tienen distribuciones diferentes según el tamaño; la ventana de citación de un año resulta corta e inadecuada para muchas disciplinas, la comparación interanual es imposible, la precisión con tres decimales es falsa y las bases de datos son incompletas, cuando hay una producción ‘invisible’ muy relevante en ciertas materias”, enumeró. Y añadió que puede darse el caso de trabajos que “tardan en acumular citas o lo hacen explosivamente en el futuro”.

Por ello, y ante esta tesitura, Aguillo es partidario de que las evaluaciones las hagan los expertos para “abandonar la bibliometría fácil”, recurrir a más fuentes que a las del duopolio WoS-Scopus e impulsar el acceso abierto a los perfiles personales e institucionales. “Hay que hacer más y mejor ciencia, pero ciencia abierta y dar más valor a la wikipedia, porque es un error de las instituciones que no dedican suficiente gente a algo tan importante como la comunicación de resultados o a contar con más comités de ética”, incidió, antes de destacar también la importancia de “fijarse en el número de lectores potenciales que pueden tener las revistas”.

Revistas Predator

En líneas similares se manifestó Rafael Repiso, docente e investigador de UNIR, al señalar que las revistas científicas de calidad “tienen tasas de aceptación bajas” e hizo referencia a la base de datos Scopus, “plagada de revistas Predator que publican 400 artículos al año, se usa dinero público para pagar artículos en ellos y se blanquean resultados de investigación”. “Usamos bases de datos de revistas como productos de evaluación que son coladeros de investigación de malos trabajos, no se diferencian de los buenos”, añadió.

Para saber distinguir las revistas Predator, Repiso proporcionó unos sencillos consejos: “Que aparezcan en inglés con un título tipo ‘International Journal’ con una cobertura absolutamente general, porque las nuevas marcas están especializadas, que no aparezca una dirección de contacto claramente diferenciada o, si recibís un correo donde se os invita a ser editores de un número, no os lo creáis”.

Por el contrario, las características de un producto de evaluación científica para ser un referente serían las de “poseer datos propios y criterios de indexación lógicos y transparentes, identificar el fraude, visualizarlo y actuar en consecuencia, y capacidad de hacer métricas a nivel de artículo”.

El problema, el sistema evaluatorio actual

Emilio Delgado López-Cózar, investigador de la Universidad de Granada, llamó la atención sobre lo que denominó el ‘monocultivo’ de la publicación. “El científico percibe que el único propósito es ese y eso amenaza a otras actividades intelectuales como puede ser enseñar; publicar se ha convertido en una obsesión”, denunció. Por ello, y tras coincidir con Aguillo en que el factor de impacto “falla en el concepto porque mide el medio (la revista) y no el documento (el artículo), crea incentivos perversos”, realizó un claro llamamiento a los investigadores para “realizar buenos trabajos, ideas y preguntas, usar metodologías sofisticadas y luego ya vendrá la publicación; no al revés”.

Su intervención dio paso a la de Andoni Calderón-Rehecho, de la Universidad Complutense de Madrid, quien explicó las métricas de Dialnet, y a Rubén González, vicerrector de Ordenación Académica y Profesorado de UNIR, que desgranó el recorrido de IJIMAI, la revista que dirige y que recientemente ha sido admitida en el índice JCR. Y si bien esto último ha sido motivo de gran alegría, González no ocultó su sentir al asegurar que tanto “una revista Q1 como una predadora, ninguna tiene una ética pura”.

Para él, el problema de base reside en los “méritos obligatorios y específicos” dentro del sistema educativo español a la hora de evaluar a titulares, catedráticos y sexenios. “Fomentamos la publicación de artículos JCR por encima de todo, pero las acciones de transferencia y gestión académica están denostadas y no permiten al profesorado tener un recorrido completo”. En ese sentido, reconoció que mientras no se modifiquen dichos criterios de evaluación el profesorado “hará lo que deba para cambiar su trayectoria académica, porque ahí van sus emolumentos, horas de trabajo…”, zanjó.