Desde sus perfiles de Twitter y Linkedin, donde cuenta respectivamente con 11.000 y 2.922 seguidores, ANECA reiteró al mediodía de este martes Día de la Hispanidada, una vez más, que nunca ha anunciado que vaya a excluir ni a vetar a ninguna revista de prestigio de sus evaluaciones de la actividad investigadora.
Según esas precisiones textuales, los principios generales de evaluación de ANECA sí refieren, entre otros, su intención de:
- Incorporar la integridad académica en los procesos de evaluación.
- Complementar el índice de impacto de las revistas como único indicador de calidad con otros indicadores bibliométricos y/o cualitativos.
- Incorporar mecanismos para identificar y potenciar la multidisciplinariedad y la ciencia colaborativa y en red.
- Incorporar elementos de ciencia abierta dentro de la estrategia europea y española.
Estas segundas precisiones desde el pasado jueves (cuando ANECA alteró su evaluación de profesores-investigadores y se retractó del estudio sobre revistas que cobran por publicar) intentan salir al paso de la avalancha de críticas suscitadas por el esa investigación sobre las revistas en cuyos artículos centraba hasta ahora casi exclusivamente sus evaluaciones a profesores e investigadores, entre ellas los de los sindicatos CCOO (mayoritario en las administraciones públicas) y CSIF.
La lista de publicaciones “no estándar” citadas en ese estudio no solo incluye revistas generalistas de reconocido prestigio como Nature, Cell, Science, o PNAS. También otras del ámbito de la economía con Economics Letters, así como otras que a juicio de los expertos bordean el límite de lo predatorio, como el grupo MPDI, que este martes se defendió atacando a ANECA.
Una de las criticas más extendidas estos días es que ANECA es prolífica al introducir cada dos o tres años nuevos tipos de evaluaciones, como las últimas de sexenios de investigación en 2020 o de transferencia en 2019, mientras prepara otras de docencia para 2022, mientras ha introducido igualmente nuevos criterios de acreditación: noviembre 2017 y diciembre 2019.
Ahora lo que ha suscitado las criticas, tanto como dicho estudio, son sus nuevos principios y directrices de evaluación de la investigación, citadas en las criticas de CSIF y de CCOO pero no precisadas, por lo que Ibercampus.es informa que son las que siguen:
Estos son los 9 principios básicos…
Los principios básicos que guían el proceso de actualización de los criterios para la evaluación de la investigación. Los mismos se aplican de forma transversal a los programas de evaluación de personas de ANECA
P1. Promover la calidad en la investigación, antes que la cantidad.
P2. Dotar de estabilidad a los criterios, sin perder la necesaria adaptación a la evolución del contexto científico.
P3. Limitar el perjuicio que los necesarios cambios que habrá que introducir para responder a la evolución del contexto pueden causar en trayectorias académicas largas.
P4. Garantizar la transparencia y facilitar la autoevaluación.
P5. Incorporar la integridad académica en los procesos de evaluación.
P6. Incorporar medidas que ayuden a avanzar en la igualdad efectiva y en la inclusión social.
P7. Complementar el índice de impacto de las revistas como único indicador de calidad con otros indicadores bibliométricos y/o cualitativos.
P8. Incorporar mecanismos para identificar y potenciar la multidisciplinariedad y la ciencia colaborativa y en red.
P9. Incorporar elementos de ciencia abierta dentro de la estrategia
…y estas las 12 directrices de investigación (DI):
Directrices que seguirán los comités y comisiones en las propuestas de actualización de los criterios de evaluación de la investigación, que deberá hacerse a la luz de los principios previamente establecidos. Los criterios concretos que deberán cumplir las contribuciones aportadas para ser aceptadas, estarán calibrados para cada comisión y comité en función del objetivo del programa de evaluación y de la tradición y usos científicos de cada campo.
DI1. Se detallarán suficientemente las condiciones para conseguir los méritos, especialmente aquellos que llevan a lograr mayor valoración por tener más calidad, de manera que sirvan de guía en el diseño de la carrera investigadora.
DI2. Se tendrán en cuenta la regularidad y continuidad en la actividad de investigación o creación aunque, como se recoge en las directrices de equidad de ANECA, se deberán ajustar a las circunstancias personales recogidas en las mismas (bajas, excedencias, etc). Además, se analizarán en detalle las situaciones de producción masiva de publicaciones en momentos muy concentrados y en revistas con comportamientos editoriales no estándares como elevado índice de autocitas, elevado número de artículos anuales u otros que se puedan determinar.
DI3. Las publicaciones deben suponer una contribución real al progreso del conocimiento. No serán valorables aportaciones que resulten reiterativas sin innovaciones relevantes.
DI4. Como norma general no se aceptan como publicaciones las aportaciones a congresos publicadas como proceedings. En los casos en los que algunos congresos sí sean evaluables, se establecerá claramente cuáles son aceptables y las condiciones de las aportaciones.
DI5. En las acreditaciones a Cátedra en las que se valoran trayectorias académicas largas, se eliminará el requisito de aportar méritos en los últimos 10 años. Igualmente, si se presentan aportaciones generadas en las etapas previas a la generalización de la indización, podrán ser consideradas las revistas más consolidadas en el momento de la publicación y/o indizadas con posterioridad.
DI6. Se detallará la consideración de las autorías en cada comisión y comité, indicando claramente cuál es el número máximo aceptado de firmantes y la consideración que tendrá el orden de firma, cuando esto sea relevante, según los usos de campo científico. También se establecerán los casos y condiciones en los que se podría superar el número de autores sin que haya penalización.
DI7. Para potenciar la investigación multidisciplinar no será imprescindible que todas las publicaciones deben estar exclusivamente en el ámbito de la comisión o comité, aunque podrá exigirse una aportación relevante en el ámbito específico de evaluación.
DI8. Los indicadores de calidad que se utilicen serán referidos al año de la publicación (cuando tenga asignado volumen y páginas) o, cuando así se establezca, el mejor valor de una ventana centrada de 5 años (el de publicación, dos anteriores y dos posteriores o los disponibles en el momento de la evaluación). En el caso de publicaciones muy recientes, se utilizarán los últimos indicadores publicados pudiendo usarse la ventana centrada de 5 años en la medida de lo posible.
DI9. Por regla general el nivel adjudicado a un artículo podrá seguir siendo el derivado del factor de impacto de la revista en la que se haya publicado en las bases de datos indexadas aceptadas en cada campo o las medidas como cuartiles o terciles usualmente usados en cada campo. No obstante:
▪ Podrían tener una valoración superior los trabajos publicados que cumplan determinados requisitos de calidad que deberán especificarse por cada comisión o comité.
DI9. Los trabajos publicados en revistas con un comportamiento editorial no estándar que no permitan garantizar a priori la calidad del trabajo publicado (elevado índice de autocitas, elevado número de artículos anuales u otros) serán objeto de especial análisis que podrán llevar a una rebaja de su consideración o la no aceptación de las mismas. Esta consideración especial, que deberá detallar cada comisión o comité, será efectiva para aportaciones realizadas a partir de 2022. No obstante, para solicitudes de acreditación presentadas a partir de 2022 y a partir de la convocatoria de sexenio de investigación de 2022, podrá aplicarse esta especial consideración a aportaciones realizadas antes de 2022 cuando la mitad o más de las aportaciones presentadas se encuentre en este tipo de revistas.
▪ En el caso de SCOPUS se sustituirá el SJR por CiteScore como índice de impacto de referencia. En la convocatoria de sexenios de 2021 y durante los dos primeros años de aplicación de este criterio (solicitudes de acreditación presentadas hasta el 31 de diciembre de 2023) podrán convivir ambos indicadores, aplicándose el más favorable para el investigador. Posteriormente, se usará en exclusiva
▪ En caso de que una publicación esté indexada en más de una categoría, se tomará el cuartil o posición más favorable.
▪ Todas las revistas incluidas en las bases de datos de indexación usadas en cada caso, recibirán un tratamiento similar con independencia del idioma de publicación. Además las comisiones y comités determinarán el tratamiento positivo que proceda para revistas incluidas en estas bases de datos indexadas y publicadas en las lenguas oficiales en España.
DI10. Las comisiones y comités podrán complementar el índice de impacto de las revistas con otras medidas e indicadores de calidad de las mismas:
- El índice de impacto sin autocitas.
- En el caso de WOS se podrá usar el Article Influence.
- Cuando sean relevantes, se podrán usar también o alternativamente indicadores de reputación (p.e. Academic Journal Guide del Chartered Association of Business Schools).
DI11. Las comisiones y comités podrán incorporar indicadores de calidad de los trabajos evaluados. En concreto en el caso de las revistas indexadas en WOS el Category Normalized Citation Impact (CNCI) y en el caso de las revistas indexadas en SCOPUS el Field Weigthed Citation Impact (FWCI).
DI12. Los indicadores de calidad de los libros tomarán como referencia el SPI o los relevantes en cada ámbito tengan respaldo científico, que vengan avaladas por publicaciones científicas reconocidas y por equipos de investigación reconocidos en este ámbito (sic).
Actuaciones de ANECA (ver el inicial cronograma)
- Creación de un equipo de trabajo para evaluación de la investigación (Sexenios, PEP y Academia).
- Desarrollo de sesiones de trabajo con especialistas en Métricas tradicionales, Altmétricas, Ciencia abierta, Equidad e igualdad, etc.
- Sesiones de trabajo con los comités asesores, personas expertas y especialistas que forman parte de los procesos de evaluación de ANECA.
- Participación en la Comisión de Open Science (COS-Gob) y en el grupo de trabajo de Open Science (COS-Tec) coordinados por FECYT-Ministerio Ciencia e Innovación, con objetivos centrados en: Infraestructuras y recursos para la ciencia abierta. Gestión de datos de investigación siguiendo los principios FAIR. Acceso abierto a publicaciones científicas. Incentivos y reconocimientos.
Recomendaciones del equipo de trabajo evaluación de la investigación
- Indicadores de impacto normalizado a nivel de revista.
- Indicadores de impacto normalizado a nivel de trabajo o publicación.
- Se descarta de momento la inclusión de indicadores de impacto Alternativo (Altmetrics).
- Formas de evaluación cualitativa y otras métricas de apoyo.
- Análisis de cobertura y solapamiento entre fuentes.
- Análisis de impacto en igualdad.
- Independencia, integridad y transparencia.
- Benchmarking internacional.
Futuras actuaciones estratégicas de ANECA
1.Incluir como requisito administrativo que los méritos que se
sometan a evaluación curricular estén depositados en repositorios
de acceso abierto. Actualmente está recomendado.
2. Incluir la evaluación de la actividades relacionadas con la ciencia
abierta en el sexenio de investigación, ACADEMIA y PEP. Incluir como
indicio de calidad de evaluación curricular los sets de datos
publicados. Actualmente está recomendado (dependiendo del
campo y de la actividad).
3. Incluir la evaluación de la actividades relacionadas con la ciencia
abierta (i.e. software libre, ciencia ciudadana, etc.) en el sexenio de
transferencia. Muy avanzado.
4. Incluir formación regular sobre ciencia abierta y uso de indicadores
en todas las comisiones y comités de evaluación. En marcha.
5. Explorar nuevas formas de medir el rendimiento científico y la
calidad de los resultados conseguidos a través de indicadores de
impacto social. En marcha.
