domingo,24 octubre 2021
Espacio euroiberoamericano de diálogo sobre la innovación social, profesional y académica
InicioInnovación y AcademiaEstos son los 9 nuevos principios y 12 directrices para las evaluaciones...
Calidad sobre cantidad aún sin ;almetrics;, innovación, multidisciplinariedad, aportación de datos y ciencia abierta...

Estos son los 9 nuevos principios y 12 directrices para las evaluaciones de ANECA

Ante las reiteradas noticias que hablan de que la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) no evaluará artículos de publicaciones internacionales de referencia como Sciencie o Nature, esta intentó por segunda desde el pasado jueves (ahora en festivo) aplacar las críticas y preocupación de profesores e investigadores con nuevas precisiones. Pero al margen de la polémica 9 son los nuevos principios y 12 las directrices para las evaluaciones de ANECA a partir de finales del presente año. Calidad sobre cantidad sin incorporar de momento medidas de difusión en redes sociales (;almetrics;), innovación, multidisciplinariedad, aportación de datos y ciencia abierta... forman parte destacada de esos principios y directrices.

Desde sus perfiles de Twitter y Linkedin, donde cuenta respectivamente con 11.000 y 2.922 seguidores, ANECA reiteró al mediodía de este martes Día de la Hispanidada, una vez más, que nunca ha anunciado que vaya a excluir ni a vetar a ninguna revista de prestigio de sus evaluaciones de la actividad investigadora.

Según esas precisiones textuales, los principios generales de evaluación de ANECA sí refieren, entre otros, su intención de:

  • Incorporar la integridad académica en los procesos de evaluación.
  • Complementar el índice de impacto de las revistas como único indicador de calidad con otros indicadores bibliométricos y/o cualitativos.
  • Incorporar mecanismos para identificar y potenciar la multidisciplinariedad y la ciencia colaborativa y en red.
  • Incorporar elementos de ciencia abierta dentro de la estrategia europea y española.

Estas segundas precisiones desde el pasado jueves (cuando ANECA alteró su evaluación de profesores-investigadores y se retractó del estudio sobre revistas que cobran por publicar)  intentan salir al paso de la avalancha de críticas suscitadas por el esa investigación sobre las revistas en cuyos artículos centraba hasta ahora casi exclusivamente sus evaluaciones a profesores e investigadores, entre ellas los de los sindicatos CCOO (mayoritario en las administraciones públicas) y CSIF. 

La lista de publicaciones “no estándar” citadas en ese estudio no solo incluye revistas generalistas de reconocido prestigio como Nature, Cell, Science, o PNAS. También otras del ámbito de la economía con Economics Letters, así como otras que a juicio de los expertos bordean el límite de lo predatorio, como el grupo MPDI, que este martes se defendió atacando a ANECA.

Una de las criticas más extendidas estos días es que ANECA es prolífica al introducir cada dos o tres años nuevos tipos de evaluaciones, como las últimas de sexenios de investigación en 2020 o de transferencia en 2019, mientras prepara otras de docencia para 2022, mientras ha introducido igualmente nuevos criterios de acreditación: noviembre 2017 y diciembre 2019.

Ahora lo que ha suscitado las criticas, tanto como dicho estudio, son sus nuevos principios y directrices de evaluación de la investigación, citadas en las criticas de CSIF y de CCOO pero no precisadas, por lo que Ibercampus.es informa que son las que siguen: 

Estos son los 9 principios  básicos… 

Los principios básicos que guían el proceso de actualización de los criterios para la evaluación de la investigación. Los mismos se aplican de forma transversal a los programas de evaluación de personas de ANECA

P1. Promover la calidad en la investigación, antes que la cantidad

P2. Dotar de estabilidad a los criterios, sin perder la necesaria adaptación a la evolución del contexto científico. 

P3. Limitar el perjuicio que los necesarios cambios que habrá que introducir para responder a la evolución del contexto  pueden causar en trayectorias académicas largas. 

P4. Garantizar la transparencia y facilitar la autoevaluación. 

P5. Incorporar la integridad académica en los procesos de  evaluación. 

P6. Incorporar medidas que ayuden a avanzar en la igualdad  efectiva y en la inclusión social. 

P7. Complementar el índice de impacto de las revistas como único indicador de calidad con otros indicadores bibliométricos  y/o cualitativos.  

P8. Incorporar mecanismos para identificar y potenciar la  multidisciplinariedad y la ciencia colaborativa y en red.

P9. Incorporar elementos de ciencia abierta dentro de la estrategia

…y estas las 12 directrices de investigación (DI): 

Directrices que seguirán los comités y comisiones en las propuestas de actualización de los criterios de evaluación de la investigación, que deberá hacerse a la luz de los principios previamente establecidos. Los criterios concretos que deberán cumplir las contribuciones aportadas para ser aceptadas,  estarán calibrados para cada comisión y comité en función del  objetivo del programa de evaluación y de la tradición y usos  científicos de cada campo.  

DI1. Se detallarán suficientemente las condiciones para  conseguir los méritos, especialmente aquellos que llevan a lograr mayor valoración por tener más calidad, de manera que sirvan de guía en el diseño de la carrera investigadora.  

DI2. Se tendrán en cuenta la regularidad y continuidad en la actividad de investigación o creación aunque, como se  recoge en las directrices de equidad de ANECA, se deberán  ajustar a las circunstancias personales recogidas en las  mismas (bajas, excedencias, etc). Además, se analizarán en  detalle las situaciones de producción masiva de  publicaciones en momentos muy concentrados y en revistas  con comportamientos editoriales no estándares como  elevado índice de autocitas, elevado número de artículos  anuales u otros que se puedan determinar.

DI3. Las publicaciones deben suponer una contribución real al progreso del conocimiento. No serán valorables aportaciones que resulten reiterativas sin innovaciones relevantes.  

DI4. Como norma general no se aceptan como publicaciones las aportaciones a congresos publicadas como proceedings. En los casos en los que algunos congresos sí sean evaluables, se establecerá claramente  cuáles son aceptables y las condiciones de las aportaciones.  

DI5. En las acreditaciones a Cátedra en las que se valoran  trayectorias académicas largas, se eliminará el requisito de  aportar méritos en los últimos 10 años. Igualmente, si se  presentan aportaciones generadas en las etapas previas a  la generalización de la indización, podrán ser consideradas  las revistas más consolidadas en el momento de la  publicación y/o indizadas con posterioridad. 

DI6. Se detallará la consideración de las autorías en cada comisión y comité, indicando claramente cuál es el número máximo aceptado de firmantes y la consideración que  tendrá el orden de firma, cuando esto sea relevante, según  los usos de campo científico. También se establecerán los casos y condiciones en los que se podría superar el número  de autores sin que haya penalización. 

DI7. Para potenciar la investigación multidisciplinar no será  imprescindible que todas las publicaciones deben estar  exclusivamente en el ámbito de la comisión o comité, aunque podrá exigirse una aportación relevante en el  ámbito específico de evaluación. 

DI8. Los indicadores de calidad que se utilicen serán referidos al año de la publicación (cuando tenga asignado volumen y páginas) o, cuando así se establezca, el mejor valor de una ventana centrada de 5 años (el de publicación, dos anteriores y dos posteriores o los disponibles en el momento de la  evaluación). En el caso de publicaciones muy recientes, se  utilizarán los últimos indicadores publicados pudiendo usarse  la ventana centrada de 5 años en la medida de lo posible. 

DI9. Por regla general el nivel adjudicado a un artículo podrá  seguir siendo el derivado del factor de impacto de la revista  en la que se haya publicado en las bases de datos indexadas  aceptadas en cada campo o las medidas como cuartiles o  terciles usualmente usados en cada campo. No obstante: 

Podrían tener una valoración superior los trabajos  publicados que cumplan determinados requisitos de  calidad que deberán especificarse por cada comisión o  comité.

DI9.  Los trabajos publicados en revistas con un comportamiento editorial no estándar que no permitan garantizar a priori la calidad del trabajo publicado (elevado índice de autocitas, elevado número de artículos anuales u otros) serán objeto de especial análisis que  podrán llevar a una rebaja de su consideración o la no aceptación de las mismas. Esta consideración especial,  que deberá detallar cada comisión o comité, será efectiva  para aportaciones realizadas a partir de 2022. No  obstante, para solicitudes de acreditación presentadas a  partir de 2022 y a partir de la convocatoria de sexenio de  investigación de 2022, podrá aplicarse esta especial  consideración a aportaciones realizadas antes de 2022  cuando la mitad o más de las aportaciones presentadas  se encuentre en este tipo de revistas. 

En el caso de SCOPUS se sustituirá el SJR por CiteScore como índice de impacto de referencia. En la convocatoria de sexenios de 2021 y durante los dos primeros años de aplicación de este criterio (solicitudes de acreditación presentadas hasta el 31 de diciembre de 2023) podrán convivir ambos indicadores, aplicándose el más favorable para el investigador. Posteriormente, se usará en exclusiva  

En caso de que una publicación esté indexada en más de  una categoría, se tomará el cuartil o posición más favorable. 

Todas las revistas incluidas en las bases de datos de indexación usadas en cada caso, recibirán un tratamiento similar con independencia del idioma de publicación.  Además las comisiones y comités determinarán el  tratamiento positivo que proceda para revistas incluidas en estas bases de datos indexadas y publicadas en las lenguas oficiales en España. 

DI10. Las comisiones y comités podrán complementar el  índice de impacto de las revistas con otras medidas e indicadores de calidad de las mismas:

  • El índice de impacto sin autocitas.
  • En el caso de WOS se podrá usar el Article Influence.
  • Cuando sean relevantes, se podrán usar también o alternativamente indicadores de reputación (p.e. Academic Journal Guide del Chartered Association of Business Schools).

DI11. Las comisiones y comités podrán incorporar indicadores  de calidad de los trabajos evaluados. En concreto en el caso de  las revistas indexadas en WOS el Category Normalized Citation Impact (CNCI) y en el caso de las revistas indexadas en SCOPUS  el Field Weigthed Citation Impact (FWCI). 

DI12. Los indicadores de calidad de los libros tomarán como  referencia el SPI o los relevantes en cada ámbito tengan  respaldo científico, que vengan avaladas por publicaciones  científicas reconocidas y por equipos de investigación  reconocidos en este ámbito (sic). 

Actuaciones de ANECA (ver el inicial cronograma)

  1. Creación de un equipo de trabajo para evaluación de la  investigación (Sexenios, PEP y Academia). 
  2. Desarrollo de sesiones de trabajo con especialistas en Métricas  tradicionales, Altmétricas, Ciencia abierta, Equidad e igualdad, etc. 
  3. Sesiones de trabajo con los comités asesores, personas expertas y  especialistas que forman parte de los procesos de evaluación de  ANECA. 
  4. Participación en la Comisión de Open Science (COS-Gob) y en el  grupo de trabajo de Open Science (COS-Tec) coordinados por  FECYT-Ministerio Ciencia e Innovación, con objetivos centrados en:  Infraestructuras y recursos para la ciencia abierta. Gestión de  datos de investigación siguiendo los principios FAIR. Acceso abierto  a publicaciones científicas. Incentivos y reconocimientos. 

Recomendaciones del equipo de trabajo evaluación  de la investigación 

  1. Indicadores de impacto normalizado a nivel de revista. 
  2. Indicadores de impacto normalizado a nivel de trabajo o  publicación.  
  3. Se descarta de momento la inclusión de indicadores de impacto  Alternativo (Altmetrics).  
  4. Formas de evaluación cualitativa y otras métricas de apoyo.
  5. Análisis de cobertura y solapamiento entre fuentes.
  6. Análisis de impacto en igualdad. 
  7. Independencia, integridad y transparencia. 
  8. Benchmarking internacional. 

Futuras actuaciones estratégicas de ANECA

1.Incluir como requisito administrativo que los méritos que se
sometan a evaluación curricular estén depositados en repositorios
de acceso abierto. Actualmente está recomendado.

2. Incluir la evaluación de la actividades relacionadas con la ciencia
abierta en el sexenio de investigación, ACADEMIA y PEP. Incluir como
indicio de calidad de evaluación curricular los sets de datos
publicados. Actualmente está recomendado (dependiendo del
campo y de la actividad).

3. Incluir la evaluación de la actividades relacionadas con la ciencia
abierta (i.e. software libre, ciencia ciudadana, etc.) en el sexenio de
transferencia. Muy avanzado.

4. Incluir formación regular sobre ciencia abierta y uso de indicadores
en todas las comisiones y comités de evaluación. En marcha.
5. Explorar nuevas formas de medir el rendimiento científico y la
calidad de los resultados conseguidos a través de indicadores de
impacto social. En marcha.

De interés

Artículos Relacionados