Volumen 33 Nº 1 (enero/marzo) 2023, pp.294-298
ISSN 1315-0006. Depósito legal pp 199202zu44
DOI: https://doi.org/10.5281/zenodo.10664416
VOMMARO. Pablo; ROVELLI, Laura y BABINI, Dominique (2023) Consulta Regional sobre la Revisión por Pares y la Evaluación de la Investigación en un contexto de Ciencia Abierta. CLACSO/UNESCO. Buenos Aires. Pp. 65
La revisión por pares de los resultados de la investigación es el principal mecanismo de evaluación de la ciencia, un componente fundamental de las comunicaciones académicas y de la evaluación de la investigación. Por lo tanto, contribuye de manera fundamental al registro de la ciencia. Los procesos de revisión por pares se han desarrollado durante mucho tiempo para garantizar, en la medida de lo posible, la solidez y el rigor de las publicaciones académicas, pero últimamente se han documentado bien las deficiencias del proceso de revisión por pares previo a la publicación. Las modalidades de publicación, cada vez más diversas, hacen que la realización de la revisión por pares sea más problemática, como es el caso de los preprints en plataformas que utilizan la revisión por pares posterior a la publicación, y también en colecciones de repositorios distintos de las revistas de artículos. Se están experimentando diversas opciones para la revisión por pares de los contenidos en etapas de “registros de versiones”, en lugar del proceso de revisión por pares previo a la publicación en la tradicional “versión de registro” de las revistas convencionales (Consejo Científico Internacional-ISC, 2021, p.45).
En esos cambios, también es necesario examinar hasta qué punto pueden ser necesarios los incentivos para mantener el esfuerzo de revisión, dando crédito al trabajo de revisión en las prácticas de evaluación de la investigación, y si algunas partes de la tarea podrían automatizarse (Consejo Internacional de la Ciencia, 2021, p.46-47). En un contexto internacional en el que se promueve la ciencia abierta (UNESCO, 2021), que recomienda abrir los procesos de creación, evaluación y comunicación del conocimiento científico a los actores sociales más allá de la comunidad científica tradicional, es necesario revisar los sistemas de evaluación de la investigación y de la carrera profesional para alinearlos con los principios de la ciencia abierta.
Y en estos tiempos particulares de pandemias, Horbach (2021) menciona cómo la crisis sanitaria mundial Covid-19 ha tenido un impacto considerable en la empresa científica, incluyendo las prácticas de publicación académica y de revisión por pares, y examina los cambios cualitativos en el contenido real del proceso de revisión. El proceso de revisión por pares en el ámbito académico ha sido objeto de numerosas críticas en las últimas décadas, y a lo largo de los años se han sugerido varias propuestas para reformar el sistema, al tiempo que se han aplicado. Un ejemplo es el reciente anuncio de la revista eLife (Eisen et al., 2021) que sólo revisará los manuscritos ya publicados como preprints, y centrará su proceso editorial en la producción de revisiones públicas que se publicarán junto a los preprints. Estas son sólo muestras de los retos y experimentos en la revisión por pares, un campo de investigación para el que Tennant y Ross-Hellauer (2020) han propuesto una lista de temas que necesitan ser investigados.
En América Latina y el Caribe (ALC), donde la investigación y la publicación de investigaciones son financiadas principalmente por el gobierno, y un porcentaje considerable de estos productos de investigación, que varía según las disciplinas, se publica en revistas locales y regionales dirigidas por académicos y financiadas con fondos públicos, la revisión por pares está presente principalmente en las revistas científicas. En las revistas impresas tradicionales, así como en la transición al acceso abierto, o en las revistas de acceso abierto nativas, el proceso de revisión por pares de los contenidos se organiza como parte del proceso editorial dirigido por los académicos, un proceso muchas veces gestionado mediante Open Journal Systems (OJS-PKP)1, que es el software de código libre y abierto utilizado por más de 2.500 revistas en ALC para ejecutar el proceso editorial completo, incluyendo la gestión de la revisión por pares, contribuyendo así a la calidad editorial de las revistas y a su transición al acceso abierto. Hoy en día, las principales universidades de investigación de la región ofrecen acceso abierto a sus colecciones de revistas gestionadas en plataformas OJS, como es el caso de la Universidad Nacional Autónoma de México-UNAM en México2, la Universidad de Sao Paulo3 en Brasil, la Universidad de Buenos Aires4 en Argentina, la Universidad de Chile5, entre otras, que publican más de 100 revistas cada una gestionadas en plataformas OJS, incluyendo el proceso de revisión por pares en el caso de las revistas científicas de sus colecciones.
En cuanto a la evaluación de la investigación publicada, los indicadores más utilizados y aceptados para evaluar la producción y el impacto de la investigación en ALC, al igual que en muchas regiones en desarrollo, son los proporcionados por los servicios de indexación llamados “internacionales” (principalmente WoS y Scopus), en los que sólo se incluye un porcentaje muy pequeño de revistas de las regiones en desarrollo. La escasez de indicadores que cubran las revistas de las regiones en desarrollo dificulta seriamente la capacidad de evaluar su producción de investigación individual e institucional, tanto en términos de calidad como de impacto. Por ello, en la región de ALC, desde hace dos décadas se han puesto en marcha iniciativas de colaboración, lideradas por académicos y financiadas con fondos públicos, para construir servicios de indexación regional de revistas de calidad de la región, como es el caso de Latindex Catálogo6 gestionado por la Universidad Nacional Autónoma de México, SciELO7 patrocinado por organismos de financiación de la investigación, Redalyc8 gestionado por la Universidad Autónoma del Estado de México-UAEM, y AmeliCA Conocimiento Abierto, A.C.9 Redalyc-AmeliCA10 gestionada por la Universidad Autónoma del Estado de México-UAEM. Las tres plataformas de publicación e indexación de acceso abierto sólo aceptan revistas revisadas por pares (Alperin, Fischman, Willinsky, 2011). Ya en el año 2014, para mejorar la visibilidad en la web de los indicadores de las revistas revisadas por pares indexadas por SciELO y Redalyc, la UNESCO patrocinó un proyecto y los resultados se publicaron en el libro “Open access indicators and scholarly communications in Latin America” (Alperin, Babini, Fischman, 2014). Sólo unos pocos organismos nacionales de financiación en ALC incluyen estos servicios de indexación como fuentes valiosas de indicadores para la evaluación de la investigación.
Un porcentaje considerable de revistas académicas revisadas por pares que se publican en la región no cumplen con algunos requisitos editoriales de los servicios de indexación regionales mencionados anteriormente, o no pretenden ser indexadas, y no están incluidas en esos servicios de indexación regionales. Deberían tener más visibilidad en las listas nacionales de revistas de calidad consideradas en los procedimientos de evaluación de la investigación.
En los últimos anos, para mejorar la visibilidad de los libros académicos de acceso abierto de alta calidad, se ha desarrollado el Directorio Internacional de Libros de Acceso Abierto (DOAB)11 que exige que los libros se sometan a una revisión por pares independiente y externa antes de su publicación12. Recientemente, desde América Latina, Scielo Books Brasil13 se ha unido al DOAB. Los libros de SciELO Books son publicados por prensas académicas, principalmente universidades, y seleccionados por un comité científico tras un proceso de revisión por pares. Los volúmenes crecientes de productos de investigación, aparte de las revistas, necesitan ser revisados por pares. La contribución fundamental de la revisión por pares al registro de la ciencia exige considerar el reconocimiento de las actividades de revisión por pares en las prácticas de evaluación de la investigación. Para los académicos, la revisión por pares debe ser valorada en la evaluación de la investigación y no una actividad caritativa que realizan en su tiempo libre.
En la última década, varios países de la región han aprobado legislaciones de acceso abierto (Perú y Argentina en 2013, México en 2014) y políticas de acceso abierto que privilegian los repositorios como el lugar preferido para cumplir con el acceso abierto. Sólo un porcentaje limitado de los contenidos en los repositorios son revisados por pares, principalmente artículos de revistas y tesis, e informes de investigación revisados por pares, y estos contenidos son cosechados por los sistemas nacionales de repositorios y el sistema regional de repositorios.14 Considerando la revisión por pares como el principal requisito para garantizar la calidad de los contenidos, la organización de la revisión por pares de otros productos de investigación en los repositorios es una cuestión pendiente. En 2016, la Confederación de Repositorios de Acceso Abierto (COAR) lanzó la iniciativa Repositorios de Nueva Generación15, cuyo objetivo es posicionar a las instituciones de investigación y sus repositorios como la base de una infraestructura distribuida y conectada en red a nivel mundial para la comunicación académica, sobre la que se ofrecerán capas de servicios de valor añadido, entre los que se encuentra la revisión por pares previa o posterior.
Es necesario que los procedimientos de evaluación de la investigación dispongan de indicadores de los contenidos revisados por pares disponibles en revistas, libros, repositorios y otros lugares de publicación en ALC, que hoy en día hacen un uso intensivo de los indicadores de WoS y Scopus que reflejan muy mal los productos de investigación publicados en revistas de la región, o los contenidos de investigación publicados en otras plataformas y repositorios.
Esos contenidos son valiosos en el contexto actual, en el que es difícil imaginar que alguno de los 17 Objetivos de Desarrollo Sostenible no requiera tanto conocimiento local, publicado en las lenguas locales en diversos formatos y lugares, como los contenidos disponibles en las denominadas revistas convencionales.
A nivel mundial, tres de las principales organizaciones científicas mundiales, la UNESCO, el Consejo Internacional de la Ciencia (ISC) y el Consejo Mundial de Investigación (GRC), han publicado documentos en los que se plantean problemas de revisión por pares. El proyecto de recomendaciones sobre ciencia abierta aprobado por la UNESCO en 202115 “abrir los procesos de creación, evaluación y comunicación del conocimiento científico a los actores sociales más allá de la comunidad científica tradicional” (6), y “promover, según proceda, prácticas abiertas de evaluación por pares que incluyan la posible revelación de la identidad de los revisores, revisiones disponibles públicamente y la posibilidad de que una comunidad más amplia aporte comentarios y participe en el proceso de evaluación” (22 b).
Con esta contribución la UNESCO y CLACSO esperan intervenir en la actual discusión sobre la transformación de la evaluación de la investigación a nivel mundial y, al mismo tiempo, difundir una posición ampliada, cohesionada y comprometida en América Latina y el Caribe que priorice la diversidad de cada ecosistema de conocimiento, la necesidad de desarrollar marcos de referencia y metodologías de evaluación situadas para fortalecer la contribución de la investigación a la sociedad, el apoyo a las infraestructuras públicas para recuperar la propiedad de los datos de investigación por parte de la comunidad académica y un mayor rango de autonomía en nuestras prácticas de evaluación, y la búsqueda de una alianza regional para desarrollar un cambio cultural en la evaluación de la investigación y construir una alianza de ciencia abierta.
Fernanda Beigel
Universidad de Cuyo. Mendoza, Argentina
E-mail: mfbeigel@mendoza-conicet.gob.ar).
2 http://www.revistas.unam.mx/front/
3 https://www.revistas.usp.br/wp/
6 https://www.latindex.org/latindex/gCatalogo#
12 https://www.doabooks.org/en/publishers/join-doab
13 http://books.scielo.org/en/
14 https://www.lareferencia.info/en/
15 https://www.coar-repositories.org/news-updates/what-we-do/next-generation-repositories/
Referencias
Alperin, J.P., Babini, D., Fischman, G.E: (2014). Open Access Indicators and Scholarly Communications in Latin America. Buenos Aires, CLACSO-UNESCO
Alperin, J.P., Fischman, G.E. y Willinsky, J. (2011). Scholarly Communication Strategies in Latin America’s Research-Intensive Universities. Revista Educación Superior y Sociedad.
Consejo Científico Internacional-ISC 2021. Opening the record of science: making scholarly publishing work for science in the digitalera. Paris, France. International Science Council.
Eisen, M.B. et al. (2021). Peer Review: Implemeting a “publish, then review” model of publishing. eLife2020;9:e64910
Horbach S. (2021). No time for that now! Qualitative changes in manuscript peer review during the Covid-19 pandemic. Research Evaluation, rvaa037.
Tennant, J.P., Ross-Hellauer, T. The limitations to our understanding of peer review. Res Integr Peer Rev 5, 6 (2020).
UNESCO (2021). Draft Text of the UNESCO Recommendation on Open Science, Provisionally adopted as of 11 May 2021. At the Intergovernmental Meeting of Experts.