Revista de Ciencias Sociales (RCS)
Vol. XXIX, No. Especial 8, julio-diciembre
2023. pp. 316-331
FCES - LUZ ● ISSN: 1315-9518 ● ISSN-E: 2477-9431
Como citar: Garro-Aburto, L. L., Tobón,
S., Chávez, D., y Rivera, E. G. (2023). Evaluación de artículos científicos en
ciencias sociales y humanas: Validación de una escala de medición. Revista
De Ciencias Sociales, XXIX(Número Especial 8), 316-331.
Evaluación de artículos científicos en ciencias
sociales y humanas: Validación de una escala de medición
Garro-Aburto, Luzmila
Lourdes*
Tobón, Sergio**
Chávez Herting, David***
Rivera Arellano, Edith Gissela****
Resumen
La
evaluación de artículos científicos en ciencias sociales y humanas es esencial
para mantener el rigor de la investigación en estas áreas, promover el avance
del conocimiento, motivar la colaboración académica y difundir el conocimiento
entre la comunidad científica. El objetivo del estudio fue confirmar la
estructura factorial de la Escala para evaluar Artículos Científicos en Ciencias
Sociales y Humanas y establecer su validez convergente, predictiva e invarianza
entre género. Para tal fin, se empleó un diseño instrumental cuantitativo de
tipo transversal, no experimental, con una muestra no probabilística de 405
docentes peruanos de posgrado. Los resultados evidenciaron que la versión
propuesta de la escala tiene correspondencia con la teoría y la estructura unifactorial del modelo original. Los valores de los
índices de ajuste comparativo fueron aceptables (CFI=0.948; TLI=0.941); así
mismo, la bondad de ajuste fue adecuada (RMSEA=0.060). Se encontró evidencia de
validez convergente (VME=0.49) y validez predictiva a partir del análisis de
regresión múltiple, puesto que la escala se asoció de manera positiva y
significativa a la publicación de artículos, libros, capítulos de libros y
ponencias. Se concluye que el instrumento presenta características
psicométricas adecuadas para su aplicación en el contexto peruano.
Palabras
clave: Análisis factorial; artículo científico; escala; publicación
científica; validación.
Evaluation of scientific articles in social and
human sciences: Validation of a measurement scale
Abstract
The evaluation of scientific
articles in the social and human sciences is essential to maintain the rigor of
research in these areas, promote the advancement of knowledge, motivate
academic collaboration, and disseminate knowledge among the scientific
community. The objective of the study was to confirm the factorial structure of
the Scale to evaluate Scientific Articles in Social and Human Sciences and to
establish its convergent and predictive validity and invariance between gender.
For this purpose, a non-experimental, cross-sectional quantitative instrumental
design was used, with a non-probabilistic sample of 405 Peruvian postgraduate teachers.
The results showed that the proposed version of the scale corresponds to the
theory and the unifactorial structure of the original
model. The values of the comparative fit indices were acceptable (CFI=0.948;
TLI=0.941); likewise, the goodness of fit was adequate (RMSEA=0.060). Evidence
of convergent validity (VME=0.49) and predictive validity was found from the
multiple regression analysis, since the scale was positively and significantly
associated with the publication of articles, books, book chapters, and papers.
It is concluded that the instrument presents adequate psychometric
characteristics for its application in the Peruvian context.
Keywords: Factor analysis;
scientific article; scale; scientific publication; validation.
Introducción
Un enfoque bidireccional
para crear conocimiento y difundir sus resultados es esencial para el progreso
científico. La producción de nuevos conocimientos es insuficiente en sí misma;
también debe ser difundida, y el medio paradigmático es el artículo científico.
Comprender la estructura del artículo científico es crucial para lograr una
publicación exitosa, puesto que la falta de comprensión de la estructura a
veces se cita como una razón de rechazo del manuscrito. Es necesario contar con un instrumento que evalúe los
elementos de un artículo científico y brinde a los académicos investigadores
una guía explícita sobre cómo organizar y presentar sus manuscritos. Esto
permitirá una mayor producción científica de calidad y avance en el
conocimiento científico en las universidades.
Las universidades juegan
un papel importante en el impulso de la producción científica, puesto que son
el lugar de trabajo principal para la mayoría de los investigadores a nivel
mundial. Su objetivo es avanzar en sus respectivas áreas mediante la generación
de nuevos conocimientos científicos, basados en principios éticos y de equidad
en el acceso y participación en la investigación científica (Ruíz y Moya, 2020;
Suárez-Amaya, Rodríguez-Altamirano y
Ganga, 2022). En este sentido,
los programas de posgrado y sus docentes desempeñan un rol fundamental en la
construcción y difusión del conocimiento científico (Ávila-Toscano et al., 2018).
Por esta razón, los investigadores académicos deben promover el crecimiento
autónomo y liberador de todos los involucrados en este nivel (Campo-Ternera et
al., 2018; Fan et al.,2022). Esto asegurará que la producción científica sea
relevante.
La calidad educativa del posgrado es sinónimo de
producción científica y esta constituye un requisito de la actividad docente,
lo cual comprende guiar al maestrando o doctorando desde la idea de
investigación hasta el posicionamiento de los resultados de su trabajo
científico en una revista de alto impacto (Jiménez, 2019; Rojas et al., 2021),
tarea que exige al docente universitario competencias en redacción y
experiencia en publicación para poder orientar el proceso completo de
investigación.
Un artículo científico original, es
un manuscrito que presenta los resultados de la investigación a la comunidad
científica a través de la publicación de revistas, con el objetivo de
compartir, validar y contrastar los hallazgos de una manera clara, concisa y
fiable (Organización de las Naciones Unidas
para la Educación, la Ciencia y la Cultura [UNESCO], 1983; Lam, 2016). Se caracteriza por ser: (a) Público, todos pueden acceder, (b) formal, para
su identificación, (c) controlado, está sujeto a aprobación o rechazo, y (d)
ordenado, sigue una estructura predeterminada (Camps, 2007). Existe una
estructura estándar que consiste en el formato IMRyD
(Introducción, Metodología, Resultados y Discusión) y un anexo que incluye el
título, el abstracto y las palabras clave (Santesteban-Echarri
y Núñez-Morales, 2017); aunque, cada artículo tiende a tener su propia
variación.
La publicación de artículos como subproducto de la investigación es un
indicador de la actividad académica y se correlaciona con el desarrollo
económico y social de un Estado gracias a los círculos de retroalimentación de
la creación del conocimiento “en un mundo con una economía globalizada, los
países compiten por lograr una ventaja competitiva utilizando como fuente
principal el conocimiento” (Bonilla et al., 2022, p.101). A pesar de su
importancia para la sociedad, pocos hallazgos de investigación se publican en
la región latinoamericana (Marco-Cuenca, Salvador-Oliván y Arquero-Avilés, 2019). Sólo alrededor del 5% de las
publicaciones se producen en América Latina (Ganga et al., 2020; Guillén-Chávez
et al., 2021); mientras que el 30% son producidas en Europa Occidental y Estados
Unidos (Watson, 2022).
En el Perú pocos docentes comunican los resultados de sus investigaciones
en revistas indexadas (Millones-Gómez et al., 2021; Turpo-Gebera,
Limaymanta y Sanz-Casado, 2021) “situación que le resta al campo de la educación un potencial valioso para
alimentar las prácticas investigativas y profesionales, además de que no
permite un mejor posicionamiento en los rankings de publicaciones del país” (Casimiro, Casimiro y Casimiro, 2020, p.167); realidad preocupante,
dado que la difusión de los resultados en forma de artículo científico
contribuye a la democratización del conocimiento como un derecho a participar
en la solución de los problemas sociales (Gertrudix et al., 2021).
Por tanto, todo artículo científico
tiene la exigencia de ser aceptado para su publicación, lo cual obliga a los
autores conocer integralmente el proceso desde la estructura y criterios de la
editorial de la revista hasta el arbitraje que culmina en su entrega a los
lectores (Marco-Cuenca et al., 2019; Mestres y Sampathkumar,
2019). Sin embargo, este aspecto, “no es tomado en cuenta por muchos autores y
con ello producen de entrada una impresión negativa a los editores, que pueden
encontrar en dicho descuido una razón para rechazar de manera inmediata el
[manuscrito]” (García y Fernández, 2018, p.105).
Al respecto, LaPlaca,
Lindgreen y Vanhamme (2018); Suárez-Amaya, Ganga-Contreras y
Pedrajas-Rejas (2019); y, Blanco (2020), refieren que más del 80% de artículos enviados a las
editoriales son rechazados en gran medida por errores en la redacción y una
deficiente presentación, o por ausencia de elementos básicos a nivel formal o
de contenido, lo cual evidencia un bajo nivel discursivo en el lenguaje
investigativo y en el cumplimiento de las normas estandarizadas propias del
procedimiento editorial. A tal efecto, conocer la estructura total de un
artículo (Mestres y Sampathkumar, 2019), posibilita
su publicación en una revista científica (Marco-Cuenca et al., 2019).
Existen algunos estudios referidos a la cantidad de publicaciones que
realizan los docentes (Pulido-Medina y Mejía, 2018); empero, son escasas las
publicaciones relacionadas con el conocimiento que tiene el docente respecto a
los elementos requeridos de un producto científico antes de ser enviado para su
publicación, por lo que es imprescindible disponer de un instrumento que valore
estos elementos. Los instrumentos que cumplen dicha función son el propuesto
por Greenberg (2015), que evalúa informes
científicos; la rúbrica de Merma, Peña y Peña (2017), que valora la adaptación de
los artículos científicos al formato de la revista; y la rúbrica de Rakedzon y Baram-Tsabari (2017),
que evalúa los lineamientos de redacción en estudiantes graduados.
Atendiendo a esta necesidad, López-López,
Tobón y Juárez-Hernández (2019) desarrollaron la Escala para Evaluar Artículos Científicos en
Ciencias Sociales y Humanas (EACSH) en México. Esta escala, compuesta por 19 ítems distribuidos en ocho componentes,
permite medir los diversos elementos de un artículo científico. En un estudio
con 129 especialistas en redacción y difusión científica, la EACSH demostró
características psicométricas adecuadas, validando la pertinencia y redacción
de la mayoría de los ítems (90%) en
el modelo factorial. Sin embargo, se necesita investigar si la EACSH se aplica
de la misma manera en diferentes muestras. El objetivo fue confirmar
la estructura factorial de la EACSH para un contexto peruano y establecer su
validez convergente, predictiva e invarianza entre
género.
1. Metodología
Se realizó un estudio instrumental
cuantitativo (León y Montero, 2020) de tipo transversal, no experimental, centrado en la adaptación de pruebas a un contexto diferente para el cual
fue creado. Se analizó la estructura teórica del instrumento con la técnica de Análisis
Factorial Confirmatorio (AFC) según las recomendaciones de Lloret-Segura et al. (2014), a objeto de
comprobar si el modelo teorizado se adapta a los datos. Previo a ello se efectuó un análisis descriptivo con los datos de la muestra a fin de
asegurar si eran aptos para proceder con el AFC. Se estableció la validez convergente, predictiva y se evaluó la invarianza
factorial del instrumento con relación al género.
En el estudio participaron 405
docentes de posgrado de tres sedes de una universidad privada de Lima, Perú. Tomando como criterio de inclusión a docentes que dictan
el curso de investigación en el programa de posgrado. El tipo de muestreo
fue no probabilístico, por conveniencia. Los docentes fueron ubicados de una
base de datos que posee la Universidad que apoyó el estudio, los cuales fueron
invitados a participar mediante un mensaje de correo electrónico. El
instrumento se aplicó de manera digital, a través de un formulario en Google Foms, y
el link se envió por correo a las
personas que aceptaron participar. Se invitó a 600 docentes, aceptaron
participar 500 y al final completaron el instrumento 405, cantidad que
representa una tasa de 67,5% de respuesta.
De los participantes, el 53,83%
fueron mujeres y el 46,17% varones. Las edades comprendieron en el rango de 36
a 45, el 21,23%; entre 46 y 55, el 71,85%; y, de 56 a más, fue el 6,91%.
Además, el 78% posee el grado de Doctor y el 22% el grado de Maestro. En cuanto
a publicaciones el 66,91% declaró haber publicado de 1 a 10 artículos
científicos; el 15,30% de 11 a 20; el 3,95% de 21 a 30; el 5,92%, más de 30; y
el 7,9% aún no ha publicado.
1.1. Instrumentos
Para la recolección de datos se emplearon dos instrumentos que a
continuación se detallan:
a. Escala para Evaluar Artículos Científicos en
Ciencias Sociales y Humanas-EACSH
Fue creada y validada para la
población mexicana por López-López et al. (2019), la cual se muestra en el Cuadro
1; tiene 19 ítems evaluado en cinco
niveles: (1=nivel muy bajo; 2=nivel bajo; 3=nivel medio; 4=nivel medio alto; y
5=nivel muy alto); se integran en ocho dimensiones: Portada y resumen,
introducción, metodología, resultados, discusión, referencias, apéndice, estilo
y formato. Los cuales determinan secuencialmente las características de un
artículo científico, considerando indicadores como redacción, estructura y
estilo establecidos por la comunidad científica. Entre las características
psicométricas presentó validez de facie, de contenido, de constructo y alta
confiabilidad (α= 0,937). El reporte refiere Análisis Factorial Exploratorio (AFE),
más no Análisis Factorial Confirmatorio (AFC).
Ejes e ítems del instrumento EACSH
|
Ejes |
|
|
Portada y resumen |
|
|
2. El resumen está en español e inglés y se presenta con máximo
250 palabras (o el número de palabras permitido por la revista en la cual se
espera publicar). Además, describe brevemente el problema, objetivo,
metodología, principales resultados y conclusiones del estudio. |
|
|
3. El número de palabras clave está entre 4 y 8 (o dentro del
rango que permite la revista en la cual se espera publicar), fueron extraídas
de un tesauro de la disciplina, están escritas con minúscula, separadas con
coma y en orden alfabético. |
|
|
Introducción |
4. Se hace una revisión crítica sobre los principales estudios
realizados sobre el problema, considerando los propósitos del estudio, desde
lo más general a lo particular. Además, se basa en citas parafraseadas en la
mayoría de los casos, integrando información reciente con información
histórica. |
|
5. Los objetivos son relevantes, se relacionan con el problema
de investigación expuesto y están redactados con claridad (poseen un verbo en
infinitivo, objeto, sujeto y contexto del estudio). |
|
|
Metodología |
6. Se describe el tipo de estudio llevado a cabo como, por
ejemplo, si fue cuantitativo, cualitativo o mixto; el alcance (descriptivo o
descriptivo correlacional), la lógica de análisis utilizada (deductiva o
inductiva), y el tiempo de realización de la investigación (transversal o
longitudinal). |
|
7. Se describen los participantes, con elementos tales como: el
tamaño de la muestra, el tipo de personas que hicieron parte del estudio y
sus datos demográficos, la forma de obtención de la muestra, y los criterios
de inclusión y exclusión. |
|
|
8. Se describe el instrumento o instrumentos empleados,
indicando sus autores y los datos de validez y confiabilidad que se posean.
Si no se aplicaron instrumentos, entonces se indica la técnica de recolección
de los datos empleada en el estudio y la forma cómo se llevó a cabo. |
|
|
9. Se describen las técnicas utilizadas para el análisis de los
datos recolectados (técnicas estadísticas o cualitativas), así como también
los criterios éticos aplicados. |
|
|
Resultados |
10. Los resultados se describen de forma sistemática, organizada
y sintética, mostrando los aspectos más relevantes y originales del estudio,
considerando, en lo posible, el mismo orden de los propósitos establecidos.
Se organizan desde lo más general a lo más particular. |
|
11. Se emplean tablas y figuras que ayudan a sintetizar,
contextualizar, clarificar o ilustrar los propósitos del estudio. La
información contenida en las tablas y figuras no se repite en el texto. |
|
|
12. Se presentan análisis de los datos de acuerdo con el tipo de
estudio; por ejemplo, en los estudios descriptivos cuantitativos es común
emplear porcentajes, medias y desviaciones estándar, análisis de cuartiles,
diferencias de medias, y análisis de regresión, etc. |
|
|
Discusiones |
13. Se presenta una
conclusión por cada uno de los propósitos del estudio, con base en los
resultados obtenidos, y esta conclusión se analiza con detalle mediante la
comparación con estudios similares, que la apoyen o la controviertan, con
análisis crítico |
|
14. Se describen las
contribuciones más originales o de mayor impacto del estudio, las posibles
aplicaciones prácticas de los resultados y también las limitaciones de la
investigación (por ejemplo, dificultades metodológicas, deficiencias en el
muestreo, problemas con el diseño de la investigación, posibles sesgos,
etc.). |
|
|
15. Se brindan
recomendaciones para futuros estudios, considerando la experiencia de la
investigación llevada a cabo, y teniendo en cuenta las tendencias en el área.
En lo posible, esto debe ser con base en argumentos y considerando las
propuestas de otros autores. |
|
|
Referencias |
16. Se describen
todas las referencias citadas en el texto, acorde con el estilo APA en su
última edición, o considerando las normas de la revista en la cual se espera
publicar el artículo. Todas las referencias poseen DOI, o, en su defecto, el
link de donde se pueden descargar. |
|
Apéndice |
17. Se presentan
los apéndices cuando el tipo de estudio lo requiere, mediante información
extra al final del artículo o mediante archivos complementarios al texto
(subidos a la revista o en forma de links a páginas web externas). La
información que va en los apéndices no ha sido publicada. |
|
Estilo y forma |
18. El artículo sigue las
normas APA en su última edición, o las normas de la revista en la cual se
espera publicar. Además, cumple con las normas gramaticales de la lengua
española. La redacción es en forma impersonal, atractiva desde el inicio
hasta el final, girando todo en torno a los propósitos del estudio. Cada
párrafo es argumentativo y se conforma con al menos 7 líneas. |
|
19. El formato está
acorde con las normas de la revista cuyas consideraciones pueden ser, en
términos generales: interlineado a espacio y medio, márgenes de 2.54 cm,
letra Times New Roman 12 y numeración continua en
la parte superior derecha. En el texto no aparecen los nombres de los autores
ni información que los pueda identificar. |
Fuente: López-López et al. (2019).
b. Cuestionario
de Factores Sociodemográficos y Académicos
Este instrumento fue desarrollado
por el Centro Universitario CIFE (2020) y posee 10 ítems que valoran una serie de elementos sociodemográficos y
académicos tales como edad, género, último grado alcanzado, años de experiencia
en educación superior, número de artículos científico, libros y capítulos de
libro publicados.
1.2. Técnicas de análisis de datos
Se efectuó el Análisis Factorial
Confirmatorio (AFC), tomando en cuenta la recomendación clásica sugerida por Lloret-Segura et al. (2014), para confirmar o
probar la teoría y se asumió valores cercanos a -1 y 1 respecto a la asimetría
y curtosis sugiriendo una distribución semejante a normal. En cuanto al tamaño
muestral se estableció que es ideal para el análisis factorial.
Para el análisis de ajuste absoluto del modelo, se consideró la razón
chi-cuadrada/grados de libertad (X2/gl), error
cuadrático medio de aproximación (RMSEA) e índice de bondad de ajuste (GFI).
Así también, se consideró el índice comparativo de ajuste (CFI) e índice de
Tucker-Lewis (TLI) para el ajuste incremental. Los valores para GFI >=0,90 y
CFI >0,90 son considerados como buen ajuste por Levy y Varela (2006); y, Hooper, Coughlan y Mullen (2008). El RMSEA con valores
aproximados a 0.05 ajuste bueno y < 0,08 ajuste aceptable (Hu y Bentler, 1999). Para el
análisis de validez convergente se tuvo en cuenta los criterios establecidos
por Hair et al. (2014), que el peso factorial de los ítems fueran mayores a 0,50, la
fiabilidad compuesta mayor a 0,70 y la varianza media extraída (AVE) mayor a
0,50.
La invarianza
factorial con relación al género, se realizó mediante el análisis multigrupo,
siguiendo las recomendaciones habituales de Putnick y
Bornstein (2016). Finalmente, para la validez
predictiva, se realizó un análisis de regresión lineal jerárquico, usando, como
es tradicional (Kira et al., 2021) dos modelos: El primer modelo, incluyó
variables de control (edad, género, años de experiencia); y el segundo modelo, encerró
las puntuaciones en la EACSH.
De este modo, mientras el primer modelo evaluó sólo el impacto de las
variables de control, el segundo mostró el aporte único del EACSH en la
predicción de publicaciones (artículos, libros, capítulos de libros y
ponencias) a través del coeficiente de regresión y el incremento en R2
entre los dos modelos evaluados. Los programas estadísticos empleados fueron Statistical Package for Social Sciences for Windows software-SPSS versión 25,0 y Analysis of Moment Structure-AMOS.
En el estudio se cumplieron los siguientes
criterios éticos: 1) Se garantizó la confidencialidad de la información,
solicitando el consentimiento libre a los docentes para su participación en el
estudio, a través de la firma del instrumento digital; 2) se contó con la
autorización de los autores del instrumento original para México; y, 3) se
siguieron los principios de confidencialidad de la información de los
participantes con base en la Ley No. 29733 de protección de datos personales en
el Perú.
2. Resultados y discusión
2.1.
Ajuste factorial del modelo
En
un primer paso, se procedió a un análisis descriptivo con los datos de la
muestra, con el fin de asegurar que eran aptos para el AFC. Se evaluaron
posibles problemas de multicolinealidad y la distribución normal de la muestra.
Ninguno de los ítems mostró valores
inferiores a 0,4 en una prueba de tolerancia, lo que sugiere que no existen
problemas de multicolinealidad. Los valores de asimetría y curtosis en general
se ubicaron en valores cercanos a -1 y 1, sugiriendo una distribución semejante
a normal. Aunque dos ítems se
acercaron a valores de curtosis de 2, sigue siendo un nivel considerado
aceptable por la mayoría de los autores (ver Tabla 1). En base a estos valores,
se decidió proceder con el AFC.
Tabla 1
Análisis
descriptivo de los datos
|
Ítem |
Media |
Desviación estándar |
Asimetría |
Curtosis |
Prueba de tolerancia |
|
1 |
4,21 |
0,668 |
-0,376 |
-0,371 |
0,489 |
|
2 |
4,15 |
0,732 |
-0,536 |
-0,036 |
0,610 |
|
3 |
4,09 |
0,828 |
-0,770 |
0,454 |
0,573 |
|
4 |
4,13 |
0,758 |
-0,666 |
0,431 |
0,481 |
|
5 |
4,22 |
0,706 |
-0,550 |
-0,102 |
0,405 |
|
6 |
4,09 |
0,783 |
-0,616 |
0,038 |
0,465 |
|
7 |
4,10 |
0,747 |
-0,776 |
1,149 |
0,582 |
|
8 |
4,19 |
0,770 |
-0,627 |
-.029 |
0,467 |
|
9 |
4,02 |
0,807 |
-0,796 |
1,068 |
0,451 |
|
10 |
4,10 |
0,785 |
-0,999 |
1,944 |
0,516 |
|
11 |
4,17 |
0,743 |
-0,972 |
1,921 |
0,567 |
|
12 |
4,06 |
0,803 |
-0,739 |
0,609 |
0,439 |
|
13 |
4,17 |
0,686 |
-0,454 |
0,016 |
0,451 |
|
14 |
4,09 |
0,754 |
-0,628 |
0,280 |
0,453 |
|
15 |
4,02 |
0,822 |
-0,872 |
1,123 |
0,463 |
|
16 |
4,09 |
0,739 |
-0,740 |
1,147 |
0,443 |
|
17 |
3,96 |
0,836 |
-0,846 |
1,077 |
0,489 |
|
18 |
4,17 |
0,715 |
-0,705 |
0,877 |
0,454 |
|
19 |
4,11 |
0,751 |
-0,570 |
0,236 |
0,471 |
Fuente: Elaboración propia, 2023.
El modelo factorial mantuvo los 19 ítems
originales y se ajustó sin usar covarianzas de errores
que pudieran alterar el resultado del análisis. El modelo obtenido mostró cargas factoriales que oscilaron entre 0,60 y 0,75, tal y como se muestra en
la Figura I.
Fuente: Elaboración propia, 2023.
Figura I: Representación del modelo factorial-Perú
El AFC mostró un buen ajuste del modelo en todos los
índices evaluados, tanto el chi-cuadrado normalizado (χ2/gl = 2,437), como el índice de bondad de ajuste (GFI = 0,907), el índice de ajuste comparativo (CFI = 0,948),
el índice de Tucker-Lewis (TLI = 0,941), y el error de aproximación cuadrático
medio (RMSEA = 0,060). Como se aprecia en la Tabla 2, todos los valores
obtenidos cumplen con los criterios mínimos recomendados; mientras que otros se
acercan a valores óptimos (Hu y Bentler, 1999; Levy y
Varela, 2006; Hooper et al., 2008).
Tabla 2
Medidas de bondad de ajuste del AFC
Fuente:
Elaboración propia, 2023.
2.2. Validez convergente
La
validez convergente del modelo se evalúo en base a los tres criterios
propuestos por Hair et al. (2014). En
primer lugar, todas las cargas factoriales superaron el umbral mínimo de 0,50,
y la mayoría estuvo por sobre el valor ideal de 0,70 (ver Tabla 3). Sólo cuatro
de los diecinueve ítems tuvieron cargas
factoriales con valores ligeramente superiores a 0,60, específicamente, los ítems 2 (λ =0,603); 3 (λ = 0,617); 7 (λ
= 0,618); y, 11 (λ = 0,632). Se debe destacar que los ítems 2 y 3 corresponden a la construcción del resumen o abstract, lo que
puede considerarse una producción científica en sí misma, debido a que contiene
la estructura del artículo en un formato reducido, por lo que no es
teóricamente inesperado que tengan cargas inferiores al resto de la escala.
Validez convergente del AFC
|
Escala |
# de
ítems |
Fiabilidad
compuesta |
Alfa de
Cronbach |
VME |
Cargas
factoriales |
|
EACSH |
19 |
0,948 |
0,947 |
0,490 |
Item 01 (0,716); Item 02 (0,603);
Item 03 (0,617); Item 04 (0,715); Item 05 (0,746); Item 06 (0,713); Item 07 (0,618);
Item 08 (0,729); Item 09 (0,707); Item 10 (0,686); Item 11 (0,632); Item 12 (0,746);
Item 13 (0,726); Item 14 (0,725); Item 15 (0,721); Item 16 (0,750); Item 17 (0,698);
Item 18 (0,713); Item 19 (0,691) |
Fuente:
Elaboración propia, 2023.
El
ítem 11, se refiere al uso de Tablas
y Figuras, por lo que evalúa un aspecto de la
construcción de un producto científico que es referencial y no siempre se
relaciona directamente con la redacción del contenido. En estos tres casos, las
cargas relativamente bajas pueden explicarse teóricamente. Más desconcertante
fue el resultado del ítem 7, que se
relaciona con la descripción de la muestra en un estudio científico. No
obstante, dada la relevancia de estos cuatro ítems en el contexto de la evaluación
holística de una producción científica, y considerando que superaban los
mínimos establecidos, se optó por mantenerlos en la escala.
Una
vez decidido que ningún ítem sería
eliminado en función de su carga factorial, se procedió a calcular la Varianza
Media Extraída (VME), usando la fórmula desarrollada por Fornell
y Larcker (1981), que la definieron como la suma de
la varianza extraída de cada ítem en
un constructo determinado, entendida como el cuadrado de su carga factorial
estandarizada, dividido por el número de ítems
de ese constructo. Si VME > 0,50, se entiende que más de la mitad de la
varianza extraída se explica por el constructo; mientras que si VME < 0,50,
más de la mitad de la varianza es explicada por el error de medida. Para el
presente modelo, la varianza media extraída fue de 0,49, que se acerca al
umbral mínimo de 0,50 propuesto por Fornell y Larcker (1981), lo que usualmente se considera un valor
aceptable (Hair et al., 2014; Cheung y Wang, 2017).
Finalmente,
se calculó la fiabilidad compuesta, tal como fue propuesta por Jöreskog (1971), y posteriormente desarrollado por diversos
autores como Raykov (1997); y, McDonald (1999). Esta
medida de fiabilidad se diseñó específicamente para modelos congenéricos,
es decir, modelos que asumen que un constructo determinado puede evaluarse
mediante una serie de ítems, y
reporta resultados usualmente más adecuados que otras medidas clásicas, como el
Alfa de Cronbach (Raykov, 1997). Tal como se observa
en la Tabla 3, la fiabilidad compuesta del modelo es de 0,948, muy por encima
del umbral mínimo de 0,70 propuesto por Hair et al.
(2014). En base a estos resultados, se asume que el modelo propuesto cumple con
todos los criterios sugeridos para determinar su validez convergente.
2.3. Invarianza
factorial
Concluidos
los procesos anteriores, se evaluó la invarianza factorial del instrumento con
relación al género, mediante un análisis multigrupo. Para ello, la muestra
total de 405 participantes fue dividida entre hombres (n = 187) y mujeres (n =
218). Se calculó la invarianza configuracional, métrica, y escalar, desechando
la invarianza residual, de poco valor práctico (Putnick
y Bornstein, 2016).
Tabla 4
Invarianza factorial del AFC
|
Modelo |
χ2 |
df |
χ2/df |
RMSEA |
TLI |
CFI |
ΔRMSEA |
ΔTLI |
ΔCFI |
|
Configuracional |
641,178 |
304 |
2,109 |
0,052 |
0,912 |
0,921 |
- |
- |
- |
|
Métrico |
657,596 |
322 |
2,042 |
0,051 |
0,917 |
0,922 |
0,001 |
-0,005 |
-0,001 |
|
Escalar |
688,940 |
395 |
1,744 |
0,051 |
0,916 |
0,921 |
0,001 |
-0,004 |
0,000 |
Fuente: Elaboración propia, 2023.
Siguiendo la propuesta de Cheung
y Rensvold (2002), se asumió que diferencias
inferiores a 0,01 en el índice CFI no permiten rechazar la hipótesis de invarianza; mientras que las diferencias entre el RMSEA del
modelo configuracional y los modelos métricos y escalares no debieran superar
los 0,15 (Chen, 2007). Los resultados indican que el modelo no cambia de manera
significativa al usarse con hombres o mujeres (ver Tabla 4).
2.4. Validez predictiva
Tabla 5
Regresiones
lineales jerárquicas por tipo de publicaciones, usando variables
sociodemográficas y EACSH como predictores
Nota: IC = intervalo de confianza; LI = límite inferior; LS =
límite superior. * p < 0,05; ** p < 0,001
Fuente: Elaboración propia, 2023.
De las variables controladas, la experiencia docente fue
la que mayor impacto tuvo en la publicación de artículos científicos (β = 0,402,
p < 0,001); libros (β =0,282, p < 0,001); capítulos de libros (β =0,148,
p = 0,017); y, ponencias (β = 0,351, p < 0,001). En el caso de la
publicación de capítulos de libro, también se observó un impacto inverso del
grado académico (β = -0,107, p = 0,031), es decir, a menor grado, mayor
probabilidad de publicar capítulos de libro. La edad sólo fue significativa en
el caso de las ponencias en congresos especializados (β = 0,178, p < 0,001);
mientras que el género no tuvo impacto en ninguno de los cuatro tipos de
publicaciones evaluados.
Los
resultados de la EACSH predicen positivamente los cuatro tipos de publicaciones
evaluados en este estudio, mostrando en todos los casos incrementos
significativos de la varianza explicada del modelo 2 en relación con el modelo
1, medido a través de la diferencia en R2 entre ambos modelos (ΔR2). Es decir,
mayores puntajes en la escala predicen más publicaciones de artículos
científicos (β = 0,146, p < 0,002); libros (β = 0,220, p < 0,001);
capítulos de libro (β = 0,264, p < 0,001); y, ponencias (β = 0,167, p < 0,001).
Los incrementos en la varianza explicada de las cuatro regresiones analizadas
fluctuaron entre un 2,0% y un 6,4%, que pueden entenderse como el aporte de la
EACSH al modelo predictivo para las publicaciones científicas.
El objetivo del estudio
fue confirmar la estructura factorial de la escala para evaluar artículos científicos
en ciencias sociales y humanas, debido a que no se contaba con un instrumento
con criterios específicos para medir la estructura de un artículo científico en
un contexto peruano. Con los resultados obtenidos se confirmó la teoría hipotetizada del
constructo de los 19 ítems
organizados en un solo factor de la EACSH. El factor único de la escala confirmado
mediante el AFC facilita medir los elementos de un producto científico
(artículo científico) de forma secuencial, definido en redacción, estructura y
estilo por la comunidad científica, desde la portada y resumen hasta el estilo
y formato.
La EACSH presenta
validez convergente que afirma que los indicadores propuestos miden el
constructo, es decir el modelo no cambia de manera significativa al usarse con
hombres o mujeres. En tal sentido, la escala puede ser empleada para
autoevaluar con precisión, de forma secuencial y holística los elementos
básicos de un artículo científico por parte de los investigadores antes de ser
enviado a la revista elegida, teniendo mayor probabilidad de ser aceptado.
Una de las limitaciones
de este trabajo fue el no contemplar otras variables para la verificación de la
independencia del modelo respecto a estas. En tal sentido, los principales
vacíos fueron que: 1) No se hizo la coevaluación entre pares o evaluación a
partir de jueces externos; 2) faltó determinar la validez concurrente, que consiste
en evaluar si un instrumento correlaciona positivamente con otro instrumento
que evalúa el mismo constructo o un constructo similar. Esto implicaba agregar
más instrumentos de un mismo tema, lo cual podría disminuir la participación,
por tanto, se descartó dicha opción. En futuros estudios se recomienda
considerar estos aspectos.
Una contribución del
estudio fue el análisis de la validez predictiva, que consiste en la habilidad
de un instrumento de predecir el desempeño en otra medida independiente de ese
instrumento. En la presente investigación se halló que valores elevados en la
EACSH se asocian con una mayor productividad científica, a partir del análisis
de regresión implementado. Por tanto, las características identificadas en este
instrumento permiten considerar su utilidad en el incremento de la producción
científica del docente de posgrado en el Perú, en beneficio de la socialización
y avance del conocimiento.
Referencias
bibliográficas
Ávila-Toscano,
J. H., Romero, I., Saavedra, E., y Marenco-Escuderos, A. (2018). Influencia de la producción de nuevo conocimiento y
tesis de postgrado en la categorización de los grupos de investigación en
Ciencias Sociales: Árbol de decisiones aplicado al modelo científico colombiano. Revista Española de Documentacion
Cientifica, 41(4), e218. https://doi.org/10.3989/redc.2018.4.1547
Blanco,
P. (2020). Puntualizaciones acerca de su Estructura y Redacción. Revista de
Investigación, Formación y Desarrollo: Generando Productividad Institucional,
8(1), 65-69. https://ojs.formacion.edu.ec/index.php/rif/article/view/192
Bonilla,
S. M., Ramírez, J. P. I., Barbecho, N. D. J., y Coronel, C. X. (2022). Análisis
bibliométrico de la producción científica sobre calidad educativa en el
Ecuador. Revista de Ciencias Sociales (Ve), XXVIII(5), 100-111. https://doi.org/10.31876/rcs.v28i.38148
Campo-Ternera,
L., Amar-Sepúlveda, P., Olivero, E., y Huguett, S. (2018). Emprendimiento e
innovación como motor del desarrollo sostenible: Estudio bibliométrico (2006-
2016). Revista de Ciencias Sociales (Ve), XXIV(4), 26-37.
Camps,
D. (2007). El artículo científico:
Desde los inicios de la escritura al IMRYD. Archivos de
Medicina, 3(5), 1-9. https://www.itmedicalteam.pl/articles/el-artculo-cientfico-desde-los-inicios-de-la-escritura-al-imryd-103206.html
Casimiro,
W. H., Casimiro, C. N., y Casimiro, J. F. (2020). Los posgrados y la
investigación científica en las universidades peruanas. Mendive. Revista de
Educación, 18(1), 155-169.
Centro universitario CIFE (2020). Cuestionario de Factores
Sociodemográficos. Centro
universitario CIFE. www.cife.edu.mx
Chen, F. F. (2007). Sensitivity of goodness of fit indexes to
lack of measurement invariance. Structural Equation Modeling: A Multidisciplinary Journal, 14(3), 464-504. https://doi.org/10.1080/10705510701301834
Cheung, G. W., y Wang, C. (2017). Current approaches
for assessing convergent and discriminant validity with SEM: Issues and
Solutions. Academy of Management Proceedings, 2017(1), 12706. https://doi.org/10.5465/AMBPP.2017.12706ABSTRACT
Fan,
S., Jiang, J., Li, F., Zeng, G., Gu, Y., y Guo, W. (2022). A bibliometric analysis of the literature
on postgraduate teaching. Sustainability, 14(24), 17047. https://doi.org/10.3390/su142417047
Fornell, C., y Larcker, D. F. (1981).
Structural equation models with unobservable variables and measurement error:
Algebra and statistics. Journal of Marketing Research, 18(3),
382-388. https://doi.org/10.1177/002224378101800313
Ganga,
F., Garrido, N., Godoy, Y., y Cautín, C. (2020). Acciones
tendientes a incrementar la producción científica en la Universidad de
Tarapacá-Chile. Revista de Ciencias Sociales (Ve), XXVI(3), 297-311. https://doi.org/10.31876/rcs.v26i3.33250
García,
A. M., y Fernández, E. (2018). El proceso de publicación de un artículo: Autores,
revisores externos y editores. Quaderns de la Fundació Dr. Antoni Esteve, (9), 103-117. https://raco.cat/index.php/QuadernsFDAE/article/view/260118
Gertrudix,
M., Rajas, M., Romero-Luis, J., y Carbonell-Alcocer, A. (2021). Comunicación
científica en el espacio digital. Acciones de difusión de proyectos de
investigación del programa H2020. El Profesional de La Información, 30(1),
e300104. https://doi.org/10.3145/epi.2021.ene.04
Greenberg, K. P. (2015). Rubric use in formative assessment:
A detailed behavioral rubric helps students improve their scientific writing
skills. Teaching
of Psychology,
42(3), 211-217. https://doi.org/10.1177/0098628315587618
Guillén-Chávez,
E.-P., Núñez-Pacheco, R., Barreda-Parra, A., Verdugo-Castro, S., y
Sánchez-Gómez, M. C. (2021). La producción científica de alto
impacto en humanidades en Iberoamérica: Un mapeo sistemático. Fronteiras, Journal of Social, Technological and Environmental Science, 10(3),
266-279. https://doi.org/10.21664/2238-8869.2021v10i3.p266-279
Hair, J. F., Sarstedt, M., Hopkins, L., y Kuppelwieser, V. G. (2014). Partial least squares structural equation modeling (PLS-SEM):
An emerging tool in business research. European Business Review, 26(2),
106-121. https://doi.org/10.1108/EBR-10-2013-0128
Hooper, D., Coughlan, J., y Mullen, M. R.
(2008). Evaluating model fit: a synthesis
of the structural equation modelling literature. 7th European Conference on Research Methodology for Business and
Management Studies, Regent’s
College, London, United Kingdom.
Hu, L.-T., y Bentler, P. M. (1999). Cutoff
criteria for fit indexes in covariance structure analysis: Conventional
criteria versus new alternatives. Structural Equation Modeling: A
Multidisciplinary Journal, 6(1), 1-55. https://doi.org/10.1080/10705519909540118
Jiménez, A. (2019). La redacción científica en la
universidad. Visiones de los estudiantes de posgrado de La Habana. Atenas, 4(48), 33-46. http://atenas.umcc.cu/index.php/atenas/article/view/100
Jöreskog, K. G. (1971). Statistical
analysis of sets of congeneric tests. Psychometrika, 36(2), 109-133.
https://doi.org/10.1007/BF02291393
Kira, I., Özcan, N. A., Shuwiekh, H., Kucharska,
J., Al-Huwailah, A. H., y Bujold-Bugeaud, M. (2021). Mental health dynamics of
interfaith spirituality in believers and non-believers: The two circuit
pathways model of coping with adversities: Interfaith spirituality and will-to
exist, live and survive. Psychology, 12(06), 992-1024. https://doi.org/10.4236/psych.2021.126060
Lam, D. R. M. (2016). La redacción de
un artículo científico. Revista Cubana de Hematología, Inmunología y
Hemoterapia, 32(1), 57-69. https://www.medigraphic.com/cgi-bin/new/resumen.cgi?IDARTICULO=67906
LaPlaca,
P., Lindgreen, A., y Vanhamme, J. (2018). How to write really good articles for premier academic
journals. Industrial Marketing Management, 68(1995), 202-209. https://doi.org/10.1016/j.indmarman.2017.11.014
León,
O. G., y Montero, I. (2020). Métodos de investigación en psicología
y educación: Las tradiciones cuantitativa y cualitativa. McGraw-Hill
Interamericana de
España S.L.
Levy,
J.-P., y Varela, J. (2006). Modelización con estructuras de
covarianzas en ciencias sociales. Temas esenciales, avanzados y aportaciones
especiales. Netbiblo.
Lloret-Segura,
S., Ferreres-Traver, A., Hernández-Baeza, A., y Tomás-Marco, I. (2014). El
análisis factorial exploratorio de los ítems: Una guía práctica, revisada y
actualizada. Anales de Psicologia
/ Annals of Psychology, 30(3), 1151-1169. https://doi.org/10.6018/analesps.30.3.199361
López-López,
E., Tobón, S., y Juárez-Hernández, L. G. (2019). Escala para Evaluar Artículos
Científicos en Ciencias Sociales y Humanas- EACSH. REICE. Revista
Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 17(4),
111. https://doi.org/10.15366/reice2019.17.4.006
Marco-Cuenca,
G., Salvador-Oliván, J.-A., y Arquero-Avilés, R. (2019). Ethics
in biomedical scientific publication. A review of the publications retracted in Spain. Profesional
de la Informacion, 28(2), e280222. https://doi.org/10.3145/epi.2019.mar.22
McDonald,
R. P. (1999). Test theory: A unified treatment. Lawrence
Erlbaum Associates Publishers.
Merma, G., Peña, H., y Peña, S. R.
(2017). Design
and validation of a rubric to assess the use of American Psychological
Association style in scientific articles. Journal
of New Approaches in
Educational Research, 6(1), 78-86. https://doi.org/10.7821/naer.2017.1.220
Mestres,
C. A., y Sampathkumar, A. (2019). The art and science of scientific writing. Asian
Cardiovascular and Thoracic Annals, 27(5), 335-337. https://doi.org/10.1177/0218492319856972
Millones-Gómez, P.
A., Yangali-Vicente, J. S., Arispe-Alburqueque, C. M., Rivera-Lozada, O.,
Calla-Vásquez, K. M., Calla-Poma, R. D., Requena-Mendizábal, M. F., y
Minchón-Medina, C. A. (2021). Research
policies and scientific production: A study of 94 Peruvian universities. PLoS
ONE, 16(5), e0252410. https://doi.org/10.1371/journal.pone.0252410
Montes
de Oca, Y., Barros, C. I., y Castillo, S. N. (2022). Metodología de investigación en
emprendimiento: Una estrategia para la producción científica de docentes
universitarios. Revista de Ciencias Sociales (Ve),
XXVIII(2), 381-391. https://doi.org/10.31876/rcs.v28i2.37945
Organización de las Naciones Unidas
para la Educación, la Ciencia y la Cultura - UNESCO (1983). Guía para la
redacción de artículos científicos destinados a la publicación. UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000055778_spa
Pulido-Medina, C., y Mejía, C. R.
(2018). Publicación científica de los docentes de medicina en una universidad
colombiana: Características y factores asociados. Revista Cubana de Educación Medica Superior, 32(2), 1-9. https://www.medigraphic.com/cgi-bin/new/resumen.cgi?IDARTICULO=85802
Putnick, D. L., y Bornstein, M. H. (2016).
Measurement invariance conventions and reporting: The state of the art and future directions
for psychological research. Developmental Review, 41, 71-90. https://doi.org/10.1016/J.DR.2016.06.004
Rakedzon, T., y Baram-Tsabari, A.
(2017). To make a long story short: A rubric for assessing graduate
students’ academic and popular science writing skills. Assessing Writing,
32, 28-42. https://doi.org/10.1016/j.asw.2016.12.004
Raykov, T. (1997). Estimation of composite
reliability for congeneric measures. Applied
Psychological Measurement, 21(2), 173-184. https://doi.org/10.1177/01466216970212006
Rojas,
A. L., López, R., Socorro, A. R., y León, J. L. (2021). Estudio de la producción científica en la Universidad
Metropolitana del Ecuador, en el período 2020-2021. Universidad y Sociedad, 13(6),
89-98. https://rus.ucf.edu.cu/index.php/rus/article/view/2370
Ruiz,
J., y Moya, S. (2020). Evaluación
de las competencias y de los resultados de aprendizaje en destrezas y
habilidades en los estudiantes de Grado de Podología de la Universidad de
Barcelona. Educación Médica, 21(2),
127-136. https://doi.org/10.1016/j.edumed.2018.08.007
Santesteban-Echarri,
O., y Núñez-Morales, N. I. (2017). Cómo escribir un artículo científico por
primera vez. Psiquiatría Biológica, 24(1), 3-9. https://doi.org/10.1016/j.psiq.2017.01.004
Suárez-Amaya,
W., Ganga-Contreras, F., y Pedrajas-Rejas, L. (2019). Óptica de Revistas
Científicas Iberoamericanas sobre Principales errores en la presentación de
artículos. Revista de Ciencias Sociales (Ve), XXV(1), 156-172.
Suárez-Amaya,
W., Rodríguez-Altamirano, M., y Ganga, F. A. (2022). Estrategias para promover
la producción científica universitaria en Chile. Revista de Ciencias
Sociales (Ve), XXVIII(2), 350-362. https://doi.org/10.31876/rcs.v28i2.37943
Turpo-Gebera,
O., Limaymanta, C. H., y Sanz-Casado, E. (2021). Producción científica y tecnológica
de Perú en el contexto sudamericano: Un análisis cienciométrico. Profesional
de la Informacion, 30(5), e300515. https://doi.org/10.3145/epi.2021.sep.15
Watson, S.
(2022). ‘Don’t cross the line, you’re a researcher and not an educator’:
Incorporating indigenous researchers’ moral perspectives to improve ethical
protocols in health research. Social Science & Medicine, 315,
115503. https://doi.org/10.1016/j.socscimed.2022.115503