Modelos de ecuaciones estructurales en investigaciones de ciencias sociales: Experiencia de uso en Facebook*

Doral Fábregas, Fernando**

Rodríguez Ardura, Inma***

Meseguer Artola, Antoni***

Resumen

La metodología basada en modelos de ecuaciones estructurales, puede resultar de gran ayuda en las investigaciones. Como contrapartida, su aplicación conlleva un minucioso proceso que debe ser seguido rigurosamente, para poder validar la fiabilidad de las conclusiones arrojadas por los estudios. El presente artículo tiene como objetivo describir este proceso aplicado en un caso relacionado con el comportamiento del consumidor, especialmente en el estudio de los factores que favorecen la fidelidad entre los usuarios de Facebook. Se diseñó un estudio descriptivo, incluyendo un cuestionario auto-administrado alojado en un sitio web a una muestra de ٣٧١ usuarios mayores de ١٨ años que acceden a Facebook al menos una vez al mes, los datos fueron recopilados y analizados aplicando la metodología de ecuaciones estructurales para el contraste del modelo. Como resultado se pudo refrendar ١٣ de las ١٥ hipótesis propuestas, lo cual permitió conocer algunos de los factores que favorecen la lealtad de los usuarios de Facebook, contribuyendo además a verificar la adecuación de los modelos de ecuaciones estructurales como metodología principal en las investigaciones en el área de las ciencias sociales.

Palabras clave: Modelos de ecuaciones estructurales-SEM; validación de modelos complejos; investigaciones en ciencias sociales; lealtad en redes sociales; estudio teórico-práctico.

Models of structural equations in social science research: User experience in Facebook

Abstract

The methodology based on models of structural equations can be of great help in investigations. In return, its application involves a thorough process that must be rigorously followed, in order to validate the reliability of the conclusions drawn by the studies. The objective of this article is to describe this process applied in a case related to consumer behavior, especially in the study of the factors that favor fidelity among Facebook users. A descriptive study was designed, including a self-administered questionnaire hosted on a website to a sample of ٣٧١ users over ١٨ who access Facebook at least once a month, the data was collected and analyzed applying the methodology of structural equations for the contrast of the model. As a result, ١٣ of the ١٥ hypotheses proposed could be endorsed, which allowed knowing some of the factors that favor the loyalty of Facebook users, also contributing to verify the suitability of the structural equation models as the main methodology in the investigations in the area of social sciences.

Keywords: Structured Equation Model-SEM; complex models validation; research in the social sciences; loyalty in social networks; theoretical-practical study.

Introducción

Con frecuencia las investigaciones en el área de las ciencias sociales tienen como objetivo contrastar hipótesis en forma de relaciones entre constructos, que se definen a través de un conjunto de ítems. En estas circunstancias, la aplicación de modelos de ecuaciones estructurales (SEM) resulta altamente recomendable (Merchant et al., 2013).

En ese tipo de modelos que recogen variables latentes definidas mediante múltiples indicadores, junto con las relaciones que los unen, SEM ofrece interesantes ventajas con respecto a otros métodos como los de regresión lineal (Gefen et al., 2010). Esto es así porque SEM combina diferentes modelos para describir las relaciones entre constructos, ofreciendo pruebas cuantitativas para verificar la validez de los modelos que se han definido hipotéticamente por el investigador (Schumacker y Lomax, 2010).

Así, el modelo de ecuaciones estructurales es un método flexible para probar relaciones entre múltiples variables observables y latentes no observables, con distintas medidas para contrastar los modelos teóricos con los datos empíricos obtenidos en una investigación (Chin, 2013).

Por ello SEM fue el método utilizado para validar el modelo que se empleo en el estudio de la lealtad hacia la red social Facebook. El mismo consistió en ocho variables latentes (constructos), definidos a partir de una serie de ítems que se especifican en la Tabla I. La investigación partía de una serie de hipótesis inferidas a raíz del estudio de la literatura, que se reflejan en el modelo en forma de relaciones entre los constructos.

En la literatura, principalmente en idioma inglés, se pueden encontrar artículos que explican los resultados de diferentes investigaciones gracias a la aplicación de metodologías SEM (Alumran et al., 2014, Ramayah, 2012; Teo, 2006). Asimismo se encuentran otro conjunto de artículos que explican de modo teórico cómo utilizar SEM (Fabrigar et al., 2010; Gefen et al., 2011; Lacobucci, 2009; McDonald y Ho, 2002; Merchant et al., 2013; Schmukle y Hardt, 2005).

En castellano también se encuentran los dos tipos de artículos: si bien son más numerosos los que explican de modo teórico la aplicación de la metodología (Medrano y Muñoz-Navarro, 2017; Vargas y Mora-Esquivel, 2016), también se encuentran los que hacen referencia a su aplicación en alguna investigación específica (Álvarez-Sousa, 2016; Hernández de Arellano, 2016; Vargas y Montero, 2016).

Sin embargo actualmente se detecta una carencia de artículos científicos, máxime en idioma castellano, que aborden la investigación con un enfoque a la vez empírico y metodológico, que facilitarían la labor de los investigadores. Este artículo pretende contribuir a cubrir dicha carencia, con la explicación detallada de la metodología, pero no sólo de un modo teórico, sino explicada paso a paso en la investigación relacionada con la lealtad hacia la red social Facebook.

La investigación cuyo proceso se describe en el presente artículo tiene como finalidad contrastar las relaciones entre una serie de constructos, y analizar su posible impacto en el aumento de la fidelidad entre los consumidores de la red social Facebook. Por lo tanto, se describen paso a paso los procedimientos que ayudaron a ratificar la validez de los constructos propuestos en el modelo, los distintos índices que fueron, y deben ser tenidos en cuenta para validar el modelo estructura, así como el modo en que se consiguió mejorar el ajuste de dichos índices para asegurar la representatividad del modelo.

La elección de Facebook se debe a su situación como tecnología consolidada según las fases de Varian (Fondevila y Doral, 2010), y a contar con la mayor masa de usuarios entre todas las redes sociales en Internet (Kemp, 2016). Así, se llevó a cabo un cuestionario dirigido a personas mayores de 18 años que utilizan Facebook al menos una vez al mes. Se utilizó un método de muestreo por bola de nieve, idóneo cuando se cuenta con una población restringida y a la que se tiene difícil acceso (Browne, 2005), en cuyo caso es adecuado hacer que cada individuo proporcione a su vez referencias de nuevos encuestados (Atkinson y Flint, 2001).

Como resultado se obtuvo un total de 371 respuestas completas. Este tamaño muestral pudo considerarse válido, al sobrepasar ampliamente el número mínimo calculado según la fórmula de Westland (2010), que para un modelo como el de ésta investigación se situaría en 241 observaciones.

1. Modelo conceptual de la investigación

En la presente investigación se analizan las relaciones entre los siguientes constructos vinculados con la experiencia de uso del Facebook (los nombres de los constructos e ítems aparecen en inglés, por ser el idioma original del proyecto de investigación, que está desarrollado íntegramente en inglés):

Fuente: Elaboración propia, 2016

Figura I. Modelo inicial

2. Paso a paso los procedimientos

Como se dijo anteriormente, el presente artículo describe exhaustivamente el proceso seguido para, partiendo de éste modelo inicial definido a partir del estudio de la literatura, conseguir un modelo definitivo ajustado, con una fiabilidad suficiente para contrastar las hipótesis de partida. El proceso consistió en los siguientes pasos, aplicados en la investigación y que se detallan posteriormente: 1- Limpieza de los datos; 2- Comprobación de la validez de los constructos: a) Validación convergente, b) Validación discriminante y c) Análisis factorial y 3- Aplicación del modelo estructural: a) Ajuste de los índices y b) Validación de las relaciones propuestas como hipótesis.

2.1. Limpieza de los datos

Es necesario tener en cuenta que no conviene que haya ningún ítem sin responder. Es decir, la ausencia de respuesta a alguna de las preguntas del cuestionario, invalida el registro completo del encuestado. Esto es así porque algunos de los índices necesarios para validar el ajuste del modelo, exigen la ausencia de registros vacíos. Así, la existencia de una sola cuestión sin responder impide el cálculo de índices de los que se habla a continuación, como el GFI (Goodness-of-fit), PGFI (Parsimony goodness-of-Fit), AGFI (Adjusted goodness-of-fit), RMR (Root mean square) y SRMR (Standarized root mean square).

En la investigación fue necesario desechar más de la mitad de las respuestas (384 de las 755 recogidas), por contener al menos una pregunta sin responder. Aun así el número de respuestas obtenidas era suficientemente alto como para no tener que trabajar en la recuperación de los datos perdidos, de acuerdo con la fórmula de Westland (2010), que teniendo en cuenta el número de constructos e ítems del modelo estructural, exigiría un mínimo de 241 observaciones. De no alcanzar dicho número se habría tenido que estudiar el método más apropiado para paliar la carencia (Hair et al., 2010).

2.2. Comprobación de la validez de los constructos

La primera comprobación que resulta interesante hacer con respecto al modelo, es conocer hasta qué punto los ítems seleccionados para explicar cada constructo, son realmente representativos. Cabe destacar que la selección en esta fase de los ítems que componen el modelo no es necesariamente la definitiva; es posible que para alcanzar mejores niveles de ajuste del modelo, en sucesivas fases se puedan eliminar algunos ítems más. En esta fase el objetivo será básicamente evaluar la validez de las escalas que se escogieron, teniendo en cuenta el modelo y los datos obtenidos. Para ello hay dos tipos de validaciones: convergente y discriminante (Heinzl et al., 2011).

a. Validación convergente

Sirve para evaluar hasta qué punto los ítems seleccionados son representativos para definir las variables latentes del modelo. El método seleccionado para ello es un análisis de dos coeficientes: el Alfa de Cronbach del constructo y el Item-to-total de cada constructo. En este caso se utilizó SPSS Statistic 22.0 para la obtención de los indicadores de validación convergente.

El coeficiente Alfa de Cronbach es el índice más utilizado para medir la consistencia interna (Zeller y Carmines, 1980). Mide la correlación entre la escala actual y otra cualquiera; si la escala (el conjunto de ítems) escogida describe de modo correcto el constructo, el Alfa de Cronbach del constructo debe arrojar un resultado mayor que 0,7 (Grande y Abascal, 2007). El coeficiente item-to-total mide la correlación de un indicador con respecto a la suma de todos los indicadores del constructo (Jais, 2007; Roszkowski y Soven, 2010), y se suele considerar que un valor superior a 0,5 indica una aceptable contribución del ítem a la explicación del constructo (Yang et al., 2015, Blaikie, 2004, Swartout et al., 2015), si bien hay autores como Gopichandran et al. (2015) o Karayurt et al. (2009) que sitúan el límite algo más bajo (0,4). En cualquier caso en general suele aconsejarse eliminar los ítems con valor item-to-total más bajo, sólo cuando se desee incrementar el coeficiente Alfa de Cronbach (Jais, 2007).

Para decidir si conviene eliminar algún ítem, SPSS proporciona otro indicador más, que puede resultar de utilidad: el Alfa de Cronbach si se elimina el ítem. Es de esperar que este valor sea menor que el Alfa de Cronbach para el constructo, de lo contrario se tendría que suponer que el Alfa de Cronbach da un mejor resultado eliminando el ítem que manteniéndolo, lo cual es un argumento a favor de suprimirlo. En cualquier caso, la decisión de eliminar o no algún ítem, se tomaría analizando todos los indicadores; si el Alfa de Cronbach del constructo es suficientemente alto, en esta fase no sería necesario eliminar ningún ítem, a menos que su ítem-to-total fuera demasiado bajo, lo cual significaría que su aportación es baja; sí será conveniente tenerlo en cuenta para fases posteriores, dado que la abundancia de ítems para definir los constructos con frecuencia dificulta el ajuste del modelo.

En la Tabla I se muestran los valores de los indicadores Alpha de Cronbach de cada constructo, así como el item-to-total y el Alfa de Cronbach si se elimina el ítem, para cada ítem del modelo. Para completar el análisis convergente, se contemplan dos indicadores más, que miden la consistencia -esto es, la ausencia de error- de los ítems a la hora de definir los constructos. El primero es la fiabilidad compuesta (Composite Reliability, CR), que para indicar una fiabilidad aceptable, debe estar por encima de 0,7 para todos los constructos (Heinzl et al., 2011). El segundo índice, AVE (Average Variance Extracted, varianza extraída promedio), mide la varianza capturada por un constructo en relación con los demás del modelo, y debe arrojar un valor superior a 0,5 (Fornell y Larcker, 1981).

Los indicadores CR y AVE no son proporcionados por SPSS, como tampoco los indicadores de la validación discriminante MSV y ASV que se veran a continuación. En la investigación se utilizó una hoja de cálculo con las fórmulas para su obtención a partir de la carga factorial de los ítems de cada constructo. Los valores de CR y AVE también se incluyen en la Tabla I.

Tabla I

Validez de los constructos. Validación Convergente y Discriminante

Construct

Variable

α Cronbach

Item-total correlation

α Cronbach si se elimina

Factor loading

CR

AVE

MSV

ASV

Spatial presence

SP1

0.916

0.685

0.910

0.756

0.917

0.649

0.426

0.102

SP2

0.764

0.903

0.812

SP3

0.806

0.897

0.845

SP4

0.819

0.896

0.846

SP5

0.627

0.918

0.743

SP6

0.808

0.897

0.834

SP7

0.751

0.904

0.780

Social presence

SOP1

0.531

0.448

0.340

0.870

0.602

0.311

0.214

0.098

SOP2

0.479

0.325

0.807

SOP3

0.144

0.594

0.088

SOP4

0.245

0.531

0.430

Flow

FLW1

0.892

0.806

0.884

0.854

0.913

0.779

0.426

0.124

FLW2

0.788

0.854

0.672

FLW3

0.862

0.813

0.755

Interactivity

INT1

0.908

0.766

0.891

0.792

0.910

0.539

0.296

0.139

INT2

0.758

0.893

0.763

INT3

0.770

0.891

0.834

INT4

0.755

0.891

0.856

INT5

0.719

0.895

0.800

INT6

0.701

0.896

0.757

INT7

0.485

0.912

0.710

INT8

0.672

0.898

0.680

INT9

0.565

0.906

0.820

Attitude

ATT1

0.895

0.756

0.873

0.792

0.897

0.556

0.332

0.145

ATT2

0.636

0.887

0.706

ATT3

0.663

0.884

0.672

ATT4

0.730

0.876

0.745

ATT5

0.691

0.881

0.753

ATT6

0.766

0.872

0.817

ATT7

0.641

0.888

0.653

OSL

OSL1

0.901

0.683

0.891

0.729

0.904

0.556

0.041

0.020

OSL2

0.694

0.889

0.744

OSL3

0.661

0.893

0.777

OSL4

0.793

0.877

0.854

OSL5

0.769

0.880

0.833

OSL6

0.712

0.887

0.800

OSL7

0.675

0.891

0.766

Subjective norms

SBN1

0.948

0.853

0.939

0.887

0.949

0.822

0.120

0.083

SBN2

0.887

0.928

0.891

SBN3

0.880

0.931

0.889

SBN4

0.880

0.930

0.883

Continuance intention

CNT1

0.872

0.808

0.775

0.800

0.887

0.762

0.332

0.139

CNT2

0.825

0.754

0.823

CNT3

0.644

0.923

0.576

Fuente: Elaboración propia, 2016

b. Validación discriminante

La validación discriminante sirve para verificar que los indicadores de un constructo latente, no están relacionados con los constructos con los que no deben estarlo. Para analizarlo, se utilizan dos indicadores que miden hasta qué punto una variable puede ser explicada por otra, calculando el grado de varianza compartida por ambas (Hair et al., 2010). Los índices utilizados en esta validación son MSV (Maximum Shared Squared Variance, máxima varianza compartida al cuadrado) y ASV (Average Shared Square Variance, varianza media al cuadrado compartida). Los valores de ambos índices deben ser menores que el valor de AVE, como señal de que los ítems ayudan más a definir el constructo al que pertenecen, que a otros distintos. Los valores de MSV y ASV también se incluyen en la Tabla I.

c. Análisis factorial

La carga de cada factor con respecto al constructo es importante, dado que es un indicador de cuánto contribuye a definir dicho constructo; por ello es exigible que sea significativo, lo cual conlleva un valor por encima de 0.7, o al menos 0.5 (Hair et al., 2010). La carga factorial de todos los ítems está por último recogida en la Tabla I, completando así todos los indicadores de validez de los constructos utilizados.

Como puede comprobarse en la tabla, en el modelo sólo hay un constructo para el cual la selección de ítems parece presentar un problema: social presence, dado que hay tres índices que están por debajo del límite aconsejado: el Alfa de Cronbach (0.531) está por debajo de 0.7, el CR (0.602) también está por debajo de 0.7, y el AVE (0.311) es inferior a 0.5. Si se observa sus dos últimos constructos (SOP3 y SOP4), ambos tienen un coeficiente item-to-total muy bajo (0.144, 0.245), y en ambos casos su eliminación mejora o no empeora el Alfa de Cronbach del constructo. Además la carga factorial de ambos es muy baja (0.088 y 0.430), en ambos casos por debajo del mínimo exigible (0.5). Esto invita a pensar en su eliminación del modelo.

Además, el tercer ítem de Continuance Intention (CNT3) también parece poco significativo, dado que su carga factorial es baja (0.576), y aunque su item-to-total no es excesivamente bajo (0.644), su eliminación elevaría el Alfa de Cronbach de un modo muy significativo.

Una vez eliminados esos dos constructos de Social presence, los indicadores subieron significativamente: el Alfa de Cronbach subió hasta 0.72, CR tomó un valor de 0.718 y AVE se elevó hasta 0.561, con lo que todos los indicadores pasaron a soportar la validez del constructo. De igual forma, después de suprimir el tercer ítem de Continuance Intention (CNT3), elevó sus indicadores: el Alfa de Cronbach pasó a 0.923, CR mejoró hasta 0.924 y AVE hasta 0.859. De esta manera concluyó con éxito la fase de validación de los constructos a partir de los ítems del modelo.

2.3. Aplicación del modelo estructural

Una vez depurado el modelo y asegurado de que los constructos están correctamente y significativamente definidos a partir de los ítems, se procede a aplicar el modelo estructural para, una vez ajustado, validar las hipótesis formuladas en forma de relaciones entre los constructos. En esta investigación se utilizó el software estadístico Amos 22.0 para el análisis del modelo estructural.

a. Ajuste de los índices

Para analizar la validez del modelo, se procedió a evaluar la bondad del ajuste. Los índices que suelen ser utilizados para evaluar la bondad del ajuste de los modelos, se clasifican en tres grupos: medidas de ajuste absoluto, de ajuste incremental y de parsimonia (Ho, 2006). Siguiendo las recomendaciones (Hair et al., 2010; Hooper et al., 2008), para el estudio se analizaron los índices más importantes en cada uno de los tres grupos. Todos los resultados de los índices se encuentran en la Tabla II.

Tabla II

Índices de ajuste del modelo

Índice de ajuste

Valor

Umbral recomendado

Medidas de ajuste absoluto

χ2

1957.239

Mejor cuanto menor

d.f.

768

P-value

0.000

> 0.05

χ2/d.f.

2,548

< 5 → OK

GFI

0,797

> 0.80 → No OK

SRMR

0,122

< 0.08 → No OK

AGFI

0,772

> 0.80 → No OK

RMSEA

0,065

< 0.08 → OK

Incremental fit measures

NFI

0,828

> 0.90 → No OK

TLI

0,880

> 0.90 → No OK

CFI

0,887

> 0.90 → OK

Parsimonious fit measures

PGFI

0,711

> 0.50 → OK

PNFI

0,775

> 0.50 → OK

PCFI

0,831

> 0.50 → OK

Fuente: Elaboración propia, 2016

Medidas de ajuste absoluto. Este tipo de índices determinan el ajuste de un modelo hipotético en contraste con datos empíricos, por comparación con el contraste sin ningún modelo de referencia (Hooper et al., 2008). Para el modelo se contrastaron cinco índices de ajuste absoluto: Chi cuadrado, Root mean square error of approximation, Goodness-of-fit, Adjusted goodness-of-fit statistic y Standardized root mean square residual. Se analizan en detalle a continuación.

Chi cuadrado (χ2). Es un índice tradicionalmente muy utilizado, que se calcula comparando covarianzas (Byrne, 1998). Para poder ser considerado aceptable, tendría que tomar un valor por debajo de 0.05. Sin embargo, es una medida muy sensible al tamaño de la muestra (Bentler y Bonett, 1980). Por ello, para estudios con muestras amplias como el de esta investigación, es más adecuado utilizarlo ponderado por los grados de libertad (en inglés “degrees of freedom”, d.f.), concepto estadístico complejo, del cual lo interesante es que su cálculo tiene en cuenta, tanto el tamaño de la muestra como el número de factores del modelo (Wheaton et al., 1977).

Dado el alcance de la investigación, los grados de libertad ascendían a 768. Así pues, en el estudio se ha tomado el valor de χ2/d.f., que para ser considerado aceptable debe tomar un valor entre 2.0 y 5.0 (Hooper et al., 2008). El valor de χ2/d.f. en el modelo es 2.548, que encaja perfectamente dentro de los parámetros aceptables.

Root mean square error of approximation (RMSEA). RMSEA indica el grado en el que el modelo se ajusta a la matriz de covarianza de la muestra. No hay un consenso acerca del umbral para considerar el ajuste aceptable: algunos autores consideran que debe estar por debajo de 0.08 (McDonald y Ho, 2006), mientras otros lo sitúan en 0.07 (Steiger, 2007). El valor de RMSEA en el modelo fue de 0.065, que está dentro de lo aceptable en cualquiera de los casos.

Goodness-of-fit (GFI). Calcula la bondad del ajuste midiendo qué parte de la varianza y covarianza de la muestra es explicada por el modelo. Se suele considerar 0.90 como umbral mínimo para un buen ajuste del GFI (Hooper et al., 2008). En el modelo el valor de GFI era 0.797, lo cual hace pensar en la necesidad de tomar alguna acción para mejorarlo.

Adjusted goodness-of-fit statistic (AGFI). Es el mismo indicador que GFI, pero ajustado según los grados de libertad (Westland, 2015). Un valor cercano a 1 indicaría un ajuste perfecto, mientras el límite mínimo que se suele admitir es 0.8 (Bentler y Bonnet, 1980), si bien otros autores manejan un corte más exigente en 0.9 (Gefen et al., 2011). El valor de AGFI para el modelo fue 0.772, cercano pero sin alcanzar incluso el límite menos exigente.

Standardized root mean square residual (SRMR). Es una variación del RMR (root mean square residual) propuesto por Jöreskog y Sörbom en 1981, que analiza las diferencias entre las matrices de covarianzas de la muestra y las del modelo. Como RMR es un índice demasiado dependiente del tamaño de las matrices, Bentler propuso su equivalente estandarizando los residuos (Hoyle, 2012), cuyo valor máximo depende del tamaño de la muestra. Así, por ejemplo para 250 observaciones se exigiría un valor por debajo de 0.1, mientras que para 500 observaciones el límite máximo se fijaría en 0.07 (Sivo et al., 2006). Para una muestra del tamaño de la del estudio (371), sería adecuado un límite máximo de 0.08 (Hooper et al., 2008), que desafortunadamente queda alejado del valor que arrojaba el modelo (0.122).

Medidas de ajuste incremental. Los índices incrementales, también llamados relativos (McDonald y Ho, 2002) y comparativos (Byrne, 1998), miden el grado de mejora del ajuste de un modelo en comparación con un modelo de base (Byrne, 2012). Se trata de un grupo de índices muy utilizados, dado que ayudan a interpretar χ2, índice muy dependiente del tamaño de la muestra (Miles y Shevlin, 2006); tanto es así que su uso está muy recomendado como medidas adicionales de ajuste (Schmukle y Hardt, 2005). Los índices incrementales que suelen utilizarse, y que fueron utilizados en la investigación son Normed fit index, Comparative fit index y Tucker-Lewis index.

Normed fit index (NFI). Es un índice propuesto por Bentler y Bonett (1980), que se basa en analizar la mejora de ajuste que se obtiene comparando dos modelos distintos, aplicado al modelo de estudio contra un modelo nulo (Hooper et al., 2008). NFI tiende a perder precisión con muestras pequeñas (Byrne, 1998). Toma valores entre 0 y 1, considerándose 0.9 el umbral para un indicador de buen ajuste. En el modelo el valor de NFI inicialmente fue de 0.828, cerca del umbral mínimo aunque sin alcanzarlo.

Comparative fit index (CFI). Para solucionar la dependencia de NFI al tamaño de la muestra, el mismo Bentler lo revisó y publicó el CFI, que compara el χ2, del modelo de estudio con el χ2 del modelo nulo. Igual que el anterior, toma valores entre 0 y 1, considerándose generalmente que un valor por encima de 0.9 indica un buen ajuste del modelo (Gefen et al., 2011). En el modelo, el valor inicial de CFI fue 0.887, que tampoco alcanzaba el valor mínimo aconsejado.

Non-Normed fit index (NNFI), más conocido como Tucker–Lewis index (TLI). También se basa en comparar el modelo de estudio con el modelo nulo, pero a diferencia de NFI se comporta mejor con modelos y muestras pequeñas (Byrne, 2012). Como desventaja, al no estar normalizado puede tomar valores por encima de 1, lo cual dificulta su interpretación (Teo, 2006). Al igual que con el resto de índices incrementales, se suele considerar 0.9 como umbral aceptable de la medida (McDonald y Ho, 2002). En el modelo el valor de TLI fue de 0.880, de nuevo cercano aunque por debajo del valor mínimo.

Medidas de parsimonia. Un problema que tienen los índices de ajuste absoluto e incremental, es que con frecuencia se comportan mejor con modelos simples, lo cual da como resultado que paradójicamente, los modelos menos rigurosos son los que reportan mejores valores de ajuste (Mulaik et al., 1989). Es por esto que en los análisis de ajuste se incluyen los índices de parsimonia, los cuales introducen los grados de libertad como factor de ponderación. Los índices de parsimonia utilizados generalmente -y así en este estudio-, son PGFI, PNFI y PCFI, basados respectivamente en GFI, NFI y CFI, es decir, su nomenclatura es la misma que las de sus índices de origen, precedidos por el término “parsimonious”. Dado que los índices de parsimonia se comportan de modo diferente al de las demás categorías, el umbral fijado para ellos es más bajo, situándose generalmente en 0.5 (Mulaik et al., 1989), en lugar de los cortes en 0.9 que suelen fijarse en los otros grupos de índices. En este caso los tres índices analizados sobrepasaban con cierta holgura el límite mínimo, tomando PGFI, PNFI y PCFI valores de 0.711, 0.775 y 0.831 respectivamente.

En la Tabla II se recogen todos los índices obtenidos en el modelo de la investigación. Como se puede observar en ella, aunque la mayoría de los índices están cercanos a los umbrales aconsejados, sería conveniente intentar mejorar el ajuste del modelo.

Acciones para la mejora del ajuste del modelo. Cuando, como en el caso de la investigación, los valores de los índices no pueden asegurar el buen ajuste del modelo, se puede comenzar actuando en una reducción de los ítems. Un número muy grande de ítems dificulta el ajuste del modelo, mientras un número pequeño podría no definir correctamente los constructos; por ello Lacobucci (2010) propuso tres ítems como el número idóneo para cada constructo.

Para la eliminación de ítems se deben tener en cuenta todos los criterios expuestos anteriormente. En primer lugar, los índices del análisis de validación convergente: aquellos ítems cuyo valor item-to-total sea más bajo y que por otra parte su indicador Alfa de Cronbach si se elimina el item sea más alto. En segundo lugar, la carga factorial de cada ítem, resultado del análisis factorial. Esto será especialmente necesario en los constructos con malos valores de los indicadores de la validación convergente y divergente.

En el modelo, siguiendo los anteriores criterios, se procedió a eliminar los siguientes ítems: SP1, SP2, SP5 y SP7 de Spatial presence, SOP3 y SOP4 de Social presence, INT1, INT2, INT6, INT7, INT8 y INT9 de Interactivity, ATT2, ATT3 y ATT7 de Attitude, OSL1, OSL2, OSL3 y OSL7 de OSL, SBN4 de Subjective norms y CNT3 de Continuance intention. La reducción de ítems mejoró sensiblemente el modelo en los tres tipos de índices:

Todos los índices de ajuste absoluto mejoraron: RMSEA bajó hasta 0.057 (menor que 0.08), χ2 / d.f. adquirió un valor de 2.212 (entre 2 y 5), GFI pasó el corte más exigente de 0.9 (0.906) y AGFI creció y continuó por encima del corte menos exigente (0.880). Solamente SRMR continuaba fuera del rango aceptable (0.123)

Los índices de ajuste incremental fueron los que más mejoraron, hasta tal punto que todos ellos pasaron los umbrales más exigentes: NFI con 0.917, TLI con 0.945 y CFI hasta 0.953. Los índices de parsimonia continuaron en valores correctos (todos por encima de 0.5): PGFI tomó un valor de 0.709, PCFI de 0.817 y PNFI de 0.786.

Aunque la mayoría de los índices hablaban del buen ajuste del modelo, preocupaba el valor del SRMR, por lo que se decidió continuar con la mejora. Para ello se aprovechó una información que suelen proporcionar las herramientas estadísticas que aplican modelos de ecuaciones estructurales (en este caso el software Amos): los Modification Indices (MI). MI recoge indicios de desajuste en los parámetros (Byrne, 2009) y sugiere nuevas relaciones entre los constructos, cuya inclusión podría mejorar el ajuste del modelo. Así, los modelos pueden mejorar incluyendo aquellas relaciones sugeridas por la herramienta estadística que cumplan dos condiciones: tener valores altos de MI, y además estar refrendadas por la literatura, dado que sería demasiado aventurado incluir relaciones no soportadas por estudios anteriores.

En este caso, los MI de Amos sugirieron diversas relaciones, entre las cuales, tras estudiar la literatura existente, se seleccionaron las siguientes, presentadas en la Tabla III:

Tabla III

Relaciones sugeridas por Amos

Relación sugerida

M.I.

Par Change

Interactivity → Attitude

18.335

0.181

Interactivity → Continuance intention

8.809

0.169

Social Presence → Continuance intention

15.099

0.229

Spatial Presence → Social Presence

8.100

0.168

Fuente: Elaboración propia, 2016

Gracias a la inclusión de las nuevas relaciones, se consiguió que el SRMR se situara en el límite aceptable, con un valor de 0.080. Con ello se garantizaba la validez del modelo, dado que todos sus índices hablaban de su buen ajuste, por lo que se puede confiar en la fiabilidad de sus resultados. El modelo resultante se muestra en la Figura II.

Fuente: Elaboración propia, 2016

Figura II

Modelo estructural resultante

b. Validación de las relaciones propuestas como hipótesis

Una vez obtenido un modelo ajustado se procede a analizar las relaciones entre los constructos. El software estadístico también proporciona esa información en forma de índices, tras analizar las relaciones según la varianza-covarianza de los datos (Schumacker y Lomax, 2010); concretamente es interesante fijarse en el peso de la regresión de cada relación, y especialmente en su significación, el p-valor, que debe estar por debajo de 0.50 para considerar la relación como válida.

Los valores de las relaciones del modelo se muestran en la tabla IV. En ella se puede comprobar que todas las relaciones del modelo son refrendadas por los datos, excepto dos de ellas: Social presence→Flow, con un p_valor de 0.450, y Spatial presence→Attitude, cuyo p_valor es de 0.346.

Tabla IV

Relaciones del modelo estructural IV

Hipótesis y relaciones

β

SE

CV

p

H1

OSL

→

FLOW

0,166

0,065

2,569

0,010

H2

Interactivity

→

Spatial presence

0,153

0,060

2,546

0,011

H3

Interactivity

→

Social presence

0,379

0,077

4,938

***

H4

Interactivity

→

Flow

0,188

0,067

2,824

0,005

H5

Spatial presence

→

Flow

0,850

0,072

11,813

***

H6

Social presence

→

Flow

0,056

0,074

0,755

0,450

H7

Spatial presence

→

Attitude

0,051

0,056

0,907

0,364

H8

Social presence

→

Attitude

0,098

0,046

2,138

0,032

H9

Flow

→

Attitude

0,078

0,030

2,589

0,010

H10

Attitude

→

Continuance intention

0,525

0,093

5,669

***

H11

Subjective norms

→

Continuance intention

0,132

0,048

2,955

0,030

H12

Interactivity

→

Attitude

0,259

0,048

5,374

***

H13

Social presence

→

Continuance intention

0,156

0,064

2,420

0,020

H14

Spatial presence

→

Social presence

0,221

0,690

3,185

0,001

H15

Interactivity

→

Continuance intention

0,282

0,069

4,104

***

β: estimados; SE: Error Estándar del peso de la regresión; CV: Valor de ratio crítica de la regresión; *** = 0.000.

Fuente: Elaboración propia, 2016

Así, con la garantía que ofrece el modelo ajustado, se puede afirmar que los datos recogidos en la investigación invitan a confirmar las hipótesis 1, 2, 3, 4, 5, 8, 9, 10, 11, 12, 13, 14 y 15, mientras que la 6 y la 7 deberían ser rechazadas.

Conclusiones

Los modelos basados en ecuaciones estructurales se han convertido en un excelente aliado de los investigadores. Ello ha propiciado un número creciente de estudios relacionados con las ciencias sociales que utilizan SEM como base estadística. Sin embargo, el detalle del proceso requerido y seguido en dichas investigaciones no suele aparecer en la literatura contrastado con los resultados obtenidos, por lo que se detecta una carencia de artículos con un enfoque teórico y a la vez práctico.

En este artículo se ha explicado este proceso basado en conceptos estadísticos, aplicado a un estudio concluido con éxito acerca del comportamiento del consumidor de redes sociales. A lo largo de él se ha expuesto en qué consistió la aplicación de las sucesivas técnicas que han concluido por ofrecer un diagnóstico fiable acerca de las hipótesis formuladas: la limpieza de los datos ha posibilitado que no haya índices imposibles de calcular; las validaciones convergente y discriminante han asegurado que los constructos están correctamente definidos por sus ítems respectivos; por último el cálculo de los índices de ajuste absoluto, incremental y de parsimonia han refrendado el ajuste del modelo.

Con todo ello se ha estado en condiciones de diagnosticar la validez de las hipótesis formuladas, mediante el análisis de los parámetros de las relaciones en el modelo SEM, que arrojan una relación positiva de attitude, interactivity, social presence y subjective norms en la formación de lealtad hacia Facebook, además de un importante impacto de interactivity sobre presence, attitude y flow, de interactivity sobre OSL y social presence, de OSL y spatial presence sobre flow, de social presence y flow sobre attitude y de de spatial sobre social presence.

Así se ha construido un marco de referencia teórico-empírico que puede ser de ayuda para futuras investigaciones en el área de las ciencias sociales, que apliquen metodología de ecuaciones estructurales.

Referencias Bibliográficas

Ajzen, Icek (٢٠٠٢). “Perceived behavioral control, self-efficacy, locus of control, and the theory of planned behavior”. Journal of Applied Social Psychology. Vol. ٣٢, No. ٤. Massachusetts, EEUU. Pp. ٦٦٥-٦٨٣.

Ajzen, Icek y Fishbein, Martin (١٩٨٠). Understanding attitudes and predicting social behavior. Englewood Cliffs, Nueva Jersey, EEUU. Prentice Hall.

Álvarez-Sousa, Antonio (٢٠١٥). “Imagen, lealtad y promoción turística. Análisis con ecuaciones estructurales”. Pasos: Revista de turismo y patrimonio cultural. Vol. ١٣, No. ٣. La Coruña, España.

Atkinson, Rowland y Flint, John (٢٠٠١). “Accessing hidden and hard-to-reach populations: snowball research strategies”. Social Research Update. Vol. ٣٣, No. ١. Guildford, Reino Unido. Pp. ١-٤.

Bentler, Peter M. y Bonnett, D.G. (١٩٨٠). “Significance tests and goodness of fit in the analysis of covariance structures”. Psychological Bulletin. Vol. ٨٨, No. ٣. Washington, EEUU. Pp. ٥٨٨-٦٠٦.

Blaikie, Norman (٢٠٠٤). Analyzing quantitative data. Londres. SAGE Publications.

Bosnjak, Michael; Tuten, Tracy y Wittmann, Werner W. (٢٠٠٥). “Unit (non) response in web-based access panel surveys: An extended planned behavior approach”. Psychology & Marketing. Vol. ٢٢, No. ٦. Hoboken, Nueva Jersey, EEUU. Pp. ٤٨٩-٥٠٥.

Browne, Kath (٢٠٠٥). “Snowball sampling: using social networks to research non‐heterosexual women”. International Journal of Social Research Methodology. Vol. ٨, No. ٥. Abingdon, Reino Unido. Pp. ٣٧-٦٠.

Bruner, Gordon C. y Hensel, Paul J. (١٩٩٦). Marketing Scales Handbook: A Compilation of Multi-Item Measures. Chicago, Illinois, EEUU. AMA.

Byrne, Barbara M. (١٩٩٨). Structural equation modeling with LISREL, PRELIS and SIMPLIS. Mahwah, Nueva Jersey, EEUU. Lawrence Erlbaum Associates.

Byrne, Barbara M. (٢٠٠٩). Structural equation modeling with AMOS. Basic concepts, applications and programming. ٢nd edition. Nueva York, EEUU. Routledge.

Byrne, Barbara M. (٢٠١٢). Structural equation modeling with Mplus. Basic concepts, applications and programming. Nueva York, EEUU. Routledge.

Chang, Man Kit (١٩٩٨). “Predicting unethical behavior: a comparison of the theory of reasoned action and the theory of planned behavior”. Journal of Business Ethics. Vol. ١٧, No. ١٦. Berlín, Alemania. Pp. ١٨٢٥-١٨٣٤.

Childers, Terry L.; Carr, Christopher L.; Peck, Joann y Carson, Stephen (٢٠٠١). “Hedonic and utilitarian motivations for online retail shopping behavior”. Journal of Retailing. Vol. ٧٧, No. ٤. Amsterdam, Holanda. Pp. ٥١١-٥٣٥.

Chin, Wynne W. (٢٠١٣). “The partial least squares approach to structural equation modeling”. En Marcoulides, Georges A. Modern methods for business research. Nueva York, EEUU. Psychology Press.

Csikszentmihalyi, Mihaly (١٩٧٥). Beyond boredom and anxiety (١ª ed.). San Francisco, California, JosseyBass.

Fabrigar, Leandre R.; Porter, Ronald D. y Norris, Meghan E. (٢٠١٠). “Some things you should know about structural equation modeling but never thought to ask”. Journal of Consumer Psychology. Vol. ٢٠. Hoboken, Nueva Jersey, EEUU. Pp. ٢٢١-٢٢٥.

Fontdevila, Joan F. y Doral, Fernando (٢٠١٠). “Tendencias y fenómenos tecnológicos: Insights como técnica para aprender del pasado. Telecomunicaciones en España ١٩٩٥-٢٠٠٦”. Enl@ce: Revista Venezolana de Información. Vol. ٧, No. ١. Maracaibo, Venezuela. Pp. ٩٧-١١٩.

Fornell, Claes y Larcker, David F. (١٩٨١). “Evaluating structural equation models with unobservable variables and measurement error”. Journal of Marketing Research. Vol. ١٨, No. ١. Birmingham, Alabama, EEUU. Pp. ٣٩-٥٠.

Garlington, Warren K. y Shimota, Helen E. (١٩٦٤). “The change seeker index: A measure of the need for variable stimulus input”. Psychological Reports. Vol. ١٤. Los Angeles, California, EEUU. Pp. ٩١٩-٩٢٤.

Gefen, David; Rigdon, Edward E. y Straub, Detmar (٢٠١١). “An update and extension to SEM guidelines for administrative and social science research”. MIS Quarterly. Vol. ٣٥, No. ٢. Minneapolis, Minnessota, EEUU. Pp. iii-A٧.

Gopichandran, Vijayaprasad; Wouters, Edwin y Chetlapalli, Satish Kumar (٢٠١٥). “Development and validation of a socioculturally competent trust in physician scale for a developing country setting”. BMJ Open. Vol. ٥, No. ٤. Londres, Reino Unido. Pp. e٠٠٧٣٠٥.

Grande Esteban, Ildefonso y Abascal Fernández, Elena (٢٠٠٧). Fundamentos y técnicas de investigación comercial. ٩ª edición. Pozuelo de Alarcón, España. Esic Editorial.

Hair, Joseph F. Jr.; Black, William C.; Babin, Barry J. y Anderson, Ralph E. (٢٠١٠). Multivariate data analysis, ٧th edition. Upper Saddle River, Nueva Jersey, EEUU. Prentice Hall.

Hebb, Donald O. (١٩٥٥). “Drives and the CNS (conceptual nervous system)”. Psychological Review. Vol. ٦٢, No ٤. Washington, EEUU. Pp. ٢٤٣-٢٥٤.

Heinzl, Armin; Buxmann, Peter M.; Wendt, Oliver y Weitzel, Tim (٢٠١١). Theory-guided modeling and empiricism in information systems research. Berlin, Alemania. Springer Verlag.

Hernández de Arellano, Juan L. (٢٠١٦). “Modelos de ecuaciones estructurales aplicados al análisis de fatiga”. Revista Ciencias de la Salud. Vol. ١٤. Bogotá, Colombia.

Ho, Robert (٢٠٠٦). Handbook of univariate and multivariate data analysis and interpretation with SPSS. Boca Raton, Florida, EEUU. CRC Press.

Hooper, Daire; Coughlan, Joseph y Mullen, Michael R. (٢٠٠٨). “Structural equation modelling: guidelines for determining model fit”. The Electronic Journal of Business Research Methods. Vol. ٦, No. ١. Sonning Common, Reino Unido. Pp. ٥٣-٦٠.

Hoyle, Rick H. (٢٠١٢). Handbook of structural equation modeling. Nueva York, EEUU. Gilford Press.

Iacobucci, Dan (٢٠١٠). “Structural equations modeling: fit Indices, sample size, and advanced topics”. Journal of Consumer Psychology. Vol. ٢٠, No. ١. Hoboken, Nueva Jersey, EEUU. Pp. ٩٠-٩٨.

Jais, Sebastian-Dominik (٢٠٠٧). The successful use of information in multinational companies. Wiesbaden, Alemania. Deutscher Universitäts-Verlag.

Jöreskog, Karl G. y Söborn, Dag (١٩٨٤). LISREL V: Analysis of linear structural relationships by the method of maximum likelihood. Chicago. Illinois, EEUU. National Educational.

Karayurt, Özgul; Mert, Hatice y Beser, Ayse (٢٠٠٩). “A study on development of a scale to assess nursing students’ performance in clinical settings”. Journal of Clinical Nursing. Vol. ١٨, No. ٨. Hoboken, Nueva Jersey, EEUU. Pp. ١١٢٣-١١٣٠.

Keller, Kevin L. (٢٠٠٨). Strategic Brand Management: Building, Measuring and Managing Brand Equity. ٣ª ed. New Jersey, Nueva Jersey, EEUU. Pearson Prentice Hall.

Kemp, Simon (٢٠١٦). “Digital in ٢٠١٦”. We Are Social. Disponible en: http://wearesocial.com/uk/special-reports/digital-in-٢٠١٦ [٢٥/٠٣/٢٠١٧].

Kreijns, Karel; Kirschner, Paula y Jochems, Wim, Van Buuren, Hans (٢٠٠٤). “Determining sociability, social space, and social presence in (a) synchronous collaborative groups”. Cyberpsychology & Behavior. Vol. ٧, No. ٢. Nueva York, EEUU. Pp. ١٥٥-١٧٢.

Leuba, Clarence (١٩٥٥). “Toward some integration of learning theories: the concept of optimal stimulation”. Psychological Reports. Vol. ١. Washington, EEUU. Pp. ٢٧-٣٣.

Lin, Chieh-Peng y Ding, Chern G. (٢٠٠٣). “Ethical ideology, subjective norm, and peer reporting intentions using an individual-situation moderator”. Asia Pacific Management Review. Vol. ٨, No. ٣. Amsterdam, Holanda. Pp. ٣١١-٣٣٦.

Liu, Yuping (٢٠٠٣). “Developing a scale to measure the interactivity of websites”. Journal of Advertising Research. Vol. ٤٣, No. ٢. Oxfordshire, Reino Unido. Pp. ٢٠٧-٢١٦.

McDonald, Roderick P y Ho, Moon-Ho Ringo. (٢٠٠٢). “Principles and practice in reporting statistical equation analyses”. Psychological Methods. Vol. ٧, No. ١. Bucks, Reino Unido. Pp. ٦٤-٨٢.

McMillan, Sally J. y Hwang, Jang-Sun. (٢٠٠٢). “Measures of perceived interactivity: an exploration of the role of direction of communication, user control, and time in shaping Perceptions of Interactivity”. Journal of Advertising. Vol. ٣١, No. ٣. Oxfordshire, Reino Unido. Pp. ٢٩-٤٢.

Medrano, Leonardo A. y Muñoz-Navarro, Roger (٢٠١٧). “Aproximación conceptual y práctica a los modelos de ecuaciones estructurales”. Revista Digital de Investigación en Docencia Universitaria. Vol. ١١, No. ١. Lima, Perú.

Merchant, William R.; Li, Jian; Karpinski, Aryn C y Rumrill, Phillip D. Jr. (٢٠١٣). “A conceptual overview of structural equation modeling (SEM) in rehabilitation research”. Work. Vol. ٤٥, No. ٣. Amsterdam, Holanda. Pp. ٤٠٧-٤١٥.

Miles, Jeremy .N.V. y Shevlin, Mark (٢٠٠٦). “A time and a place for incremental fit indices”. Personality and Individual Differences. Vol. ٤٢, No. ٥. Amsterdam, Holanda. Pp. ٨٦٩-٨٧٤.

Moon, Ji-Won. y Kim, Young-Gul. (٢٠٠١). “Extending the TAM for a World-Wide-Web context”. Information & Management. Vol. ٣٨, No. ٤. Amsterdam, Holanda. Pp. ٢١٧-٢٣٠.

Mulaik, Stanley A.; James, Larry R.; Van Alstine, Judith; Bennett, Nathan; Lind, Sherri y Stilwell, C. Dean (١٩٨٩). “Evaluation of goodness-of-fit indices for structural equation models”. Psychological Bulletin. Vol. ١٠٥, No. ٣. Washington, EEUU. Pp. ٤٣٠-٤٤٥.

Novak, Thomas P.; Hoffman, Donna L. y Yung, Y. (٢٠٠٠). “Measuring the customer experience in online environments: a structural modeling approach”. Marketing Science. Vol. ١٩, No. ١. Catonsville, Maryland, EEUU. Pp. ٢٢-٤٢.

Oliver, Richard L. (١٩٩٩). “Whence Consumer Loyalty?”. The Journal of Marketing. Vol. ٦٣. Birmingham, Alabama, EEUU. Pp. ٣٣-٤٤.

Ramayah, T. y Chow-Lee, Jason W. (٢٠١٢). “System characteristics, satisfaction and e-learning usage: a structural equation model (SEM)”. TOJET: The Turkish Online Journal of Educational Technology. Vol. ١١, No. ٢. Estambul, Turquía. Pp. ١٩٦-٢٠٦.

Rice, Ronald E. y Tyler, Joyce (١٩٩٥). “Individual and organizational influences on voice evaluation”. Behaviour & Information Technology. Vol. ١٤, No. ٦. Abingdon, Reino Unido. Pp. ٣٢٩-٣٤١.

Rodríguez Ardura, Inma y Meseguer Artola, Antoni (٢٠١٤). “What leads people to keep on e-learning? An empirical analysis of users’ experiences and their effects on continuance intention”. Interactive Learning Environments. Vol. ٢٤, No. ٦. Abingdon, Reino Unido. Pp. ١٠٣٠-١٠٥٣.

Roszkowski, Michael J. y Soven, Margot (٢٠١٠). “Shifting gears: consequences of including two negatively worded items in the middle of a positively worded questionnaire”. Assessment & Evaluation in Higher Education. Vol. ٣٥, No. ١. Abingdon, Reino Unido. Pp. ١١٣-١٣٠.

Schmukle, Stefan C. y Hardt, Jochen (٢٠٠٥). “A cautionary note on incremental fit indices reported by LISREL”. Methodology. Vol. ١, No. ٢. Boston, Massachusets, EEUU. Pp. ٨١-٨٥.

Schumacker, Randall E. y Lomax, Richard G. (٢٠١٠). A beginner’s guide to structural equation modeling. ٣ª ed. Nueva York, EEUU. Routledge.

Sivo, Stephen A.; Fan, Xitao; Witta, E. Lea y Willse, John T. (٢٠٠٦). “The search for “optimal” cutoff properties: fit index criteria in structural equation modelling”. The Journal of Experimental Education. Vol. ٧٤, No. ٣. Abingdon, Reino Unido. Pp. ٢٦٧-٢٨٨.

Song, Ji Hee y Zinkhan, George M. (٢٠٠٨). “Determinants of perceived web site interactivity”. Journal of Marketing. Vol. ٧٢, No. ٢. Birmingham, Alabama, EEUU. Pp. ٩٩-١١٣.

Steenkamp, Jan-Benedict E.M. y Baumgartner, Hans (١٩٩٥). “Development and cross-cultural validation of a short form of CSI as a measure of optimum stimulation level”. International Journal of Research in Marketing. Vol. ١٢, No. ٢. Amsterdam, Holanda. Pp. ٩٧-١٠٤.

Steiger, James H. (٢٠٠٧). “Understanding the limitations of global fit assessment in structural equation modelling”. Personality and Individual Differences. Vol. ٤٢, No. ٥. Amsterdam, Holanda. Pp. ٨٩٣-٨٩٨.

Swartout, Kevin M.; Parrott, Dominic J.; Cohen, Amy M.; Hagman, Brett T. y Gallagher, Kathryn E. (٢٠١٥). “Development of the Abbreviated Masculine Gender Role Stress Scale”. Psychological Assessment. Vol. ٢٧, No. ٢. Washington, EEUU. Pp. ٤٨٩-٥٠٠.

Teo, Timothy (٢٠٠٦). “Using structural equation modeling (SEM) in educational research: practices and issues”. IAES. Vol. ١٠, No. ١. Malacca, Malasia. Pp. ٤٩-٦٦.

Vargas, Marcia M. y Montero, Eiliana (٢٠١٦). “Factores que determinan el rendimiento académico en Matemáticas en el contexto de una universidad tecnológica: aplicación de un modelo de ecuaciones estructurales”. Universitas Psychologica. Vol. ١٥, No. ٤. Bogotá, Colombia.

Vargas, Tomás y Mora-Esquivel, Ronald (٢٠١٦). “Tamaño de la muestra en modelos de ecuaciones estructurales con constructos latentes: Un método práctico”. Revista Actualidades investigativas. Vol. ١٧, No. ١. Costa Rica. Pp. ١-٣٤.

Westland, J. Christopher (٢٠١٠). “Lower bounds on sample size in structural equation modeling”. Electronic Commerce Research and Applications. Vol. ٩, No. ٦. Amsterdam, Holanda. Pp. ٤٧٦-٤٨٧.

Westland, J. Christopher (٢٠١٥). Structural equation models. From path to networks. Cham, Suiza. Springer.

Wheaton, Blair; Muthén, Bengt; Alwin, Duane F. y Summers, Gene F. (١٩٧٧). “Assessing reliability and stability in panel models”. En D. R. Heise (ed.). Sociological methodology, San Francisco, EEUU. Jossey-Bass. Pp. ٨٤-١٣٦.

Wirth, Werner; Hartmann, Tilo; Böcking, Saskia; Vorderer, Peter; Klimmt, Christoph y Schramm, Holger(٢٠٠٧). “A process model of the formation of spatial presence experiences”. Media Psychology. Vol. ٩, No. ٣. Abingdon, Reino Unido. Pp. ٤٩٣-٥٢٥.

Wu, Guohua (١٩٩٩). “Perceived interactivity and attitude toward web sites”. En Proceedings of the conference-american academy of advertising. Nueva York, EEUU. American Academy of Advertising.

Yang, Fang; Bao, Jia-Ming; Huang, X.-H.; Guo, Q.; Smith, Graeme D. (٢٠١٥). “Measurement of resilience in Chinese older people”. International Nursing Review. Vol. ٦٢, No. ١١. Hoboken, Nueva Jersey, EEUU. Pp. ١٣٠-١٣٩.

Zeller, Richard A. y Carmines, Edward G. (١٩٨٠). Measurement in the social sciences, the link between theory and data. Cambridge, Reino Unido. Cambridge University Press.