Cuestionario

Confiabilidad y validez

​

Dr. Alfonso Cano Robles:

alfonso.cano@correo.buap.mx

1

Definición

Confiabilidad: La aplicación repetida del mismo instrumento a muestras equivalentes tiende a producir resultados similares.

Mayor profundidad en la discusión:

• Reidl-Martínez, L. M. (2013). Confiabilidad en la medición. Investigación en educación médica, 2(6), 107–111.

Validez: ¿El instrumento mide lo que se pretende medir?

2

Descarga desde aquí “Confiabilidad en la medición. Investigación en educación médica”: Download

Calcular

Alpha de Cronbach

3

Vídeo: Alpha de Cronbach con “psych()”

4

Descarga desde aquí el manual del paquete psych: Download

Base de datos: https://drive.google.com/file/d/1CXG6xs-YWFTpQiHTEiF_wi8IqAJkUV5P/view?usp=sharing

Aproximaciones para medir confiabilidad

• “Quizás porque es tan fácil de calcular y está disponible en la mayoría de los programas comerciales, alfa es sin duda la medida de fiabilidad de la consistencia interna reportada con más frecuencia.” (Revelle, 2019. p.20)
• “Los coeficientes β (beta de Revelle) y ω_h (omega_hierarchical de McDonald’s: estimación de la saturación del factor general de una prueba) son más apropiados estimaciones de la saturación general del factor. ω_t (omega_total de McDonald) es una mejor estimación de la confiabilidad de la prueba total (...)” (Revelle, 2019. p.20) debido a que se basa en análisis factorial.
• Alfa es una generalización de una estimación anterior de confiabilidad para pruebas con ítems dicotómicos desarrollado por Kuder y Richardson, conocido como KR20, y una aproximación de atajo a la prueba KR21.

5

6

Definición del Alfa de Cronbach

El Alfa de Cronbach es una prueba de fiabilidad usada comúnmente con escalas Likert y orientada a observar variables o dimensiones latentes, especialmente en instrumentos psicométricos. Por lo que se recomienda utilizar sólo con una dimensión a la vez (unidimensionalidad). (Andale, 2017)

En consecuencia, no se recomienda utilizar de manera general en todo el instrumento si se presume la existencia de más de una dimensión. Por lo cual, en estos casos se debe descomponer el análisis en varios pasos.

De igual manera, se recomienda correr un análisis factorial exploratorio (AFE) para identificar las «dimensiones latentes» si se desconoce su existencia.

Este coeficiente toma valores de 0 a 1, cuya interpretación se realiza de acuerdo a niveles cuya gradación va de inaceptable (0.5>α) a excelente (α≥0.9).

A pesar de ello, Tavakol & Dennick (2011), nos advierten que valores superiores a .95 deben ser tratados con cautela puesto que pueden indicar redundancia en las preguntas aplicadas. De la misma forma, mayor número de variables incrementa el valor de alfa. Igualmente nos advierte que la presencia de un alfa bajo no es necesariamente indicador de una fiabilidad inaceptable puesto que puede deberse a la existencia de más de una dimensión o bien, a que hay muy pocos reactivos para medirla adecuadamente.

Consideraciones para reportar Alpha de Cronbach

​

• Por dimensiones
• Como se observa en la tabla en la que se desglosa el Alfa de Cronbach por dimensiones: ...
• Ajuste de los elementos para elevar el alpha.
• Al eliminar (n) elementos de la dimensión se elevó el Alfa de Cronbach de (0.[X]) a (0.[X’]) por lo que se ha conseguido un nivel de consistencia (Nivel de consistencia) . Los elementos eliminados fueron: (...)

7

Referencias bibliográficas

​

8

• Andale. (2017, marzo 23). Cronbach’s Alpha: Simple Definition, Use and Interpretation [Andale]. Recuperado el 27 de junio de 2017, a partir de http://www.statisticshowto.com/cronbachs-alpha-spss/
• Goforth, C. (2015, noviembre 16). Using and Interpreting Cronbach’s Alpha [University of Virginia Library]. Recuperado el 9 de noviembre de 2016, a partir de http://data.library.virginia.edu/using-and-interpreting-cronbachs-alpha/
• Revelle, W. (2019). Procedures for Psychological, sychometric, and Personality Research: Package ‘psych’ (https://personality-project.org/r/psych; 1.8.12) [R; R Statistics]. North Western. https://cran.r-project.org/web/packages/psych/psych.pdf
• Tavakol, M., & Dennick, R. (2011). Making sense of Cronbach’s alpha. International Journal of Medical Education, 2, 53–55. https://doi.org/10.5116/ijme.4dfb.8dfd

Confiabilidad con ...

9

Alfa de Cronbach (⍺_est)

Parameters

• Conjunto de datos: bfi_s
• Subconjunto: A1, A2, A3, A4, A5

Sun Nov 14 08:54:14 2021

Ítems: 5

Unidades de muestra: 200

alpha: 0.47 (standardized)

Efectos en la alpha si se eliminan los items:

95% Intervalo de confianza:

​

Vídeo: Confiabilidad (⍺_est) y validez con RKWard (AFE)

10

Análisis Factorial Exploratorio y Confirmatorio

11

ANÁLISIS FACTORIAL vs COMPONENTES PRINCIPALES (continúa)

• El Análisis Factorial y el Análisis de Componentes Principales están muy relacionados. Algunos autores consideran el segundo como una etapa del primero y otros los consideran como técnicas diferentes.
• El Análisis de Componentes Principales trata de hallar componentes (factores) que sucesivamente expliquen la mayor parte de la varianza total. Por su parte el Análisis Factorial busca factores que expliquen la mayor parte de la varianza común.
• En el Análisis Factorial se distingue entre varianza común y varianza única. La varianza común es la parte de la variación de la variable que es compartida con las otras variables. La varianza única es la parte de la variación de la variable que es propia de esa variable.

12

Fuente: Discriminante. (27-03-2014). Recuperado el 13 de noviembre de 2021, de https://www.uv.es/ceaces/multivari/factorial/versus.htm

ANÁLISIS FACTORIAL vs COMPONENTES PRINCIPALES (continuación)

• El Análisis de Componentes Principales no hace esa distinción entre los dos tipos de varianza, se centra en la varianza total. Mientras que el Análisis de Componentes Principales busca hallar combinaciones lineales de las variables originales que expliquen la mayor parte de la variación total, el Análisis Factorial pretende hallar un nuevo conjunto de variables, menor en número que las variables originales, que exprese lo que es común a esas variables.
• El Análisis Factorial supone que existe un factor común subyacente a todas las variables, el Análisis de Componentes Principales no hace tal asunción.
• En el Análisis de Componentes Principales, el primer factor o componente sería aquel que explica una mayor parte de la varianza total, el segundo factor sería aquel que explica la mayor parte de la varianza restante, es decir, de la que no explicaba el primero y así sucesivamente. De este modo sería posible obtener tantos componentes como variables originales aunque esto en la práctica no tiene sentido.

13

Fuente: Discriminante. (27-03-2014). Recuperado el 13 de noviembre de 2021, de https://www.uv.es/ceaces/multivari/factorial/versus.htm

Validación: análisis exploratorio y confirmatorio

Expresar p variables observables como una combinación lineal de m variables hipotéticas o latentes, denominadas factores.

14

• Hipotéticas: Confirmatorio.
• Latentes: Exploratorio.

Fuente: Vectores coplanarios.png. (2021, July 21). Wikimedia Commons, the free media repository. Retrieved 14:32, November 13, 2021 from https://commons.wikimedia.org/w/index.php?title=File:Vectores_coplanarios.png&oldid=576173249.

En otras palabras: la variabilidad de las variables observables (concretas) se puede resumir mediante variables (abstractas) que se encuentran latentes y se identifican como factores.

Requisitos

Al menos 100 observaciones.

Suposiciones:

Los factores se encuentran centrados.

Las covarianzas de los factores son independientes.

Los factores y los errores son independientes.

Y los factores se encuentran distribuidos aleatoriamente.

15

Términos

Comunalidades (communality): valores de cero a uno y a veces se toma como una medida similar a R² (en los modelos de regresión lineal).

Patrones (pattern): son pesos, y se parece a los coeficientes en los modelos de regresión.

Cargas (loadings): Son básicamente los coeficientes de correlación entre la variable y el factor.

Puntuaciones (scores): Se calculan con base en las cargas después de aplicar un método de optimización, P.E.: “Regression”, “Bartlett”, “Anderson-Rubin”.

16

Rotación

• No cambia las medidas de distancia.
• Cambia la distribución de los datos para tener una mejor perspectiva, mientras se mantiene la varianza.
• Opciones de rotación disponibles en el paquete psych:
• Rotaciones ortogonales: "none", "varimax", "quartimax", "bentlerT", "equamax", "varimin", "geominT" y "bifactor".
• Posibles transformaciones oblicuas de la solución: "Promax", "promax", "oblimin", "simplimax", "bentlerQ," geominQ" y "biquartimin" y " cluster".
• El valor predeterminado es hacer una transformación oblimin, aunque las versiones anteriores a 2009 predeterminado en varimax.

17

SPSS parece hacer una normalización de Kaiser antes de hacer Promax, esto se hace aquí mediante la llamada a "promax" que hace la normalización antes de llamar a Promax en GPArotation.

Puntuaciones

El valor predeterminado = "regresión" encuentra las puntuaciones de los factores mediante la regresión.

Las alternativas para estimar las puntuaciones de los factores incluyen regresión simple ("Thurstone"), preservación de correlación ("tenBerge"), así como "Anderson" y "Bartlett" utilizando los algoritmos apropiados (factor.scores).

Aunque probablemente se prefiera score = "tenBerge" para la mayoría de las soluciones, esto dará lugar a problemas con algunas matrices de correlación inadecuadas.

18

Método de factorización

fm = "minres" hará un residuo mínimo al igual que fm = "uls". Ambos utilizan una primera derivada. fm = "ols" difiere muy levemente de "minres" en que minimiza toda la matriz residual usando un procedimiento OLS (en inglés Ordinary Least Squares o en español Mínimos cuadrados ordinarios MCO) pero usa la primera derivada empírica. Esto será más lento.

fm = "wls" hará una solución de mínimos cuadrados ponderados (WLS), fm = "gls" hace una solución de mínimos cuadrados ponderados generalizados (GLS),

fm = "pa" hará la solución del factor principal.

fm = "ml" servirá un análisis factorial de máxima verosimilitud.

fm = "minchi" minimizará el chi cuadrado ponderado por el tamaño de la muestra al tratar las correlaciones por pares con diferentes números de sujetos por par.

fm = "minrank" hará un análisis de factor de rango mínimo. "old.min" tendrá un residuo mínimo de la forma en que se hizo antes de abril de 2017 (consulte la discusión a continuación).

fm = "alpha" hará un análisis de factor alfa como se describe en Kaiser y Coffey (1965)

19

La interpretación es subjetiva, pero sigue ciertas pautas.

Los factores deben contener dimensiones diferentes.

Los factores no pueden contener dimensiones antagónicas, P.E.: Felicidad en un factor contra Tristeza en otro factor.

Dos factores no pueden contener variables similares. P.E.: Felicidad en un factor y Alegría en otro.

Comunalidad (h2): el porcentaje de la varianza que es explicada por los factores.

u2 = 1-h2: el porcentaje de varianza que no es explicado por las cargas de los factores por variables.

La variable que es mejor explicada por los factores se observa por la comunalidad más alta.

Si u2 es muy alta (cercana a 1) debería quitarse del modelo de análisis factorial.

com: Complejidad, debe ser cercano a un, el número de factores que contribuyen a la variable específica. Si es dos o más significa que no se puede determinar a qué factor pertenece, dadas las opciones seleccionadas.

20

Bayesian information criterion (BIC)

Es un criterio para la selección de modelos entre un conjunto finito de modelos; Por lo general, se prefieren los modelos con un BIC más bajo. Se basa, en parte, en la función de probabilidad y está estrechamente relacionado con el Criterio de Información de Akaike (AIC).

BIC: Asume teoría de la normalidad. Basado en chi ^ 2 con el supuesto de teoría normal y usando el chi ^ 2 encontrado usando la función objetiva. Esto es solo chi ^ 2 - 2 df (grados de libertad).

eBIC: Cuando no se cumple el criterio de normalidad. Cuando falla la teoría normal (por ejemplo, en el caso de matrices definidas no positivas), es útil examinar el eBIC derivado empíricamente basado en el chi ^ 2 - 2 df empírico.

21

Pasos para realizarlo

en R y RKWard

22

Vídeo: Análisis factorial con “psych()”, “polycor()” y “ggcorrplot()”

23

Descarga desde aquí el manual del paquete psych: Download

Pasos para efectuar un análisis factorial

​

1. Verificar que la matriz de datos sea factorizable
2. Extraer los Factores
3. Determinar el número correcto de factores
4. Rotar los factores
5. Interpretar los resultados

24

Paso 1:Calcular matriz de correlación, correlación policórica, prueba de Esfericidad de Bartlett y KMO

​

25

RKWard->Gráficos->Factor analysis

Matriz de correlación policórica

La correlación policórica ha sido usada principalmente en psicología, sociología o econometría, para constructos abstractos, como la preferencia o la satisfacción, la afinidad política, etc. Sin embargo, no necesariamente nos limitamos a estos casos, cualquier pareja de variables ordinales podría ser analizada de esta manera.

Prueba de esfericidad de Bartlett, ¿Existe la suficiente correlación entre las variables para efectuar el análisis factorial?

• Ho: Las variables no están correlacionadas en la población.
• ## [1] 5.931663e-60

26

Criterio de Kaiser-Meyer-Olkin (KMO)

• KMO es una medida de qué tan adecuados son sus datos para el análisis factorial.
• Mide la adecuación del muestreo para cada variable en el modelo y para el modelo completo.
• La estadística es una medida de la proporción de varianza entre variables que podrían ser varianza común.

Como referencia, Kaiser puso los siguientes valores en los resultados:

• 0.00 a 0.49 inaceptable.
• 0.50 a 0.59 miserable.
• 0,60 a 0,69 mediocre.
• 0.70 a 0.79 medio.
• 0,80 a 0,89 meritorio.
• 0.90 a 1.00 maravilloso.

27

Paso 2: Escoger un método para extraer los factores

• Análisis de componentes principales.
• Mínimos cuadrados no ponderados,
• Mínimos cuadrados generalizados,
• Máxima verosimilitud,
• factorización de Ejes principales,
• factorización Alfa y
• factorización Imagen.

• minres: mínimo residuo
• mle: maxima verosimilitud
• paf: método de ejes principales
• alpah: alfa
• minchi: mínimos cuadrados
• minrak : rango mínimo

​

28

Paso 3: Determinar el número de factores

​

• Kaiser Criterion (Guttman, 1954): esta regla sugiere que se deben retener todos los factores que tengan un eigenvalue de 1.0 o mayor; con el razonamiento de que un factor no debe explicar menos que la varianza equivalente que hubiera explicado una sola de las variables incluidas en el análisis. La regla sin embargo no es estricta y debe analizarse en conjunto con otros criterios.
• Análisis del Scree Plot (Cattell, 1966): este método complementa al anterior y se basa también el análisis de la magnitud de los eigenvalues pero a partir de la tendencia que se observa en el Scree Plot. Se procuran seleccionar un grupo reducido de factores que tengan eigenvalues significativamente superiores a los demás, para lo cual se identifica el punto de inflexión en la curva del scree plot (también referido como el codo por su semejanza con un brazo) a partir del cual la curva se transforma a una línea “plana” o relativamente recta. En el ejemplo que se presenta hay un claro punto de inflexión después de dos factores.

29

Paso 3: Determinar el número de factores

​

• Análisis paralelo (Horn, 1965): Esta regla suele complementar las anteriores cuando el número de variables iniciales y factores resultantes es elevado. El procedimiento es basado en el principio de que los factores a extraer deben dar cuenta de más varianza que la que es esperada de manera aleatoria. El procedimiento reordena las observaciones de manera aleatoria entre cada variable y los eigenvalues son recalculados a partir de esta nueva base de datos aleatoriamente ordenada. Los factores con eigenvalues mayores a los valores aleatorios son retenidos para interpretación.

30

Paso 4: Rotar la matriz

• La obtención de la matriz factorial, no es más que el primer paso del AF.
• Normalmente la matriz obtenida no define unos factores interpretables, Se han propuesto diferentes versiones sobre cómo transformar la matriz factorial a fin de obtener una estructura simple de los factores.
• Esencialmente se trata de conseguir que unas saturaciones sean altas a costa de otras, que serán bajas, para así destacar la influencia de los factores comunes sobre las variables observables.
• Existen dos formas básicas de realizar la Rotación de Factores , oblicuas y ortogonales. Se elige uno u otro procedimiento según que los factores rotados sigan siendo ortogonales o no.
• Señalar que en ambas rotaciones la comunalidad de cada variable no se modifica, esto es, la rotación no afecta a la bondad del ajuste de la solución factorial: aunque cambie la matriz factorial, las especificidades no cambian y, en consecuencia, las comunidades permanecen invariantes.
• Sin embargo, cambia la varianza explicada por cada factor, por tanto, los nuevos factores no están ordenados de acuerdo con la información que contienen, cuantificada mediante su varianza.

31

Métodos de rotación

• Varimax: Método de rotación ortogonal que minimiza el número de variables que tienen saturaciones altas en cada factor. Simplifica la interpretación de los factores.
• Criterio Oblimin directo: Método para la rotación oblicua (no ortogonal). El método necesita un valor delta que servirá para ajustar los ejes en función de las saturaciones buscan una mejor aproximación, pero considerando que la varianza se distribuirá entre todos los factores.
• Método quartimax: Método de rotación que minimiza el número de factores necesarios para explicar cada variable.
• Método equamax: Método de rotación que es combinación del método varimax, que simplifica los factores, y el método quartimax, que simplifica las variables. Se minimiza tanto el número de variables que saturan alto en un factor como el número de factores necesarios para explicar una variable.
• Rotación Promax: Rotación oblicua que permite que los factores estén correlacionados. Esta rotación se puede calcular más rápidamente que una rotación oblimin directa, por lo que es útil para conjuntos de datos grandes.

32

Standardized loadings (pattern matrix) basado en correlation matrix

• Los factores deben contener dimensiones diferentes.
• Los factores no pueden contener dimensiones antagónicas, P.E.: Felicidad en un factor contra Tristeza en otro factor.
• Dos factores no pueden contener variables similares. P.E.: Felicidad en un factor y Alegría en otro.
• Comunalidad (h2): el porcentaje de la varianza que es explicada por los factores.
• u2 = 1-h2: el porcentaje de varianza que no es explicado por las cargas de los factores por variables.
• La variable que es mejor explicada por los factores se observa por la comunalidad más alta.
• Si u2 es muy alta (cercana a 1) debería quitarse del modelo de análisis factorial.
• com: Complejidad, debe ser cercano a un, el número de factores que contribuyen a la variable específica. Si es dos o más significa que no se puede determinar a qué factor pertenece, dadas las opciones seleccionadas.

33

Call: fa(r = bfi_s, nfactors = 5, rotate = "varimax", scores = "Bartlett", fm = "pa")

Salida del Análisis Factorial

34

Parameters

• Number of factors: 5
• Factoring method: ml
• Rotation: varimax

Sun Nov 14 07:50:37 2021

Loadings

Measures of factor score adequacy

Gráficos con matrices rotadas: sin rotar y varimax

35

Gráficos con matrices rotadas: quartimax y Promax

36

Paso 5: La interpretación

37

Esta es la parte más difícil del análisis factorial para ayudar a la interpretación se puede hacer un gráfico de árbol.

Los factores pueden ser interpretados como:

• MR4: Agradable (A1, A2, A3, A4, A5)
• MR3: Conciencia (C1, C2, C3, C4, C5)
• MR1: Extraversión (E1, E2, E3, E4, E5)
• MR2: Neuroticismo (N1, N2, N3, N4,N5)
• MR5: Apertura ( O1, O2, O3, O4, O5)

Referencias bibliográficas

Bolaños, L. (2020, marzo 10). RPubs—Análisis Factorial. https://rpubs.com/luis_bolanos/FA

Spencer Pao. (2021, febrero 28). Understanding and Applying Factor Analysis in R. https://www.youtube.com/watch?v=kbJMz0KzMnI

​

38