[Advantages of ordinal alpha versus Cronbach's alpha, illustrated using the WHO AUDIT testVantagens do alfa ordinal em relação ao alfa de Cronbach verificadas na pesquisa AUDIT-OMS].

OBJECTIVES: Demonstrate the advantages of using ordinal alpha when the assumptions for Cronbach's alpha are not met; show the usefulness of ordinal alpha with the Chilean version of the WHO Alcohol Use Disorders Identification Test (AUDIT); and provide the commands in R programming language for performing the respective calculations.
METHODS: Cronbach's alpha and ordinal alpha were compared in an AUDIT questionnaire administered to 419 students at a Chilean university.
RESULTS: In all domains, the result using ordinal alpha was greater than with Cronbach's alpha. This finding was consistent with the literature on the subject. When ordinal alpha was chosen, the reliability of each domain and the survey as a whole was accepted, which does not always happen with Cronbach's alpha.
CONCLUSIONS: In making decisions about the reliability of a dimension, consideration should be given to an index that meets the required assumptions for using it in order to avoid erroneous conclusions that can have an appreciable effect on research. The values of Cronbach's alpha underestimate the reliability of an instrument when working with ordinal scales.

Tradicionalmente, la validez se ha definido como el grado en que una prueba mide lo que está diseñada para medir (1). El alfa de Cronbach aparece con frecuencia en la bibliografía como una forma sencilla y confiable para realizar la validación de constructo de una escala y como una medida que cuantifica la correlación existente entre los ítems que la componen (2). Es el coeficiente más ampliamente usado para estimar la confiabilidad en investigaciones aplicadas (3), pero, a pesar de su uso generalizado, su aplicación podría no ser correcta cuando la naturaleza de la escala de respuesta es ordinal, pues uno de los supuestos del coeficiente de Cronbach es la naturaleza continua de las variables (4).

Además, el uso del alfa de Cronbach o de cualquier otro coeficiente de confiabilidad, bajo circunstancias que violan sus supuestos o prerrequisitos, podría desembocar en su subestimación (5). De hecho, de forma más radical, el alfa de Cronbach tiene una utilidad bastante limitada y se recomienda abandonarla (6).

Cuando no se cumplen los supuestos para la utilización del alfa de Cronbach al estimar la confiabilidad, una alternativa válida es el alfa ordinal, que no presenta las dificultades que tiene el alfa de Cronbach. A su vez, se afirma que se ha demostrado que el alfa de Cronbach subestima la magnitud de la confiabilidad cuando se tienen ítems con menos de cinco alternativas y se propone utilizar el alfa ordinal para escalas de respuesta binaria y ordinal (7). Además, se ha señalado que el alfa ordinal es conceptualmente equivalente al alfa de Cronbach (5). La diferencia crítica entre estos dos coeficientes es que el alfa ordinal se basa en la matriz de correlación policórica, en lugar de la matriz de covarianza (correlación) de Pearson, y de esta forma es más adecuado para estimar alfa con mediciones con datos ordinales. También se destaca que el coeficiente de correlación de Pearson subestima gravemente la verdadera relación entre dos variables continuas cuando estas variables presentan asimetría. Otra propiedad importante del alfa ordinal es que es un estimador insesgado de la confiabilidad teórica para datos ordinales.

Varios estudios han sugerido la utilización del alfa ordinal, por lo que no es nuevo en la bibliografía, aunque su utilización es menos frecuente (4, 5, 7). Una razón que podría explicar el poco uso del alfa ordinal es la dificultad para calcularla. Por este motivo, en el presente artículo se entregan los comandos en R (8), para realizar su cálculo de manera rápida y sencilla, aunque también pueden realizarse con Excel.

El objetivo del presente estudio es exponer las ventajas de la utilización del alfa ordinal para situaciones en que no se cumplen los supuestos del alfa de Cronbach y mostrar la utilidad de este coeficiente en el caso de la versión chilena del Alcohol Use Disorders Identification (AUDIT), aplicado a una muestra de estudiantes de una universidad chilena. En la referencia 9 se pueden ver los detalles de la versión AUDIT-Chile (9).

MATERIALES Y MÉTODOS

Existen varias investigaciones sobre el consumo de alcohol en estudiantes universitarios (10-17). En el caso de Chile, se estudiaron la validez y la confiabilidad de la versión de la Organización Mundial de la Salud (OMS) de AUDIT, usando el coeficiente alfa de Cronbach (que supone la continuidad de las variables) para conocer la confiabilidad del instrumento (cuyas respuestas son ordinales) (17). El instrumento AUDIT es una encuesta con escala de respuesta ordinal con algunos ítems con menos de cinco alternativas, por lo que es un ejemplo apropiado para mostrar las diferencias entre el alfa de Cronbach y el alfa ordinal.

En la presente investigación sólo se observaron los efectos de ciertas variables sobre el resultado del cuestionario AUDIT. Por lo tanto, se trató de un estudio observacional descriptivo (18). El Cuestionario AUDIT es una prueba diseñada por la OMS en 1989 para detectar el consumo excesivo de alcohol y como un apoyo a los clínicos en la evaluación breve (19). El AUDIT consta de diez ítems. En él la escala de respuesta de las ocho primeras preguntas es 0, 1, 2, 3 y 4, siendo 0, 2 y 4 la escala de respuesta de las últimas dos preguntas. Este instrumento contiene tres dimensiones, dominios o constructos para medir: el consumo de riesgo, los síntomas de dependencia y el consumo perjudicial de alcohol, que se definen a continuación.

El consumo de riesgo es un patrón de consumo de alcohol que aumenta el riesgo de consecuencias adversas para el bebedor o para los demás. Considera los ítems 1, 2 y 3. La dependencia es un conjunto de fenómenos conductuales, cognitivos y psicológicos que pueden aparecer después del consumo repetido de alcohol. Considera los ítems 4, 5 y 6. Y el consumo perjudicial se refiere a aquel que tiene consecuencias para la salud física y mental. Considera los ítems 6, 7, 9 y 10. En el cuadro 1 se muestran los dominios e ítems que componen cada constructo del cuestionario AUDIT.

CUADRO 1

Dominios e ítems del cuestionario AUDIT

Dominios	Pregunta	Contenido del ítem
Consumo de riesgo	1	Frecuencia de consumo
	2	Cantidad típica
	3	Frecuencia del consumo elevado
Síntomas de dependencia	4	Pérdida del control sobre el consumo
	5	Aumento de la relevancia del consumo
	6	Consumo matutino
Consumo perjudicial	7	Sentimiento de culpa tras el consumo
	8	Lagunas de memoria
	9	Lesiones relacionadas con el alcohol
	10	Otros se preocupan por el consumo

El cuestionario AUDIT funciona a través de puntuaciones, donde el mínimo es 0 y el máximo es 40 puntos, que enmarcan a los individuos en distintas categorías. Se ha señalado que “A partir de la experiencia adquirida en la utilización del AUDIT en este y otros estudios de investigación, se ha sugerido que se debe dar la siguiente interpretación a las puntuaciones del AUDIT: puntuaciones entre 8 y 15 son las más apropiadas para un simple consejo enfocado en la reducción del consumo de riesgo, puntuaciones entre 16 y 19 sugieren terapia breve y un abordaje continuado, y puntuaciones iguales o mayores a 20 requieren claramente una evaluación diagnóstica más amplia de la dependencia de alcohol” (19).

La encuesta AUDIT fue aplicada por una alumna del último año de la carrera de Ingeniería Estadística de una universidad chilena de viva voz a 419 estudiantes de este centro de estudios, que dieron su consentimiento al responder la encuesta, tras ser informados del objetivo de la investigación. Todos ellos recibieron las instrucciones necesarias para comprender las preguntas. Ninguno estaba intoxicado ni necesitaba tratamiento de urgencia. A todos se les aseguró la confidencialidad de sus respuestas y no existió discriminación de ningún tipo al ser entrevistados. Las condiciones ambientales y de seguridad fueron las adecuadas para realizar la entrevista. Debe subrayarse que la confiabilidad del instrumento no se vio afectada por factores como la homogeneidad del grupo, el tiempo en realizar la encuesta, el tamaño del cuestionario ni la objetividad del proceso de asignación de puntuaciones.

Como los tipos y las cantidades de bebidas alcohólicas varían según la cultura y las costumbres, en Chile, un trago equivale aproximadamente a una lata de cerveza, una copa de vino o un corto de licor (9).

Cabe señalar que se elaboró un informe para el Departamento de Salud de la Institución con el fin de que se tomaran las medidas respectivas y oportunas para tratar a los estudiantes que presentaron síntomas de dependencia o consumo perjudicial de alcohol.

Para validar el AUDIT, en este estudio se estimaron el alfa de Cronbach y el alfa ordinal considerando como aceptables coeficientes de confiabilidad mayores de 0,7 (2), tanto para la encuesta total como para cada uno de sus dominios con el objetivo de evaluar la confiabilidad del instrumento.

Puesto que la finalidad de esta investigación es exhibir las ventajas del alfa ordinal frente al alfa de Cronbach, a continuación se presentan ecuaciones con las cuales se estimaron estos estadísticos.

Mediante la varianza de los ítems (alfa de Cronbach) (2),

donde n es el número de ítems,

vi es la varianza de cada ítem, i = 1, 2,…, n,

vt es la varianza del total.

Mediante la matriz de correlaciones o de correlaciones policóricas (4),

donde n es el número de ítems, , la media aritmética de los pesos factoriales, , la media aritmética de los cuadrados de los pesos factoriales, y , la media aritmética de las unicidades de los pesos factoriales.

Si se utiliza la matriz de correlaciones, se obtiene una estimación del alfa de Cronbach y la versión ordinal del coeficiente alfa se calcularía aplicando esta ecuación sobre la matriz de correlaciones policóricas.

Mediante el mayor valor propio (versión categórica del alfa) (20),

donde n es el número de ítems y τ, el mayor valor propio de la matriz de correlación.

Según sus autores (20), esta ecuación maximiza la estimación que se hace del coeficiente alfa de Cronbach, es decir, sobreestima dicho estadístico.

La mayoría de los cálculos se realizaron con el lenguaje de programación R de uso libre y los restantes, con SPSS o Excel (8). Los códigos fundamentales para la obtención de los resultados en R son los siguientes (8):

RESULTADOS

La población del estudio comprendió a 419 estudiantes, distribuidos en dos sedes, con 250 participantes en una sede (59,7%) y 169 en la otra (40,3%); 259 fueron hombres (61,8%) y 160, mujeres (38,2%). La media de la edad de los encuestados fue de 21,5 años.

En el cuadro 2 se muestran los resultados del análisis descriptivo para cada uno de los ítems (preguntas) de que consta el instrumento AUDIT. Los cálculos se realizaron con Excel.

CUADRO 2

Medidas de tendencia central y de variación

Número del ítem	Varianza	Media	Asimetría	Curtosis
1	1,11	1,59	0,09	-0,56
2	1,25	0,92	1,14	0,46
3	1,05	0,97	0,77	-0,52
4	0,60	0,36	2,36	5,21
5	0,34	0,22	3,31	12,90
6	0,35	0,22	3,25	11,55
7	0,47	0,34	2,52	7,60
8	0,41	0,35	2,18	6,02
9	1,35	0,44	2,48	4,59
10	1,15	0,38	2,72	6,02
Varianzas	Total	Dimensión 1	Dimensión 2	Dimensión 3
	33,52	7,70	2,33	5,73

En el cuadro 3 se presentan las cargas factoriales, valores esenciales con los cuales se puede estimar el coeficiente alfa, en sus dos versiones, utilizando la ecuación dada en (b). En el cuadro 4 aparecen las estimaciones de los coeficientes alfa de Cronbach y alfa ordinal, usando SPSS, R o Excel y utilizando las ecuaciones presentadas en los incisos (a), (b) y (c) cuando fue necesario, para mostrar que el alfa ordinal se puede obtener con cálculos relativamente simples (21). Los resultados mostrados bajo las etiquetas (a), (b) y (c) se realizaron con Excel.

CUADRO 3

Pesos factoriales y unicidades usando la matriz de correlación y de correlación policórica

Ítem i	Matriz de correlación			Matriz policórica
	λi	λi2	ui2	λi	λi2	ui2
1	0,79	0,63	0,37	0,82	0,68	0,32
2	0,66	0,44	0,56	0,71	0,51	0,49
3	0,85	0,72	0,28	0,87	0,76	0,24
4	0,65	0,43	0,57	0,79	0,62	0,38
5	0,54	0,29	0,71	0,7	0,49	0,51
6	0,59	0,34	0,66	0,72	0,51	0,49
7	0,51	0,26	0,74	0,61	0,37	0,63
8	0,63	0,4	0,6	0,75	0,56	0,44
9	0,40	0,16	0,84	0,59	0,35	0,65
10	0,50	0,25	0,75	0,66	0,43	0,57
Media	0,61	0,39	0,61	0,72	0,53	0,47
	λ¯	λ^2¯	u^2¯	λ¯	λ^2¯	u^2¯

CUADRO 4

Coeficientes de confiabilidad para la encuesta AUDIT

	Alfa de Cronbach usando					Alfa Ordinal usando
	SPSS	R	(a)	(b)	(c)	(b)	R
Dominio 1	0,84	0,84	0,84	0,84	0,84	0,88	0,90
Dominio 2	0,67	0,67	0,67	0,68	0,67	0,81	0,81
Dominio 3	0,55	0,55	0,55	0,60	0,61	0,75	0,75
Total	0,84	0,84	0,84	0,85	0,86	0,91	0,92

DISCUSIÓN

Los resultados del cuadro 4 son congruentes con lo expresado en la bibliografía y son los esperados en el sentido de que, en el caso del alfa de Cronbach, los valores fueron similares para la encuesta completa y las dimensiones 1 y 2 en todas las estimaciones. Para la dimensión 3, se obtuvieron valores mayores en el caso de las estimaciones usando las ecuaciones presentadas en (b) y (c) que en los resultados obtenidos con R, SPSS y (a), lo que se espera dado que se sabe que la estimación definida en (c) sobreestima el valor de alfa. Al considerar el criterio mínimo de 0,7, no serían aceptados los dominios 2 y 3. Respecto al alfa ordinal, los valores obtenidos usando (b) y R fueron muy similares, aceptando la encuesta total y cada una de las dimensiones.

Los valores del alfa de Cronbach obtenidos en esta investigación (cuadro 4) son muy próximos a los obtenidos en otro estro estudio (17): 0,83 para toda la encuesta y para los dominios 1, 2, y 3, 0,80, 0,66 y 0,62, respectivamente. En este último estudio citado, la encuesta AUDIT se hizo a una población de estudiantes universitarios al igual que la muestra considerada en este estudio, lo que implica, y se comprueba, que las conclusiones respecto a la fiabilidad en el presente estudio y en el de la referencia 17 deberían ser similares.

Al comparar los resultados de la presente investigación con los obtenidos en otra (22), en la cual hizo un estudio nacional con la población general de Chile, se puede observar que el valor para la encuesta total es muy similar: 0,83 para ese estudio (22) y 0,84 para el presente. Para los dominios 1, 2 y 3 los valores obtenidos en dicho estudio (22) fueron 0,74; 0,81 y 0,66 respectivamente, con lo cual en él se obtuvieron conclusiones similares a las obtenidas en la presente investigación, excepto en el caso del dominio 2, esto es, en ese estudio se consideraron aceptables los dominios 1 y 2, y no aceptables, el dominio 3, lo que no coincide con las conclusiones de la presente investigación y del estudio de la referencia 17, en el cual sólo se aceptó el dominio 1 (17).

Los valores mostrados en el cuadro 4 también son congruentes con lo que se esperaba en el sentido de que los valores del alfa de Cronbach subestiman la confiabilidad y de que se encontraron valores menores para el alfa de Cronbach en todos los casos. Destacan sobremanera los dominios 2 y 3, que presentan valores del alfa de Cronbach menores que el límite aceptable, lo que no sucede al usar el alfa ordinal. Esto implica que, usando el alfa de Cronbach como coeficiente de confiabilidad interna, no hay relación entre las preguntas 4, 5 y 6 ni entre las preguntas 7, 8, 9 y 10. Por el contrario, si se emplea el alfa ordinal, dichas preguntas sí están relacionadas.

Las diferencias entre los valores del alfa de Cronbach y el alfa ordinal pueden deberse a que los valores de asimetría y curtosis para algunas de las preguntas en el cuestionario son altos, y esto influye en el valor de la estimación del alfa de Cronbach (2, 5).

En este estudio algunas preguntas de la escala tienen menos de 5 alternativas y se observa que el alfa de Cronbach subestima la confiabilidad del instrumento, lo que es congruente con lo publicado (5). Al trabajar con observaciones cualitativas con pocas alternativas de respuesta, se debe usar el alfa ordinal y no el alfa de Cronbach.

En esta investigación se considera que tanto la encuesta total como los dominios tienen una confiabilidad aceptable, dado que en este caso se prefiere usar el alfa ordinal en detrimento del alfa de Cronbach por las razones mencionadas anteriormente.

Los resultados del cuadro 4 corresponden a una aplicación particular que muestra empíricamente la ventaja de utilizar el alfa ordinal respecto al alfa de Cronbach.

Existen formas alternativas para estimar la consistencia interna de un instrumento que no se han considerado en este estudio, como el método de división por mitades o método de Kuder-Richardson (1). También es importante destacar que FACTOR es otro paquete estadístico de libre disposición (2, 21), aunque no se ha utilizado en el presente estudio, con el cual se pueden estimar el alfa de Cronbach y el alfa ordinal de manera relativamente sencilla.

El hecho de considerar un índice que no cumpla los supuestos necesarios para ser utilizado con el fin de tomar decisiones respecto a la confiabilidad de una dimensión puede desembocar en conclusiones erróneas y afectar de manera significativa el desarrollo de una investigación. A este respecto, en este estudio se entregaron los comandos de R que permiten calcular el alfa ordinal de manera sencilla y se muestran las ventajas de su utilización para evaluar la confiabilidad de encuestas que no cumplen los supuestos necesarios para considerar el alfa de Cronbach.

# Comandos para calcular el alfa Ordinal
library(psych)	# para cargar la librería utilizada
attach(Datos)	# para trabajar solo con los datos
items<-data.frame (P1,P2,P3,P4,P5,P6,P7,P8,P9,P10)	# para formar la matriz con los ítems
cor_poly <-polychoric(items)	# calcula la correlación policórica
alpha(cor_poly$rho)	# calcula el alfa Ordinal
# Comando para calcular el alfa de Cronbach
alpha(items)	# calcula el alfa de Cronbach
fa(items)	# calcula las cargas factoriales.