Internal consistency of the self-reporting questionnaire-20 in occupational groups.

OBJECTIVE: To assess the internal consistency of the measurements of the Self-Reporting Questionnaire (SRQ-20) in different occupational groups.
METHODS: A validation study was conducted with data from four surveys with groups of workers, using similar methods. A total of 9,959 workers were studied. In all surveys, the common mental disorders were assessed via SRQ-20. The internal consistency considered the items belonging to dimensions extracted by tetrachoric factor analysis for each study. Item homogeneity assessment compared estimates of Cronbach's alpha (KD-20), the alpha applied to a tetrachoric correlation matrix and stratified Cronbach's alpha.
RESULTS: The SRQ-20 dimensions showed adequate values, considering the reference parameters. The internal consistency of the instrument items, assessed by stratified Cronbach's alpha, was high (> 0.80) in the four studies.
CONCLUSIONS: The SRQ-20 showed good internal consistency in the professional categories evaluated. However, there is still a need for studies using alternative methods and additional information able to refine the accuracy of latent variable measurement instruments, as in the case of common mental disorders.

INTRODUCTION

In the early 1970s, the World Health Organization built the Self-Reporting Questionnaire (SRQ) to assess the impacts of mental health problems in primary health care in periphery countries. This instrument was composed of 30 questions evaluating psycho-emotional symptoms, alcohol abuse, psychotic disorders and seizures. The target population was primary health service users. In 1980 , a version with 20 questions (SRQ-20) was developed, covering only psycho-emotional aspects. It was proposed for screening of common mental disorders (CMD), which are nonpsychotic symptoms characterized by insomnia, fatigue, irritability, forgetfulness, trouble concentrating, and somatic complaints .

The SRQ-20 has been widely used and the performance of its measurements has been evaluated in populations of health service users . However, few studies have assessed the validity and consistency of SQR-20 measurements regarding occupation .

Instruments for assessment of behavioral traits or sets of symptoms need item homogeneity to capture different aspects of the same variable. Internal consistency evaluations of instruments are considered a reliability criterion for a measurement. However, this interpretation has its limits because measurements of internal consistency are based on management of the scale at a specific point, not considering sources of variation throughout time or among observers .

The concept of validity is related to the quality of a given measurement. Reliability reflects the set of random and systematic errors inherent in a measurement. The relationship between validity and reliability can be analyzed by the consistency of external (validity) and internal (reliability) criteria .

Reliability reflects a necessary but insufficient condition for the validity of a particular measurement. This condition does not characterize a property of a research instrument; essentially, reliability refers to the ability of the measurement produced by the instrument to be consistent in time and space or among different observers . In addition, the conditions to evaluate reliability are relative, since every measurement has a degree of reliability when applied to a particular population under specific conditions .

In the reliability assessment, three procedures can be adopted, depending on the type of the instrument and form of measurement. The stability evaluation of the measurement considers the consistency over time (test-retest), a technique related to the concept of reproducibility of measurements. The second procedure concerns measurement equivalence by considering different forms of measurement (interobserver). The measurement can also be evaluated by the internal consistency of the set of items used to estimate a certain latent variable or dimension . Thus, the internal consistency of the instrument shows the degree of homogeneity of the measurement when the items or subscales measure the same variable .

This study aimed to assess the internal consistency of SRQ-20 measurements in occupational groups.

METHODS

A validation study was conducted with four surveys that used similar methodologies in different occupational categories in the state of Bahia, Northeastern Brazil.

Study 1 – Informal workers. An epidemiological survey, with systematic sampling of 1,458 stallholders, street vendors and motorcycle taxi drivers in Feira de Santana, Bahia, in 2008 .

Study 2 – Teachers. A census of the 4,496 teachers from the 365 public preschools and elementary schools in Salvador, Bahia, 2006 .

Study 3 – Health care workers. A cross section of a multicenter study using the same sampling procedures of a survey carried out in Belo Horizonte , Minas Gerais, among primary health care workers from four municipalities of Bahia (Feira de Santana, Jequié, Santo Antônio de Jesus and a health district of Salvador). Its proportional stratified sampling considered: the distribution of the number of workers by geographical area; definition of events of interest estimates; composition of the sample according to the percentage of workers in each geographical area of the participating municipalities; and the draw, by random procedure, of the workers included in the study in each region. Throughout the 2012-2013 period, 2,448 workers were evaluated.

Study 4 – Urban workers. A random sample of 1,557 individuals, representing workers over 15 years of age, stratified by subdistricts of the urban area of Feira de Santana, in 2007 .

In all studies, common mental disorders were evaluated with the use of the Self-Reporting Questionnaire (SRQ-20). To analyze the internal consistency of the dimensions (subscales) of the instrument, a tetrachotric correlation factor analysis was previously performed using the method of principal components with factor extraction, according to the Kaiser criterion of eigenvalue greater than 1. The scree plot technique was used to confirm the amount of factors to be extracted. The items presenting load greater than 0.40 were retained for composition of the factors . PROMAX oblique rotation was applied for better interpretation of the values, using the Stata program, version 11.0.

To compare estimates of internal consistency of subscales (dimensions) extracted by tetrachoric factor analysis, we used alpha (α) values by the Kuder-Richardson formula (KD-20), α for the tetrachoric correlations matrix, and stratified α , to investigate a possible underestimation of internal consistency.

Stratified α was estimated using Microsoft Excel® (2007), employing the formula in which S 2 i is the variance of the items that constitute the factor i (i = 1, ..., f), αi is Cronbach’s alpha for the factor i and S 2 T is the total variance of the instrument, according to the equation below. The variation of 0.65-0.90 was adopted as the reference parameter of satisfactory performance .

The four studies were evaluated and approved by research ethics committees when they were conducted. The present study was approved by the Research Ethics Committee of the Instituto de Saúde Coletiva da Universidade Federal da Bahia (CAAE 18723813.9.0000.5030).

RESULTS

Most evaluated workers were female, especially among teachers (92.0%; study 2) and health workers (80.6%; study 3). In the four studies, the predominant age group was 30 to 45 years (Table 1). The educational attainment of the workers differed among studies. Most informal workers (study 1) reported less than primary educational attainment (95.9%). In study 3, 42.9% reported elementary educational attainment and 41.3% secondary technical education or higher education. Secondary technical education or higher education was reported by 82.1% of teachers (study 2) and 55.9% of workers in general (study 4).

Table 1

Sociodemographic characteristics of the populations of the four studies. Bahia, Northeastern Brazil, 2006-2013.

Study - Population (N)		n	%
Study 1 – Informal workers (N = 1,458)
Sex	Female	728	49.9
	Male	730	50.1
Age group (years)	< 30	537	36.8
	30-45	553	37.9
	> 45	368	25.2
Educational attainment (n = 1,438)	Less than primary education	1,379	95.9
	Secondary technical education/Higher education	9	0.6
	No qualification	50	3.5
Study 2 – Teachers (N = 4,496)
Sex (n = 4,342)	Female	3,994	92.0
	Male	348	8.0
Age group (years) (n = 4,302)	< 30	773	18.0
	30-45	2,289	53.2
	> 45	1,240	28.8
Educational attainment (n = 4,398)	Less than primary education	717	16.3
	Secondary technical education/Higher education	3,609	82.1
	Graduate education	72	1.6
Study 3 – Health care workers (N = 2,448)
Sex (n = 2,421)	Female	1,951	80.6
	Male	470	19.4
Age group (years) (n = 2,395)	< 30	581	24.3
	30-45	1,071	44.7
	> 45	743	31.0
Educational attainment (n = 2,419)	Less than primary education	1,038	42.9
	Secondary technical education/Higher education	1,000	41.3
	Graduate education	381	15.8
Study 4 – Urban workers (N = 1,557)
Sex	Female	851	54.7
	Male	706	45.3
Age group (years)	< 30	576	37.0
	30-45	584	37.5
	> 45	397	25.5
Educational attainment (n = 1,269)	Less than primary education	536	42.3
	Secondary technical education/Higher education	710	55.9
	No qualification	23	1.8

Filling of SRQ-20 items varied among studies (Table 2). Study 2 had the greatest number of losses, with 605 missing data (13.5%), followed by study 3, which showed a loss of 60 data (2.4%). Smaller loss percentages were found in studies 1 and 4 (0.3% and 1.2%, respectively).

Table 2

Cronbach’s alpha (KD-20) and tetrachoric correlation matrix alpha values of the items composing SRQ-20, according to group of workers. Bahia, Northeastern Brazil, 2006-2013.

	Group of workers
	Informal workers		Teachers		Health care workers		Urban workers
	(n = 1,453)a		(n = 3,891)b		(n = 2,397)c		(n = 1,539)d
SRQ-20 items	α1e	α2f	α1e	α2f	α1e	α2f	α1e	α2f
1. Do you often have headaches?	0.85	0.93	0.85	0.93	0.82	0.92	0.84	0.92
2. Is your appetite poor?	0.84	0.93	0.85	0.93	0.82	0.92	0.83	0.92
3. Do you sleep badly?	0.84	0.93	0.85	0.93	0.81	0.91	0.83	0.92
4. Are you easily frightened?	0.84	0.93	0.85	0.93	0.81	0.91	0.83	0.92
5. Do your hands shake?	0.84	0.93	0.85	0.93	0.81	0.91	0.84	0.92
6. Do you feel nervous, tense or worried?	0.84	0.93	0.84	0.93	0.80	0.91	0.83	0.92
7. Is your digestion poor?	0.84	0.92	0.85	0.93	0.81	0.91	0.84	0.92
8. Do you have trouble thinking clearly?	0.84	0.93	0.85	0.93	0.81	0.91	0.83	0.92
9. Do you feel unhappy?	0.84	0.92	0.84	0.93	0.80	0.90	0.83	0.92
10. Do you cry more than usual?	0.84	0.93	0.85	0.93	0.81	0.91	0.83	0.92
11. Do you find it difficult to enjoy your daily activities?	0.84	0.93	0.85	0.93	0.81	0.91	0.83	0.92
12. Do you find it difficult to make decisions?	0.84	0.93	0.85	0.93	0.81	0.91	0.84	0.92
13. Is your daily work suffering?	0.84	0.93	0.85	0.93	0.82	0.91	0.84	0.92
14. Are you unable to play a useful part in life?	0.85	0.93	0.86	0.94	0.82	0.92	0.83	0.92
15. Have you lost interest in things?	0.84	0.92	0.85	0.93	0.81	0.91	0.83	0.92
16. Do you feel that you are a worthless person?	0.85	0.93	0.86	0.93	0.82	0.92	0.84	0.92
17. Has the thought of ending your life been on your mind?	0.85	0.93	0.86	0.94	0.82	0.91	0.84	0.92
18. Do you feel tired all the time?	0.84	0.93	0.84	0.93	0.81	0.91	0.83	0.92
19. Do you have uncomfortable feelings in your stomach?	0.84	0.93	0.85	0.93	0.81	0.91	0.83	0.92
20. Are you easily tired?	0.84	0.93	0.85	0.93	0.81	0.91	0.83	0.92
Total	0.85	0.94	0.85	0.94	0.82	0.92	0.84	0.93

a 0.3% losses.

b 13.5% losses.

c 2.4% losses.

d 1.2% losses.

e Cronbach’s alpha (KD-20), if the item is removed.

f Cronbach’s alpha for the tetrachoric correlation matrix, if the item is removed.

The α values of SRQ-20 dimensions of the occupational groups evaluated showed significant variations. The use of the alpha adjusted by the tetrachoric correlation matrix allowed more robust coefficients, considering the sample size.

In studies 1 and 2, we observed similar KD-20 and tetrachoric matrix α values (0.85 and 0.94, respectively). Study 3 (health workers) showed the lowest value of internal consistency for both estimators (0.82 and 0.92). In study 4, standardized values of the item set were 0.84 for the KD-20 estimate and 0.93 for the tetrachoric correlation α. In all studies, removing items did not change substantially the global values of internal consistency estimates of the instrument.

The factor analysis allowed the extraction of three factors that differed as to classification of the dimensions and number of items in each dimension among studies (Table 3).

Table 3

Number of items, number of losses, estimates of Cronbach’s alpha and of stratified Cronbach’s alpha of the SQR-20 dimensions extracted by tetrachoric factor analysis among groups of workers. Bahia, Northeastern Brazil, 2006-2013.

Study - Population (N)	Items (N)	Losses	Cronbach’s alpha	Cronbach’s alpha (Tetrachoric)
Study 1 – Informal workers (N = 1,453)
F1 - Depressive mood/Anxiety symptoms	11	5	0.79	0.90
F2 - Somatic component	5	0	0.65	0.79
F3 - Decreased energy	4	0	0.65	0.76
Scale total	20	5	0.85	0.92
Stratified Cronbach’s alpha	-	-	0.86	0.93
Study 2 – Teachers (N = 3,891)
F1 - Decreased energy/Anxiety symptoms	11	434	0.82	0.92
F2 - Somatic component	6	295	0.68	0.82
F3 - Depressive mood	3	242	0.41	0.74
Scale total	20	605	0.85	0.93
Stratified Cronbach’s alpha	-	-	0.82	0.94
Study 3 – Health care workers (N = 2,397)
F1 - Depressive mood	9	33	0.67	0.87
F2 - Decreased energy/Anxiety symptoms	9	44	0.72	0.87
F3 - Somatic component	2	17	0.70	0.87
Scale total	20	60	0.82	0.92
Stratified Cronbach’s alpha	-	-	0.83	0.93
Study 4 – Urban workers (N = 1,539)
F1 - Somatic component/Anxiety symptoms	11	8	0.78	0.88
F2 - Decreased energy	5	6	0.62	0.82
F3 - Depressive mood	4	4	0.64	0.86
Scale total	20	18	0.84	0.93
Stratified Cronbach’s alpha	-	-	0.85	0.93

The Cronbach’s α estimated for tetrachoric correlation matrix produced higher values for all dimensions of the studies. The internal consistency of the instrument items, assessed by stratified Cronbach’s α, was high (> 0.80) in most studies.

In study 1, the dimension represented by factor 1 (F1 - depressive mood or anxiety symptoms) concentrated the largest number of items (11) and higher internal consistency according to both estimation methods (0.79 and 0.90). Factor 2 (F2) represented the somatic dimension and factor 3 (F3), the dimension “decreased energy”. These last two dimensions showed identical Cronbach’s α values (0.65), but differed in estimates assessed for tetrachoric matrix correlation, with a higher value for F2 (α = 0.79).

Among teachers (study 2), dimension “depressive mood” presented limitations in internal consistency (α = 0.41). However, this same dimension stayed within the reference standard (α = 0.74) when the tetrachoric matrix was considered.

The three dimensions extracted by factor analysis in study 3 presented similar estimates of reliability (α = 0.87) when the tetrachoric matrix was considered.

Study 4 showed the smallest reliability estimates among SRQ-20 dimensions. Factor 2 (“decreased energy”) and factor 3 (“depressive mood”) presented Cronbach’s α coefficients below the reference value (α = 0.62 and α = 0.64, respectively). However, when using the method of tetrachoric correlation matrix, all factors (dimensions) reached coefficients greater than 0.80.

DISCUSSION

Internal consistency estimates of SRQ-20 dimensions and global scores, using a tetrachoric correlation matrix, showed adequate values consistent with the literature . However, the high proportion of losses in study 2 may have compromised Cronbach’s alpha estimates. Both losses affecting α values and differences among occupational groups show that the reliability of a measurement, evaluated by the reproducibility or homogeneity of measurement items, cannot be interpreted as an inherent or immutable property of an instrument because it depends on the interaction between the instrument and a specific assessed group .

Internal consistency has been considered a suitable measurement to describe traits, characteristics of behaviors or disorders in a particular context, but not necessarily to identify groups possessing such attributes or not . Thus, group characteristics may affect the homogeneity of measurement items. Intra- or inter-subject differences related to the variability of the data affects the α value. Generally, the smaller the variability of intra-subject responses and the larger the variability of inter-subject responses, the greater the α value .

In this study, most occupational groups had a predominance of females, with an average age of 30 to 45 years and differences in educational attainment. Low educational attainment can be a barrier to express emotional disorders . However, the stratification used here hampers a detailed analysis of this characteristic in the interpretation of the scale.

In addition to the differences between the groups, the high degree of consistency in the measurements of a scale denotes ease of interpretation of the final score, as a reflection of the items composing the instrument. To do this, the items should be moderately correlated with each other and maintain a correlation with the total score of scale .

The interpretation of internal consistency measurements produced by SRQ-20 has been discussed in the literature. Most studies use Cronbach’s α (KD-20) as a reference measurement to evaluate the consistency of SRQ-20 , , , . The total scores of the instrument have been interpreted as satisfactory; however, when evaluating the dimensions that represent groups of symptoms, Cronbach’s α coefficients show smaller values. The multidimensionality of the variable measured by SRQ-20 limits homogeneous relations among items and justifies the irregular performance of internal consistency instrument measurements .

Some aspects should be considered when evaluating the results related to internal consistency estimates of an instrument. Uncritical acceptance of α values, as a reflex of high levels of internal consistency, can lead to impaired judgment of the real scale homogeneity.

The α value depends not only on the magnitude of the correlation of the items in a scale, but also on the number of items that compose it. Thus, the greater the number of items in a scale, the greater the estimated internal consistency. Another condition that requires greater caution when interpretating internal consistency is the combination of scales that assess independent constructs, because the increase in the items will elevate α estimates. In addition, high α values may be related to redundancy of the scale items, compromising content validity, since an item set can assess the same conditions in different ways .

In this study, most dimensions extracted by tetrachoric factor analysis showed internal consistency estimates within the assumed reference parameter (α = 0.65-0.90). However, the parameters used as reference for the estimates of α are also the target of criticism.

There are several reference values to evaluate the internal consistency of scales , . The variations in reference values are due to different numbers of scale items and size of the investigated samples. Generally, scales with fewer than 10 items, small samples, and α = 0.70 are considered of good internal consistency in their measurements. On the other hand, if the scale has more items and a sample size greater than 300, α = 0.90 must be used as a parameter . Despite the proposed parameters, critical evaluations must be stimulated. Estimates of α are affected by the amount of items and dimensionality of the scales. Values higher than 0.90 suggest redundancy of scale items and a need to reduce the instrument .

This study provides evidence to characterize SRQ-20 as a multidimensional instrument, with dimensions varying among the different occupational groups investigated. Estimates of α cannot be interpreted as a property of the instrument, since they are conditioned by scale scores in a given population .

In general, one-dimensional measurements feature high levels of internal consistency (high homogeneity). However, high internal consistency values represent conditions necessary but insufficient to ensure the unicity of a scale . Thus, multidimensional instruments featuring high internal consistency levels for a particular measurement show that, although there are different dimensions, the components are strongly interrelated .

The α values may underestimate the true internal consistency of the measurementss of a multidimensional instrument because the α estimate suggests equivalent distinction among the questionnaire items , , . Congeneric scales, characterized by correlation of items among themselves, are also affected by the underestimation of alpha values . For multidimensional instruments, the stratified α has showed better performance for the estimates than conventional estimators, although the differences are not so expressive . Therefore, the principle of tau equivalence must be considered when analyzing estimates of Cronbach’s α among multidimensional instruments. In these cases, the assumption that each item of test measures the same latent trait in an instrument is violated by the dimensions extracted by factor analysis. In this way, the α values of a multidimensional instrument will be underestimated .

In the context of psychometric assessments, we highlight the debate on the superiority of measurements used as reliability criteria . Cronbach’s α measurements are widely used uncritically and often considered a reference for scale reliability. However, it is necessary to deepen the analysis of α values and to compare the indexes based on repetition of measurements (test-retest) .

Operational and theoretical limitations reflect a low threshold of internal consistency for estimates produced by Cronbach’s α. There are also the difficulties of interpretation and judgement of its measurements. Alpha estimates correlate with other statistics, which can confuse results when very low and very high values of this coefficient are found in one-dimensional or multidimensional instruments. Thus, additional information is required to assess α estimates separatedly as an internal consistency measurement .

Despite the extensive use of Cronbach’s α in the internal consistency evaluation of SRQ-20, the discussion about the real implications of its measurements for multidimensional instruments is still recent. Studies are needed to critically assess Cronbach’s α estimates, comparing them with alternative methods and additional information to refine the accuracy of latent variable measurement instruments, as in the case of mental disorders.

INTRODUÇÃO

Na década de 1970, Organização Mundial de Saúde construiu o Self-Reporting Questionnaire (SRQ) para avaliar os impactos dos problemas de saúde mental na atenção básica à saúde em países periféricos. O instrumento foi composto por 30 questões que avaliavam sintomas psicoemocionais, uso abusivo de álcool, transtornos psicóticos e crise convulsiva, tendo como população-alvo usuários dos serviços primários de saúde. Em 1980 , foi desenvolvida uma versão com 20 questões (SRQ-20), abordando apenas aspectos psicoemocionais, proposta para triagem dos transtornos mentais comuns (TMC). Os TMC são sintomas não psicóticos, caracterizados por insônia, fadiga, irritabilidade, esquecimento, dificuldade de concentração e queixas somáticas .

O SRQ-20 tem sido amplamente utilizado e o desempenho de suas medidas tem sido avaliado em populações de usuários de serviços de saúde . Entretanto, poucos estudos avaliaram a validade e a consistência das medidas do SRQ-20 em âmbito ocupacional .

Em instrumentos de avaliação de traços de comportamentos ou conjunto de sintomas, é necessário haver homogeneidade nos seus itens para que diferentes aspectos de um mesmo construto sejam captados. Avaliações de consistência interna dos itens de instrumentos são consideradas critério de confiabilidade de uma medida. Entretanto, esta interpretação tem limites, uma vez que as medidas de consistência interna são baseadas em administração pontual da escala, não considerando fontes de variação ocorridas no tempo ou entre observadores .

O conceito de validade está relacionado à qualidade de determinada mensuração. A confiabilidade reflete o conjunto de erros aleatórios e sistemáticos inerentes a uma medida. A relação existente entre validade e confiabilidade pode ser analisada por consistência presente em critérios externos (validade) e internos (fidedignidade) .

A confiabilidade reflete uma condição necessária, mas não suficiente, para a validade de determinada mensuração. Esta condição não caracteriza uma propriedade de um instrumento de pesquisa; essencialmente, a confiabilidade refere-se à capacidade de a medida produzida pelo instrumento ser consistente no tempo e no espaço ou entre diferentes observadores . Além disso, as condições para avaliar confiabilidade são relativas, visto que toda mensuração possui um grau de confiabilidade, quando aplicada a determinada população em condições específicas .

Na avaliação da confiabilidade, três procedimentos podem ser adotados, a depender do tipo instrumento e da forma de mensuração. A avaliação da estabilidade da medida considera a consistência ao longo do tempo (teste-reteste), técnica relacionada ao conceito de reprodutibilidade das medidas. O segundo procedimento é relativo à equivalência da medida, ao considerar diferentes formas de mensuração (interobservadores). A medida pode, ainda, ser avaliada pela consistência interna do conjunto de itens utilizados para estimar determinado construto ou dimensão latente . Assim, a consistência interna do instrumento sinaliza o grau de homogeneidade da medida, quando os itens ou subescalas componentes mensuram o mesmo construto .

Este estudo objetivou avaliar a consistência interna das medidas do SRQ-20 em grupos ocupacionais.

MÉTODOS

Foi realizado estudo de validação envolvendo quatro inquéritos que utilizaram metodologias semelhantes em diferentes categorias profissionais no estado da Bahia.

Estudo 1 – Trabalhadores informais. Inquérito epidemiológico, com amostragem sistemática de 1.458 feirantes, ambulantes e mototaxistas de Feira de Santana, BA, 2008 .

Estudo 2 – Professores. Censo dos 4.496 professores das 365 escolas de ensino infantil e fundamental da rede pública de Salvador, BA, 2006 .

Estudo 3 – Trabalhadores da Saúde. Recorte de estudo multicêntrico, utilizando os mesmos procedimentos amostrais de um inquérito realizado em Belo Horizonte , MG, entre trabalhadores da atenção básica de quatro municípios da Bahia (Feira de Santana, Jequié, Santo Antônio de Jesus e um distrito de saúde de Salvador). Foi realizada amostra estratificada proporcional que considerou: a distribuição do número de trabalhadores por área geográfica; definição das estimativas dos eventos de interesse; composição percentual da amostra segundo o número de trabalhadores em cada área geográfica dos municípios participantes e o sorteio, por procedimento aleatório, dos trabalhadores incluídos no estudo em cada região estabelecida. Foram avaliados 2.448 trabalhadores, no período de 2012-2013.

Estudo 4 – Trabalhadores urbanos. Amostra aleatória de 1.557 indivíduos, representando os trabalhadores com mais de 15 anos de idade, estratificados por subdistritos da zona urbana de Feira de Santana, em 2007 .

Em todos os estudos, os transtornos mentais comuns foram avaliados com o uso do Self-Reporting Questionnaire (SRQ-20). Para análise da consistência interna das dimensões (subescalas) do instrumento, previamente realizou-se análise fatorial de correlações tetracóricas, adotando-se o método de componentes principais com extração de fatores, obedecendo ao critério de Kaiser do autovalor (eingenvalue) maior que 1. A técnica de scree plot foi utilizada para a confirmação da quantidade de fatores a serem extraídos. Os itens que apresentaram carga superior a 0,40 foram retidos para a composição dos fatores . A rotação oblíqua PROMAX foi aplicada para melhor interpretação dos valores, usando-se o programa Stata, versão 11.0.

Para comparação das estimativas de consistência interna das subescalas (dimensões) extraídas pela análise fatorial tetracórica, foram utilizados os valores de alpha (α) pela fórmula de Kuder-Richardson (KD-20), o α para matriz de correlações tetracóricas e o α estratificado , com o objetivo de investigar a possível subestimação da consistência interna.

O cálculo do α estratificado foi realizado com auxílio do Microsoft Excel® (2007), usando a fórmula em que S 2 i é a variância dos itens que constituem o factor i (i = 1, ..., f), αi é o alpha de Cronbach para o fator i e S 2 T é a variância do total do instrumento, conforme equação abaixo). Como parâmetro de referência de desempenho satisfatório , adotou-se a variação de 0,65 a 0,90.

Os quatro estudos foram avaliados e aprovados por comitês de ética em pesquisa no período em que foram realizados. O presente estudo foi aprovado Comitê de Ética em Pesquisa do Instituto de Saúde Coletiva da Universidade Federal da Bahia (CAAE 18723813.9.0000.5030).

RESULTADOS

A maioria dos trabalhadores avaliados era do sexo feminino, principalmente entre os professores (92,0%; estudo 2) e trabalhadores da saúde (80,6%; estudo 3). Nos quatro estudos, a faixa etária predominante foi a de 30 a 45 anos (Tabela 1). A escolaridade dos trabalhadores diferiu entre os estudos. A maioria dos trabalhadores informais (estudo 1) referiu nível de escolaridade elementar (95,9%). No estudo 3, 42,9% referiram nível fundamental e 41,3% nível técnico ou superior. O nível técnico ou superior foi referido por 82,1% dos professores (estudo 2) e por 55,9% dos trabalhadores em geral (estudo 4).

Tabela 1

Características sociodemográficas das populações dos quatro estudos. Bahia, 2006-2013.

Estudo – População (N)		n	%
Estudo 1 – Trabalhadores informais (N = 1.458)
Sexo	Feminino	728	49,9
	Masculino	730	50,1
Faixa etária	< 30	537	36,8
	30-45	553	37,9
	> 45	368	25,2
Escolaridade (n = 1.438)	Elementar	1.379	95,9
	Técnico/Superior	9	0,6
	Sem qualificação	50	3,5
Estudo 2 – Professores (N = 4.496)
Sexo (n = 4.342)	Feminino	3.994	92,0
	Masculino	348	8,0
Faixa etária (n = 4.302)	< 30	773	18,0
	30-45	2.289	53,2
	> 45	1.240	28,8
Escolaridade (n = 4.398)	Elementar	717	16,3
	Técnico/Superior	3.609	82,1
	Pós-graduação	72	1,6
Estudo 3 – Trabalhadores da Saúde (N = 2.448)
Sexo (n = 2.421)	Feminino	1.951	80,6
	Masculino	470	19,4
Faixa etária (n = 2.395)	< 30	581	24,3
	30-45	1.071	44,7
	> 45	743	31,0
Escolaridade (n = 2.419)	Elementar	1.038	42,9
	Técnico/Superior	1.000	41,3
	Pós-graduação	381	15,8
Estudo 4 – Trabalhadores urbanos (N = 1.557)
Sexo	Feminino	851	54,7
	Masculino	706	45,3
Faixa etária	< 30	576	37,0
	30-45	584	37,5
	> 45	397	25,5
Escolaridade (n = 1.269)	Elementar	536	42,3
	Técnico/Superior	710	55,9
	Sem qualificação	23	1,8

O preenchimento dos itens do SRQ-20 variou segundo os estudos (Tabela 2). O maior número de perdas foi identificado no estudo 2, com 605 dados faltantes (13,5%), seguido pelo estudo 3, que apresentou perda de 60 dados (2,4%). Menores percentuais de perdas foram encontrados nos estudos 1 e 4 (0,3% e 1,2%), respectivamente.

Tabela 2

Valores de alpha de Cronbach (KD-20) e alpha de matriz de correlações tetracóricas dos itens que compõem o SRQ-20, segundo grupo de trabalhadores. Bahia, 2006-2013.

	Grupo de trabalhadores
	Trabalhadores informais		Professores		Trabalhadores da saúde		Trabalhadores urbanos
	(n = 1.453)a		(n = 3.891)b		(n = 2.397)c		(n = 1.539)d
Itens do SRQ-20	α1e	α2f	α1e	α2 f	α1e	α2 f	α1e	α2 f
1. Tem dores de cabeça frequentemente?	0,85	0,93	0,85	0,93	0,82	0,92	0,84	0,92
2. Você tem falta de apetite?	0,84	0,93	0,85	0,93	0,82	0,92	0,83	0,92
3. Você dorme mal?	0,84	0,93	0,85	0,93	0,81	0,91	0,83	0,92
4. Assusta-se com facilidade?	0,84	0,93	0,85	0,93	0,81	0,91	0,83	0,92
5. Tem tremores nas mãos?	0,84	0,93	0,85	0,93	0,81	0,91	0,84	0,92
6. Sente-se nervoso, tenso ou preocupado?	0,84	0,93	0,84	0,93	0,80	0,91	0,83	0,92
7. Você tem má digestão?	0,84	0,92	0,85	0,93	0,81	0,91	0,84	0,92
8. Tem dificuldade de pensar claramente?	0,84	0,93	0,85	0,93	0,81	0,91	0,83	0,92
9. Sente-se triste ultimamente?	0,84	0,92	0,84	0,93	0,80	0,90	0,83	0,92
10. Tem chorado mais que o costume?	0,84	0,93	0,85	0,93	0,81	0,91	0,83	0,92
11. Tem dificuldade de satisfação com suas tarefas?	0,84	0,93	0,85	0,93	0,81	0,91	0,83	0,92
12. Tem dificuldade de tomar decisão?	0,84	0,93	0,85	0,93	0,81	0,91	0,84	0,92
13. O seu trabalho traz sofrimento?	0,84	0,93	0,85	0,93	0,82	0,91	0,84	0,92
14. Sente-se incapaz de desempenhar papel útil?	0,85	0,93	0,86	0,94	0,82	0,92	0,83	0,92
15. Tem perdido o interesse pelas coisas?	0,84	0,92	0,85	0,93	0,81	0,91	0,83	0,92
16. Sente-se inútil em sua vida?	0,85	0,93	0,86	0,93	0,82	0,92	0,84	0,92
17. Tem pensado em dar fim à sua vida?	0,85	0,93	0,86	0,94	0,82	0,91	0,84	0,92
18. Sente-se cansado todo o tempo?	0,84	0,93	0,84	0,93	0,81	0,91	0,83	0,92
19. Sente desconforto estomacal?	0,84	0,93	0,85	0,93	0,81	0,91	0,83	0,92
20. Você se cansa com facilidade?	0,84	0,93	0,85	0,93	0,81	0,91	0,83	0,92
Total	0,85	0,94	0,85	0,94	0,82	0,92	0,84	0,93

a Perdas de 0,3%.

b Perdas de 13,5%.

c Perdas de 2,4%.

d Perdas de 1,2%.

e Alpha de Cronbach (KD-20), se o item for retirado.

f Alpha de Cronbach para matriz de correlações tetracóricas, se o item for retirado.

Os valores de α das dimensões do SRQ-20 dos grupos ocupacionais avaliados apresentaram variações expressivas. A utilização do alpha ajustado pela matriz de correlações tetracórica permitiu coeficientes mais robustos, considerando o tamanho da amostra.

Nos estudos 1 e 2, observaram-se valores de KD-20 e do α de matriz tetracóricas semelhantes (0,85 e 0,94, respectivamente). O estudo 3 (trabalhadores da saúde) apresentou o menor valor de consistência interna para ambos os estimadores (0,82 e 0,92). No estudo 4, os valores padronizados do conjunto de itens foi de 0,84 para a estimativa KD-20 e 0,93 para o α de correlações tetracóricas. Em todos os estudos, a retirada de itens não alterou substancialmente os valores globais das estimativas de consistência interna do instrumento.

A análise fatorial permitiu a extração de três fatores que diferiram quanto à classificação das dimensões e o número de itens em cada dimensão entre os estudos (Tabela 3).

Tabela 3

Número de itens, número de perdas, estimativas do alpha de Cronbach e do alpha de Cronbach estratificado das dimensões do SRQ-20 extraídas pela análise fatorial tetracórica entre grupos de trabalhadores. Bahia, 2006-2013.

Estudo – População (N)	Itens (N)	Perdas	Alpha de Cronbach	Alpha de Cronbach (Tetracórica)
Estudo 1 – Trabalhadores informais (N = 1.453)
F1 – Humor depressivo/Sintomas de ansiedade	11	5	0,79	0,90
F2 – Componente somático	5	0	0,65	0,79
F3 – Decréscimo de energia	4	0	0,65	0,76
Total da escala	20	5	0,85	0,92
Alpha de Cronbach estratificado	-	-	0,86	0,93
Estudo 2 – Professores (N = 3.891)
F1 – Decréscimo de energia/Sintomas de ansiedade	11	434	0,82	0,92
F2 – Componente somático	6	295	0,68	0,82
F3 – Humor depressivo	3	242	0,41	0,74
Total da escala	20	605	0,85	0,93
Alpha de Cronbach estratificado	-	-	0,82	0,94
Estudo 3 – Trabalhadores da saúde (N = 2.397)
F1 – Humor depressivo	9	33	0,67	0,87
F2 – Decréscimo de energia/Sintomas de ansiedade	9	44	0,72	0,87
F3 – Componente somático	2	17	0,70	0,87
Total da escala	20	60	0,82	0,92
Alpha de Cronbach estratificado	-	-	0,83	0,93
Estudo 4 – Trabalhadores urbanos (N = 1.539)
F1 – Componente somático/Sintomas de ansiedade	11	8	0,78	0,88
F2 – Decréscimo de energia	5	6	0,62	0,82
F3 – Humor depressivo	4	4	0,64	0,86
Total da escala	20	18	0,84	0,93
Alpha de Cronbach estratificado	-	-	0,85	0,93

O coeficiente de α de Cronbach calculado para matriz de correlações tetracóricas produziu valores superiores para todas as dimensões dos estudos participantes. A consistência interna dos itens do instrumento, avaliada pelo α de Cronbach estratificado, foi elevada (> 0,80) na maioria dos estudos.

No estudo 1, a dimensão representada pelo fator 1 (F1 – humor depressivo ou sintomas de ansiedade) concentrou o maior número de itens (11) e apresentou maior consistência interna segundo os dois métodos de estimação (0,79 e 0,90). O fator 2 (F2) representou a dimensão somática e o fator 3 (F3), a dimensão “decréscimo de energia”. Estas duas últimas dimensões apresentaram valores idênticos de α de Cronbach (0,65), mas diferiram nas estimativas avaliadas para correlação de matriz tetracórica, com maior valor para o F2 (α = 0,79).

Entre os professores (estudo 2), a dimensão “humor depressivo” apresentou limitações na consistência interna (α = 0,41). Entretanto, a mesma dimensão manteve-se no padrão de referência ao ser avaliada considerando a matriz tetracórica (α = 0,74).

As três dimensões extraídas pela análise fatorial no estudo 3 apresentaram estimativas de confiabilidade similares (α = 0,87), quando considerada a correlação tetracórica.

O estudo 4 exibiu as menores estimativas de confiabilidade entre as dimensões do SRQ-20. O fator 2 (“decréscimo de energia”) e o fator 3 (“humor depressivo”) apresentaram coeficientes de α de Cronbach abaixo do valor de referência α = 0,62 e α = 0,64, respectivamente. Entretanto, ao utilizar o método de matriz de correlação tetracórica todos os fatores (dimensões) atingiram valores de coeficiente maiores que 0,80.

DISCUSSÃO

As estimativas de consistência interna das dimensões e os escores globais do SRQ-20, feitas com matriz de correlações tetracóricas, mostraram valores adequados e condizentes com a literatura . Entretanto, a elevada proporção de perdas no estudo 2 pode ter comprometido as estimativas do alpha de Cronbach. Tanto as perdas que afetam os valores de α quanto as diferenças encontradas entre os grupos ocupacionais refletem que a confiabilidade de uma medida, avaliada pela reprodutibilidade ou homogeneidade dos itens de mensuração, não pode ser interpretada como propriedade inerente ou imutável de um instrumento, pois depende da interação entre o instrumento e um grupo específico avaliado .

A consistência interna tem sido considerada medida apropriada para descrever traços, características de comportamentos ou desordens em determinado contexto, mas não necessariamente para discriminar grupos que possuam tais atributos ou não . Assim, características do grupo podem afetar a homogeneidade dos itens de mensuração. Diferenças intrasujeitos ou intersujeitos relacionadas à variabilidade dos dados afetam o valor de α. De uma forma geral, quanto menor a variabilidade das respostas intrasujeitos e maior a variabilidade das respostas intersujeitos, maior o valor de α .

Neste estudo, a maioria dos grupos ocupacionais era do sexo feminino, com faixa etária média (30 a 45 anos) e com diferenças no nível de escolaridade. A baixa escolaridade pode ser uma barreira para expressão de desordens emocionais . Entretanto, a estratificação aqui utilizada não permite análise detalhada desta característica na interpretação da escala.

Para além das diferenças entre os grupos, o alto grau de consistência das medidas de uma escala denota facilidade de interpretação do escore final, como reflexo dos itens que compõem o instrumento. Para isso, os itens devem estar moderadamente correlacionados entre si e manterem correlação com o escore total da escala .

A interpretação das medidas de consistência interna produzidas pelo SRQ-20 tem sido discutida na literatura. A maioria dos estudos usam o α de Cronbach (KD-20) como medida de referência na avaliação da consistência do SRQ-20 , , , . Os escores totais do instrumento têm sido interpretados como satisfatórios; entretanto, ao avaliar as dimensões que representam grupos de sintomas, os coeficientes α de Cronbach apresentam menores valores. A multidimensionalidade do construto avaliado pelo SRQ-20 limita relações homogêneas entre os itens e justifica o desempenho irregular da consistência interna das medidas do instrumento .

Alguns aspectos devem ser considerados na avaliação dos resultados relativos às estimativas da consistência interna de um instrumento. A aceitação acrítica dos valores de α, como reflexo de altos níveis de consistência interna, podem implicar problemas de julgamento da real homogeneidade da escala.

O valor de α não depende apenas da magnitude da correlação dos itens de uma escala, mas, também, do número de itens que a compõem. Assim, quanto maior o número de itens em uma escala, maior será a estimativa de consistência interna. Outra condição que necessita maior cautela na interpretação da consistência interna é a junção de escalas que avaliam construtos independentes, pois o aumento dos itens elevará as estimavas de α. Além disso, altos valores de α podem implicar em redundância dos itens da escala, comprometendo a validade de conteúdo, dado que um conjunto de itens pode avaliar as mesmas condições de diferentes formas .

Neste estudo, a maioria das dimensões extraídas pela análise fatorial tetracórica apresentou estimativas de consistência interna dentro do parâmetro de referência assumido (α = 0,65-0,90). Entretanto, os parâmetros utilizados como referência para as estimativas de α também são alvo de crítica.

Existem diversos valores de referência para avaliação da consistência interna de escalas , . As variações nos valores de referência devem-se a diferentes números de itens da escala e ao tamanho das amostras investigadas. De maneira geral, escalas com menos de 10 itens, com tamanho amostral reduzido e que apresentem valores de α = 0,70, são consideradas com boa consistência interna em suas medidas. Em contrapartida, caso a escala possua número maior de itens e tamanho amostral maior que 300, o valor de α = 0,90 deve ser utilizado como parâmetro . Apesar dos parâmetros propostos, avaliações críticas devem ser estimuladas. Estimativas de α são afetadas pela quantidade de itens e dimensionalidade das escalas. Valores superiores a 0,90 sugerem redundância dos itens da escala e necessidade de redução do instrumento .

Este estudo fornece evidências para caracterizar o SRQ-20 como um instrumento multidimensional, com dimensões que variaram segundo os diferentes grupos ocupacionais investigados. As estimativas de α não podem ser interpretadas como propriedade do instrumento, uma vez que estão condicionadas aos escores da escala em uma determinada população .

Em geral, medidas unidimensionais apresentam elevados níveis de consistência interna (alta homogeneidade). Entretanto, altos valores de consistência interna representam condições necessárias, mas não suficientes, para garantir unicidade de uma escala . Assim, os instrumentos multidimensionais que apresentam elevados níveis de consistência interna de uma determinada medida mostram que, apesar de existirem diferentes dimensões, os itens componentes estão fortemente inter-relacionados .

Os valores de α podem subestimar a verdadeira consistência interna das medidas de um instrumento multidimensional, devido à estimativa de α sugerir discriminação equivalente entre os itens do questionário , , . Escalas congenéricas, caracterizadas pela correlação dos itens entre si, também sofrem efeito da subestimação dos valores de alpha . Para instrumentos multidimensionais, o α estratificado tem apresentado melhor desempenho das estimativas que os estimadores convencionais, apesar de as diferenças não serem tão expressivas . Por isso, o princípio de tau equivalência deve ser considerado ao analisar as estimativas de α de Cronbach entre instrumentos multidimensionais. Nesses casos, a pressuposição de que cada item do teste mede o mesmo traço latente em um instrumento é violada pelas dimensões extraídas pela análise fatorial. Dessa forma, os valores de α das medidas de um instrumento multidimensional serão subestimadas .

No contexto das avaliações psicométricas, destaca-se o debate sobre a superioridade das medidas utilizadas como critérios de confiabilidade . As medidas de α de Cronbach são amplamente utilizadas de forma acrítica e muitas vezes consideradas referência para confiabilidade de escalas. Entretanto, é necessário aprofundar-se na análise dos valores de α e comparar os índices com base na repetição de medidas (teste-reteste) .

Limitações operacionais e teóricas traduzem baixo limiar de consistência interna para as estimativas produzidas pelo α de Cronbach. Além disso, subsistem as dificuldades de interpretação e julgamento das suas medidas. As estimativas do alpha se correlacionam com outras estatísticas, o que pode confundir resultados quando valores muito baixos e muito altos deste coeficiente são encontrados em instrumentos unidimensionais ou multidimensionais. Assim, são necessárias informações adicionais para avaliar as estimativas de α, isoladamente, como medida de consistência interna .

Apesar do uso extensivo do α de Cronbach na avaliação da consistência interna do SRQ-20, ainda é recente a discussão sobre as reais implicações de suas medidas para os instrumentos multidimensionais. São necessários estudos que avaliem criticamente as estimativas de α de Cronbach, comparando-as com métodos alternativos e informações adicionais que permitam melhor dimensionamento da precisão dos instrumentos de mensuração de construtos latentes, como no caso dos transtornos mentais.