Validity and reliability of a health care service evaluation instrument for tuberculosis.

OBJECTIVE To evaluate the validity and reliability of an instrument that evaluates the structure of primary health care units for the treatment of tuberculosis. METHODS This cross-sectional study used simple random sampling and evaluated 1,037 health care professionals from five Brazilian municipalities (Natal, state of Rio Grande do Norte; Cabedelo, state of Paraíba; Foz do Iguaçu, state of Parana; Sao José do Rio Preto, state of Sao Paulo, and Uberaba, state of Minas Gerais) in 2011. Structural indicators were identified and validated, considering different methods of organization of the health care system in the municipalities of different population sizes. Each structure represented the organization of health care services and contained the resources available for the execution of health care services: physical resources (equipment, consumables, and facilities); human resources (number and qualification); and resources for maintenance of the existing infrastructure and technology (deemed as the organization of health care services). The statistical analyses used in the validation process included reliability analysis, exploratory factor analysis, and confirmatory factor analysis. RESULTS The validation process indicated the retention of five factors, with 85.9% of the total variance explained, internal consistency between 0.6460 and 0.7802, and quality of fit of the confirmatory factor analysis of 0.995 using the goodness-of-fit index. The retained factors comprised five structural indicators: professionals involved in the care of tuberculosis patients, training, access to recording instruments, availability of supplies, and coordination of health care services with other levels of care. Availability of supplies had the best performance and the lowest coefficient of variation among the services evaluated. The indicators of assessment of human resources and coordination with other levels of care had satisfactory performance, but the latter showed the highest coefficient of variation. The performance of the indicators "training" and "access to recording instruments" was inferior to that of other indicators. CONCLUSIONS The instrument showed feasibility of application and potential to assess the structure of primary health care units for the treatment of tuberculosis.

INTRODUCTION

Health care services can be evaluated by monitoring the ability to respond to health care needs, determine the effects of interventions, produce evidence, identify and correct problems, provide feedback to health care teams and managers, develop technical material to adequately evaluate the health care provided to patients, and support the development of sectoral policies and programs and disseminate their results.

Despite the presence of conceptual differences, the methodological construction for evaluation of health care services will depend on the clarity of the principles, objectives, and goals of the systems to be evaluated. This will form the basis for selecting variables that will be the object of performance evaluation.

Hartz (2012) indicated that it is important for health care systems to achieve their goals according to the established guidelines. Moreover, these systems should have relevant indicators for the evaluation of performance: “the estimation of these indicators may seem simple. However, there is no theoretical or methodological consensus on how these indicators should translate impacts or effects, and these estimations are always a central concern of the evaluators, considering political and institutional priorities, the complexity of each intervention, and the multiple approaches adopted”.

The structure of the health care system was a variable introduced in the model proposed by Brazilian authors among the spectrum of strategies adopted for evaluation of health care systems found in the literature.

Development and validation of an instrument for evaluation of the structure of primary health care services for the treatment of tuberculosis (TB) can be the first step toward the development of relevant indicators to evaluate the performance of health care systems.

Previous studies that aimed to validate instruments for evaluation of health care services and validation of psychometric indicators used reliability analysis techniques, exploratory factor analysis (EFA), , and confirmatory factor analysis (CFA). ,

The objective of this study was to analyze the validity and reliability of an instrument that evaluates the structure of primary health care services for the treatment of TB.

METHODS

This study is part of a series of studies conducted in five cities in the Northeast, Southeast and South regions of Brazil for evaluation of health care services for the treatment of TB.

The study was conducted in the following five cities: Sao José do Rio Preto, SP, Southeastern Brazil, with a population of 419,632 inhabitants and 16.4% coverage by the family health team (FHT); Natal, RN, Northeastern Brazil, with 806,203 inhabitants and 30.8% coverage by the FHT; Foz do Iguaçu, PR, Southern Brazil, with 325,132 inhabitants and 39.3% coverage by the FHT; Cabedelo, PB, Northeastern Brazil, with 57,926 inhabitants and 85.0% coverage by the FHT; and Uberaba, MG, Southeastern Brazil, with 296,259 inhabitants and 58.2% coverage by the FHT.

The study group included health care professionals who constituted the minimum staff involved in the care of TB patients [physicians (general and family practitioners), nurses (nursing assistants/technicians) and community health workers (CHW)] in the primary health care system of the cities evaluated.

A structured instrument was built using 39 closed questions covering three evaluative components: human resources, physical resources, and service organization (see Annex), which were organized dichotomously (yes or no).

The construction of the instrument was based on extensive literature review through searches of quality assessment studies. The structure corresponded to the organization of health care services and included the resources available for the execution of health care services: physical resources (equipment, consumables, and facilities); human resources (number and qualification); and resources for maintenance of the existing infrastructure and technology (deemed as the organization of health care services). The Recommendations Manual for Control of Tuberculosis, Nursing Protocol for Directly Observed Treatment of Tuberculosis, and Best Practice Guidelines for the Care of Patients with TB were used. These documents provide the most relevant actions for the treatment of TB in health care services at the national and international levels.

The adequacy and consistency of the instrument items were also verified. Each variable that composed the evaluative component of the structure was discussed. The instrument was evaluated by three experts who did not know the study. The following items were qualitatively evaluated: organization, objectivity, clarity, readability, and comprehension of the content. The judges were instructed to write suggestions and comments to improve the items evaluated. The instrument was adjusted after incorporating all suggestions given.

For sample calculation, the number of professionals [including physicians (general and family physicians), nurses (nursing assistants/technicians) and CHW who worked in primary health care services in the municipalities] was calculated using the National Register of Health Care Units and excluding the duplicates. Taking the number of health care professionals working in basic health care in each municipality (489 in Uberaba; 633 in Sao José do Rio Preto; 518 in Foz do Iguaçu, 157 in Cabedelo, and 976 in Natal) as reference, the minimum number of professionals to be interviewed was obtained using the equation .

A sampling error of 0.05, confidence interval of 95%, and population percentage (p) of 50.0% were considered.

The value obtained was corrected for the total number of professionals using the equation . Therefore, a total of 1,037 professionals were interviewed in each municipality participating in the multicenter study (239 in Sao José do Rio Preto, 216 in Uberaba, 225 in Foz do Iguaçu, 240 in Natal, and 117 in Cabedelo). The number of professionals in each category was calculated using stratified proportional sample.

A simple random sampling procedure was used for the selection of health care services. Health care workers identified as key informants in the health care units drawn and who agreed to participate in the study were interviewed. The drawing of health care units was performed until the number of professionals predicted in the sample calculation was reached.

The sample size was calculated to meet the criteria for conducting factor analysis, considering that the sample size should have a ratio of 10 respondents for each questionnaire item, which would allow working with 390 respondents. For variables with dichotomous responses, the recommendation was to work with samples > 1,000 to avoid numerical convergence and singularity. Therefore, the calculated sample would allow for a possible loss of 3.5%.

Data were analyzed by descriptive techniques. The reliability of the instrument was measured using Cronbach’s α index. The validity was measured in two ways: using EFA, which aimed to simplify data structure and summarize the information considering the large number of variables involved, and CFA, which tested the preconceived hypothesis about data structure found in EFA. , The results of factor analyses allowed clusterization of the questionnaire items into factors.

The average value (μ = P, Percentage of all health care units with the characteristics studied), standard deviation (), and coefficient of variation for the set of items of the questionnaire that composed each factor (structure indicators) were estimated.

Use of EFA assumes that the variables can be grouped according to their correlations to obtain factors containing variables that are highly correlated with each other but are poorly correlated with other variables. , However, EFA assumes that the variables are quantitative and continuous and therefore involves calculation of Gaussian correlation matrices to estimate the factors and exploratory factor model. Because the variables were dichotomous, matrices of tetrachoric correlations were used, which is appropriate in variable metrics for estimating the factors and factor model. ,

EFA on the matrix of tetrachoric correlations , used principal component analysis to extract the factors, followed by Varimax rotation. The common factors retained were those with eigenvalues of > 1, in line with the screen plot and the percentage of retained variance. It is recommended that the number of factors selected should correspond to a minimum of 60.0% of the total variance and should retain ≥ 3 items in each factor. This is because use of a single criterion can lead to retention of more/less factors than those necessary to describe the underlying structure.

The Kaiser-Meyer-Olkin (KMO) test and Bartlett’s test of sphericity were used to assess data adequacy to EFA. The latter test examined whether the correlation matrix of the population was an identity matrix, i.e., no correlation existed between the variables with statistical significance at p < 0.10. The values of the KMO criterion were used to verify adequacy to the method and varied between 0 and 1 (≥ 0.80: outstanding; 0.70-0.79: acceptable; 0.60-0.69: average; 0.50-0.59: poor, and < 0.50: inadequate).

Another measure of data adequacy to EFA includes the values of the principal diagonal of the anti-image correlation matrix. It is known as a measure of sampling adequacy or KMOi and its value should be > 0.5 for each variable in the analysis. KMOi values of < 0.5 indicate that the variable did not fit the structure defined by the other variables and therefore should be excluded from EFA. The statistical significance of the factor loadings that represented the correlation between an original variable and its factor was evaluated for factor interpretation. To achieve a power level of 80.0% and a significance level of 0.05, sample sizes of ≥ 350 and factor loadings with correlation of ≥ 0.30 are suggested.

The commonalities (fraction of the variance that a variable shares with all other variables considered) were evaluated for each variable, observing whether it met the acceptable levels of explanation (> 0.5) and its contribution to the study. A residue matrix (observed correlations minus estimated correlations) with more than 50.0% of the residues with an absolute value of < 0.05 was considered a factorial model indicator with good fit.

The CFA model was adjusted using free asymptotic distribution (FAD) or weighted least squares (WLS) because it did not require the items to have multivariate normality. The Statistica software including the Asymptotically Distribution Free Gramian (ADFG) estimator was used in these situations.

The quality of the CFA model was evaluated using the goodness-of-fit index (GFI), which is the fraction of the correlations between the original variables that are explained by the model. GFI values of < 0.9 indicate poor fit to the data, values of 0.9-0.95 indicate good fit, values of > 0.95 indicate very good fit, and values equal to 1 indicate perfect fit. GFI tends to increase with increased sample size. The adjusted goodness-of-fit index (AGFI) was calculated, which is the value adjusted for the number of degrees of freedom of the sample.

Reliability was calculated using Cronbach’s α index, which measures the internal consistency of questionnaire items. The recommended lower limit for α is 0.7. However, in exploratory studies, values of ≥ 0.6 are acceptable.

This study was approved by the Research Ethics Committee of Escola de Enfermagem de Ribeirão Preto, Universidade de São Paulo, under Protocol 1264/2011 in accordance with Resolution 196/96 of the National Health Council. All participants signed the informed consent form.

RESULTS

A total of 1,037 health care professionals were interviewed: 239 in Sao José do Rio Preto, 216 in Uberaba, 225 in Foz do Iguaçu, 117 in Cabedelo, and 240 in Natal. Table 1 shows the frequency distribution of the questionnaire items for evaluation of the structure of primary health care services for the treatment of TB patients.

Table 1

Frequency distribution of the questionnaire items for evaluation of HCS according to the structure of primary health care units for the treatment of TB. Brazil, 2011.

Human resources	Yes (%)
1. Does this service have a nurse responsible for the care of TB patients?	99.3
2. Does this service have a nursing assistant/technician responsible for the care of TB patients?	71.4*
3. Does this service have a physician responsible for the care of TB patients?	92.6*
4. Does this service have a community health worker responsible for the care of TB patients?	88.5*
5. Are there other professionals in this service (psychologist, social worker) involved in the care of TB patients?	45.1
6. In the last three years, were nurses trained to care for TB patients?	77.1*
7. In the last three years, were nursing assistants/technicians trained to care for TB patients?	33.9*
8. In the last three years, were physicians trained to care for TB patients?	61.5*
9. In the last three years, were CHW trained to care for TB patients?	47.3*
10. In the last three years, were other professionals trained to care for TB patients?	13.0
11. In the last 12 months, did the epidemiological health surveillance agencies conduct training on TB?	60.4*
12. In the last 12 months, did the health care units train health care workers on TB?	34.9
13. Is there a professional responsible for DOT in this health care unit?	88.4
Physical resources	Yes (%)
14. In this service, are medical clinics available for the care of TB patients?	71.4
15. In this service, are nursing care rooms available to TB patients?	69.1
16. At present, are basic food staples and food vouchers available to TB patients?	51.0
17. At present, are transportation vouchers available to TB patients?	20.5
18. Do professionals have access to notification forms?	83.4*
19. Do professionals have access to medical records?	92.5*
20. Do professionals have access to monthly treatment monitoring reports?	63.4*
21. Do professionals have access to daily DOT reports?	66.5*
22. Do professionals have access to the green paper?	53.9*
23. Does the health care unit have pots for sputum examination?	89.9*
24. Has the health care unit requested sputum smear microscopy?	95.7*
25. Has the health care unit requested microbiological cultures?	90.8*
26. Has the health care unit requested HIV examination?	92.9
27. Does the health care unit have reference and counter-reference cards?	91.2
28. Did the availability (delivery) of TB drugs in this health care unit meet the demand in the last 12 months?	88.1
Service organization	Yes (%)
29. Does this HCS assist patients outside business hours (after 5 pm)?	38.3
30. Are discussions regarding cases involving TB patients who are treated in this health care unit conducted by health care professionals responsible for the treatment of this condition?	73.4
31. Can TB patients under treatment schedule a consultation within 24h in this health care unit in case they experience complications arising from TB or its treatment?	87.1
32. Are TB patients under treatment advised to seek health care units outside the scheduled date of return in case they experience any problems arising from TB or its treatment?	95.5
33. Does this health care unit have coordination with other levels of care when the patient requires consultations because of other comorbidities (diabetes, hypertension, psychiatric diseases)?	85.3*
34. Does this health care unit have coordination with other levels of care when the patient is coinfected with HIV?	87.7*
35. Does this health care unit have coordination with other levels of care when the patient experiences complications arising from treatment?	91.4*
36. Does this health care unit have coordination with other levels of care when difficulties in the realization of DOT occur?	78.6*
37. Is the frequency at which the laboratory conducts TB examination tests during treatment sufficient to meet the demand for this service?	64.5
38. Do the sputum smear microscopy results become available within 7 days?	22.6
39. In the health care unit, is there a computerized system containing information about the patients with TB (scheduled appointments, work absenteeism, problems during drug therapy)?	21.9

TB: tuberculosis; CHW: community health worker; DOT: directly observed treatment; HCS: health care service

* Validated items.

The validation process of the questionnaire items tested five different EFA models with the preset number of factors between 3 and 7. This is because the scale could conceptually identify ≥ 3 components. Variables with KMOi values of > 0.5 were maintained in the model. The best model considered retention of five factors, with KMO = 0.728, p < 0.0001 for Bartlett’s sphericity test (c = 5473.94, gl = 190), 85.9% of the total variance explained, residue matrix with 44.2% of the residues > 0.05, and eigenvalues of > 1.

The five factors retained, their factor loadings, commonalities, eigenvalues, explained variance for each factor, and Cronbach’s α are shown in Table 2.

Table 2

Structure, retained factors, factor loadings, commonalities, eigenvalues, explained variance, and Cronbach’s α. Brazil, 2011.

Questionnaire itema	Factor loadings of the 5 validated factors
	1	2	3	4	5	Commonalities
	Access to recording instruments	Training of health professionals	Coordination with other levels of care	Professionals involved in the care of TB patients	Availability of supplies and equipment
2. Does this service have a nursing assistant/technician responsible for the care of TB patients?	0.016	-0.001	0.013	0.912b	0.064	0.785
3. Does this service have a doctor responsible for the care of TB patients?	-0.184	0.034	0.125	0.901b	-0.141	0.801
4. Does this service have a community health worker responsible for the care of TB patients?	0.089	0.157	-0.183	0.921b	0.009	0.863
6. In the last three years, were nurses trained to care for TB patients?	0.194	0.973b	0.152	0.026	0.054	0.998
7. In the last three years, were nursing assistants/technicians trained to care for TB patients?	-0.135	0.738b	0.024	0.552	0.258	0.895
8. In the last three years, were physicians trained to care for TB patients?	0.140	0.835b	0.262	0.150	-0.009	0.803
9. In the last three years, were CHW trained to care for TB patients?	-0.257	0.603b	-0.104	0.428	0.365	0.714
11. In the last 12 months, did the health epidemiological surveillance agencies conduct training on TB?	0.218	0.811b	-0.044	-0.170	0.160	0.691
18. Do professionals have access to notification forms?	0.885b	0.248	0.144	-0.054	0.164	0.888
19. Do professionals have access to medical records?	0.941b	0.180	0.192	-0.009	0.112	0.957
20. Do professionals have access to monthly treatment monitoring reports?	0.847b	-0.290	0.152	-0.225	-0.015	0.818
21. Do professionals have access to daily DOT reports?	0.663b	0.061	0.083	-0.068	0.376	0.540
22. Do professionals have access to the green paper?	0.797b	0.161	0.134	0.126	0.108	0.648
23. Does the health care unit have pots for sputum examination?	0.096	0.043	0.004	0.031	0.898b	0.718
24. Has the health care unit requested sputum smear microscopy?	0.399	0.302	0.254	0.126	0.791b	0.980
25. Has the health care unit requested microbiological cultures?	0.306	0.177	0.332	-0.140	0.787b	0.902
33. Does this health care unit have coordination with other levels of care when the patient requires consultations because of other comorbidities (diabetes, hypertension, psychiatric diseases)?	0.195	0.008	0.910b	0.065	0.192	0.872
34. Does this health care unit have coordination with other levels of care when the patient is coinfected with HIV?	0.235	0.051	0.895b	-0.006	-0.039	0.848
35. Does this health care unit have coordination with other levels of care when the patient experiences complications arising from treatment?	0.227	0.131	0.969b	-0.027	-0.006	0.992
36. Does this health care unit have coordination with other levels of care when difficulties in the realization of DOT occur?	-0.050	0.126	0.804b	-0.100	0.377	0.771
Eigenvalues	6.676	4.190	2.474	2.130	1.713	Total
Percentage of total variation	33.380	20.951	12.371	10.652	8.564	85.918
Standardized Cronbach’s α	0.7535	0.7226	0.7802	0.6460	0.6732	0.7265

TB: tuberculosis; CHW: community health worker; DOT: directly observed treatment

Note: Exploratory factor analysis was conducted using factor extraction using principal component analysis; Varimax rotation was performed using Kaiser normalization.

a See Annex.

b Significant factor loadings.

The first factor, “access to recording instruments”, consisted of the following items: notification forms, medical records, monthly monitoring forms, daily form of directly observed treatment (DOT), and green paper. The second factor, “training of health professionals”, consisted of five items: nurses, nursing assistants/technicians, physicians, CHW trained to care for TB patients in the past three years, and professional training conducted by the epidemiological surveillance department in the last 12 months. The third factor, “coordination of health care services with other levels of care”, consisted of four items: coordination of health care services with other levels of care when the patient required consultations because of other comorbidities, coinfection with HIV, and treatment complications and when difficulties in the execution of DOT occurred. The fourth factor, “professionals involved in the care of TB patients”, consisted of three items: nursing assistants/technicians, physicians, and CHW involved in the care of TB patients in health care services. The fifth factor, “availability of supplies and equipment”, consisted of three items: availability of pots for sputum examination, form for sputum smear microscopy request, and form for microbiological culture request in health care services.

The CFA model adjusted with the ADFG estimator provided a value of 0.996 for the GFI index and 0.995 for the adjusted GFI index.

The mean percentage of questionnaire items that composed each factor (structural indicators) and their standard deviation are shown in Table 3. Coordination of health care services with other levels of care showed higher data variability in health care services.

Table 3

Indicators for evaluation of the structure of health care services for the treatment of tuberculosis. Brazil, 2011.

Structure indicators	Mean percentage	sd	Coefficient of variation
	%	%	%
Professionals involved in the care of TB patients	84.2	3.3	3.9
Training of health care professionals	56.0	4.5	8.0
Access to recording instruments	72.0	4.1	5.7
Availability of supplies	92.2	2.4	2.6
Coordination of health care services with other levels of care	85.8	7.6	8.9

DISCUSSION

Twenty of the 39 items originally proposed were validated, allowing reduction of the data structure (Table 1). The 20 items were validated in five factors, meeting the conditions for realization of EFA, Bartlett’s sphericity test and KMO with acceptable quality, total variance of > 60.0%, at least three items retained in each factor, , factor loadings of > 0.3, commonalities of > 0.5, and eigenvalues of > 1 (Table 2).

Reliability analysis indicated Cronbach’s α values that varied between 0.6460 and 0.7802 (Table 2), and these results were within the values considered acceptable in the literature. Cronbach’s α values of factors 4 and 5 (Table 2) were < 0.7 because of the retention of three items for each factor, although more items would be necessary to increase factor reliability. The items proposed in the questionnaire that could be correlated with the items of factor 4 – “nurses” and “other professionals” involved in the care of TB patients – were removed from EFA. The item “nurses” showed variance close to zero because most respondents (99.3%) recognized that this professional category was most closely involved in the care of TB patients. When variance is zero, the measure is constant and the item can be removed from EFA because of the lack of variability. Nurses are recognized as responsible for most of the activities related to the control of TB. The item “other professionals” was removed because the value of commonality was < 0.5, possibly because of little acknowledgment (45.1%) by respondents that these professionals are involved in the care of TB patients. This indicates the difficulty of adding new professional categories in the actions for TB control.

The quality of the adjusted CFA model (GFI = 0.995) was assessed as very good in the five municipalities. The five factors retained were adequate to evaluate the structure of health care services for TB treatment in the municipalities evaluated. This result showed that the theoretical framework was adequate for the data under observation. The indicator “training” had the lowest score. Training is among the institutional challenges of the primary health care department of the Brazilian Ministry of Health, which has proposed a revision of the training processes and has emphasized on continued education of health care teams, coordinators, and managers.

Lack of training of health care professionals in the treatment of TB was one of the factors that limited the performance of health care teams. Other studies have indicated the need for continuous training of health care professionals to achieve higher quality of services. Training of health care professionals should be permanent and should include educational workshops and participation of academics and health care professionals.

The item “access to recording instruments” achieved a low score compared with the other indicators. The quality of data of health surveillance systems is related to the level of completeness and validity of the data recorded. Therefore, access to recording instruments is necessary. In this respect, previous studies have indicated the inadequacy in filling medical reports and data input into the database of the Information System for Notifiable Diseases.

Most health care services were coordinated with other levels of care in situations when the patient was coinfected with HIV, required consultations because of other comorbidities, and presented clinical complications and when difficulties in the execution of DOT occurred. However, this indicator had the highest coefficient of variation, i.e., varied more between the services evaluated compared with other indicators. Therefore, managers should pay more attention to services that do not conduct these activities satisfactorily.

The indicator with the best performance was “availability of supplies”. However, the performance was not good enough to ensure that all health care services received the necessary supplies for the treatment of TB.

The questions “does this health care service assist patients outside office hours?”, “are patients advised to seek health care services outside the scheduled date?” and “is there a computerized system in the health care unit?” presented KMOi values of < 0.5 and were therefore removed from EFA. This indicates that these items did not fit the structure established by the other items, i.e., they did not significantly correlated with the other items. Another study reported that municipalities that extended their opening hours could not provide patients with increased access to health care services.

The item related to the guidance provided to patients to spontaneously seek health care services if they experienced clinical complications was present in 95.5% of the health care units. However, this indicator had low variability and was therefore not validated.

A computerized system was not present in most health care units. The system was computerized with online access only in reference centers for TB, which explains the low presence of these systems in basic health care units.

Other strategies should be implemented to improve the indicators evaluated. In addition, they should promote the training of health care professionals in the treatment of TB and increase access to recording instruments, considering that these two indicators had the worst scores.

The present instrument showed feasibility of application and potential to evaluate the structure of health care services for the treatment of TB considering the data from different municipalities. The results were reliable considering the fit of the CFA model using FAD methods that were appropriate for the estimation of categorical items (dichotomous) with non-parametric distribution. Accurate estimates can be obtained using estimation methods that are consistent with the characteristics of the instrument items. However, use of dichotomous variables in validation instruments will be possible only with large samples; thus, its implementation may be limited.

INTRODUÇÃO

Pela avaliação dos serviços de saúde, pode-se monitorar a capacidade de responder às necessidades em saúde, acompanhar os efeitos das intervenções, produzir evidências, identificar e corrigir problemas, retroalimentar equipes de saúde e gestores, avançar em material técnico para avaliar a atenção proporcionada ao doente, e subsidiar a elaboração de políticas e programas setoriais e a difusão de seus resultados.

Ainda que haja discordância conceitual, a construção metodológica da avaliação de desempenho dos serviços de saúde dependerá da clareza sobre os princípios, objetivos e metas dos sistemas que se quer avaliar. Isso embasará a escolha das dimensões que serão objeto da avaliação de desempenho.

Hartz (2012) destaca a importância dos sistemas de saúde alcançarem metas de acordo com planos estabelecidos e possuírem indicadores relevantes para a avaliação de desempenho: “a estimação desses indicadores pode parecer simples, mas para que traduzam impactos ou efeitos não existe consenso teórico e metodológico, estando sempre no centro das preocupações dos avaliadores, dada a prioridade político-institucional, a complexidade das intervenções e das múltiplas abordagens mobilizadas”.

A estrutura do sistema foi uma dimensão introduzida no modelo proposto pelos autores brasileiros dentre o espectro de dimensões da avaliação de sistemas de serviços de saúde constatado na revisão da literatura.

Elaborar e validar instrumento de avaliação da estrutura dos serviços de atenção básica no tratamento da tuberculose (TB) pode ser a primeira etapa para a construção de indicadores relevantes para avaliação de seu desempenho.

Estudos que objetivaram validar instrumentos utilizados para a avaliação de serviços de saúde, de validação de indicadores psicométricos, usaram técnicas de análise de confiabilidade, análise fatorial exploratória , e confirmatória. ,

O objetivo deste estudo foi analisar validade e confiabilidade de instrumento de avaliação da estrutura dos serviços de atenção básica para o tratamento da TB.

MÉTODOS

Este estudo faz parte de uma série de pesquisas realizadas em cidades das regiões do Nordeste e Sudeste do Brasil, para avaliação de serviços de saúde no tratamento da TB.

O estudo foi desenvolvido nos municípios de: São José do Rio Preto, SP, população de 419.632 habitantes e 16,4% de cobertura de equipe de saúde da família (ESF); Natal, RN, 806.203 habitantes e 30,8% ESF; Foz do Iguaçu, PR, 325.132 habitantes e 39,3% ESF; Cabedelo, PB, 57.926 habitantes e 85,0% ESF; e Uberaba, MG, 296.259 habitantes e 58,2% ESF.

Os sujeitos da pesquisa foram profissionais de saúde que compõem a equipe mínima de atenção à TB [médico – clínico geral e da família –, enfermeiro, auxiliar/técnico de enfermagem e agentes comunitários de saúde (ACS)] da atenção básica da rede de saúde dos municípios estudados.

Foi construído um instrumento estruturado com 39 questões fechadas que compuseram três componentes avaliativos: recursos humanos, recursos físicos e organização do serviço (Anexo), organizados dicotomicamente (sim; não).

A construção do instrumento foi sustentada em extensa revisão de literatura realizada a partir de consulta aos estudos de avaliação da qualidade. A “estrutura” correspondeu aos recursos existentes para a execução dos serviços: físicos (equipamentos, materiais de consumo e instalações); humanos (número e qualificação); e fontes para manutenção da infraestrutura e da tecnologia existente, entendida como organização do serviço de saúde. Foram utilizados: “Manual de Recomendações para o Controle da Tuberculose”, Protocolo de Enfermagem para o Tratamento Diretamente Observado da Tuberculose e Guia das melhores práticas para o cuidado de doentes com TB. Esses documentos trazem as ações de maior relevância para o tratamento da TB nos serviços de saúde em nível nacional e internacional.

Foram verificadas a adequação e a coerência dos itens do instrumento. Discutiu-se cada variável que compôs o componente avaliativo da estrutura. O instrumento foi submetido à apreciação de três juízes especialistas na temática que não conheciam o estudo. A avaliação ocorreu por procedimento qualitativo dos itens: organização, objetividade, clareza, facilidade de leitura e compreensão do conteúdo. Os juízes foram orientados a redigir sugestões e comentários para melhoria dos itens avaliados. As adequações do instrumento foram finalizadas após a incorporação de todas sugestões dadas.

Para o cálculo da amostra, foi levantado o número de profissionais (médico – clínico geral e da família –, enfermeiro, auxiliar/técnico de enfermagem e ACS) que atuavam nos serviços de atenção básica dos municípios por meio do Cadastro Nacional de Estabelecimentos de Saúde, excluindo os que se apresentavam em duplicidade. Tendo como referencial a população de profissionais de saúde que atuavam na AB dos municípios (Uberaba = 489; São José do Rio Preto = 633; Foz do Iguaçu = 518, Cabedelo = 157 e Natal = 976), obteve-se a amostra mínima de profissionais a serem entrevistados por meio da equação .

Foram considerados: erro amostral de 0,05, intervalo de confiança de 95% e P (proporção populacional) de 50,0%. O valor obtido foi corrigido em relação à população total de profissionais utilizando a equação . Assim, definiu-se o total de 1.037 profissionais a serem entrevistados em cada município do estudo multicêntrico (239 em São José do Rio Preto, 216 em Uberaba, 225 em Foz do Iguaçu, 240 em Natal e 117 em Cabedelo). O número de profissionais de cada categoria profissional foi determinado por meio de partilha proporcional.

Utilizou-se processo de amostragem aleatório simples para seleção dos serviços de saúde. Os profissionais de saúde identificados como informantes-chave dos SS sorteados e que concordaram em participar da pesquisa foram entrevistados. Os sorteios dos serviços de saúde foram realizados até que o número de profissionais previsto no cálculo da amostra fosse atingido.

O cálculo amostral foi realizado para atender os critérios de realização das análises fatoriais, uma vez que o tamanho da amostra deve ter proporção de dez respondentes para cada item do questionário, o que permitiria trabalhar com 390 respondentes. Para variáveis com respostas dicotômicas, a orientação foi trabalhar com amostras maiores que 1.000 para evitar convergência numérica e singularidade. Desta forma, a amostra calculada permitiria 3,5% para possíveis perdas.

Os dados foram analisados por técnicas descritivas. O estudo de confiabilidade do instrumento foi medido pelo índice de α de Cronbach. A validade foi medida de duas formas: por meio de análise fatorial exploratória (AFE), que visou a simplificar a estrutura dos dados e sintetizar as informações devido ao grande número de variáveis envolvidas e da análise fatorial confirmatória (AFC), que testa a hipótese preconcebida sobre a estrutura dos dados encontrada na AFE. , Os resultados das análises fatoriais permitiram agrupar os itens do questionário em fatores.

Foi estimado o valor médio (µ = P, Proporção de todos os serviços de saúde com as características estudadas), o desvio-padrão ( ) e o coeficiente de variação para o conjunto de itens do questionário que compuseram cada fator (indicadores de estrutura).

A utilização da AFE supõe que as variáveis podem ser agrupadas segundo suas correlações, obtendo-se fatores com todas as variáveis altamente correlacionadas entre si, mas com baixas correlações com as demais. , No entanto, a AFE assume que as variáveis são quantitativas contínuas e utiliza o cálculo das matrizes de correlações gaussianas para estimativa dos fatores e do modelo fatorial exploratório. Sendo as variáveis dicotômicas, foram utilizadas matrizes de correlações tetracóricas, que é apropriada à métrica das variáveis para estimar fatores e estimativas do modelo fatorial. ,

A AFE sobre a matriz das correlações tetracóricas , utilizou o método dos componentes principais para a extração dos fatores, seguido de rotação Varimax. Os fatores comuns retidos foram os que apresentavam o autovalor (eigenvalue) > 1, em consonância com o Scree Plot e percentagem de variância retida. Recomenda-se que o número de fatores escolhidos corresponda a no mínimo 60,0% da variância total e sugere-se reter três ou mais itens em cada fator. Isso porque a utilização de um único critério pode levar à retenção de mais/menos fatores do que aqueles relevantes para descrever a estrutura latente.

Utilizou-se os testes Kaiser-Meyer-Olkin (KMO) e de esfericidade de Bartlett para avaliar a adequação dos dados para o uso da AFE. Este último examinou se a matriz de correlação da população era uma matriz identidade, i.e., que não havia correlação entre as variáveis com significância estatística p < 0,10. Valores do critério KMO são utilizados para verificar a adequação ao método podendo variar de 0 a 1 (≥ 0,80 admirável; 0,70 a 0,79 aceitável; 0,60 a 0,69 medíocre; 0,50 a 0,59 ruim e < 0,50 indicam a inadequação do método).

Outra medida de adequação dos dados à AFE são os valores da diagonal principal da matriz de anti-imagem para as correlações. É chamada de medida de adequação da amostragem (Measure of Sampling adequacy ou KMOi > 0,5) para cada variável na análise. Valores de KMOi < 0,5 indicam que essa variável não se ajustou à estrutura definida pelas outras variáveis e a variável é eliminada da AFE. Avaliou-se a significância estatística das cargas fatoriais que representa a correlação entre uma variável original e seu fator, para a interpretação dos fatores. Para conseguir nível de poder de 80,0% e nível de significância de 0,05, sugere-se amostras de tamanho ≥ 350 e cargas fatoriais com correlação ≥ 0,30.

As comunalidades (porção da variância que uma variável compartilha com todas as outras variáveis consideradas) foram avaliadas para cada variável observando se ela atendia a níveis de explicação aceitáveis (> 0,5) e a sua contribuição para a pesquisa. Observou-se matriz de resíduos (correlações observadas menos correlações estimadas) com mais de 50,0% dos resíduos com valor absoluto < 0,05 como indicador de modelo fatorial com bom ajustamento.

O modelo da AFC foi ajustado por distribuição assimptótica livre (ADF) ou mínimos quadrados ponderados (WLS), pois não exigiam que os itens apresentassem normalidade multivariada. O programa Statistica oferece o estimador Asymptotically Distribution Free Gramian (ADFG) para essas condições.

A qualidade do modelo de AFC foi avaliada pelo índice de qualidade do ajustamento goodness-of-fit index (GFI), fração das correlações entre as variáveis originais que são explicadas pelo modelo. Considera-se que valores de GFI inferiores a 0,9 indicam modelos com mau ajustamento aos dados; GFI entre 0,9 e 0,95 indicam bom ajustamento; valores de GFI superiores a 0,95 são indicadores de ajustamento muito bom. GFI = 1 indica ajustamento perfeito. O GFI tem tendência a aumentar conforme aumenta a dimensão da amostra. Desta forma, foi calculado o goodness-of-fit index ajusted (AGFI), que é o valor ajustado para o número de graus de liberdade da amostra.

A confiabilidade (reliability) foi examinada pelo índice α de Cronbach, que mede a consistência interna dos itens do questionário. O limite inferior recomendado para o α é de 0,7, mas em pesquisas exploratórias pode-se aceitar valores a partir de 0,6.

Este projeto foi aprovado pelo Comitê de Ética em Pesquisa da Escola de Enfermagem de Ribeirão Preto da Universidade de São Paulo (Protocolo 1264/2011), em conformidade à Resolução 196/96 do Conselho Nacional de Saúde. Todos os participantes assinaram termo de consentimento livre e esclarecido.

RESULTADOS

Foram entrevistados 1.037 profissionais de saúde: 239 em São José do Rio Preto, 216 em Uberaba, 225 em Foz do Iguaçu, 117 em Cabedelo e 240 em Natal. A Tabela 1 apresenta a distribuição de frequência dos itens do questionário de avaliação dos serviços de saúde segundo a estrutura para o tratamento dos doentes de TB.

Tabela 1

Distribuição de frequência dos itens do questionário de avaliação dos serviços de saúde segundo a estrutura para o tratamento dos doentes de tuberculose. Brasil, 2011.

Recursos humanos	Sim (%)
1. Esse serviço possui um enfermeiro envolvido com o atendimento aos doentes de TB?	99,3
2. Esse serviço possui um auxiliar/técnico de enfermagem envolvido com o atendimento aos doentes de TB?	71,4*
3. Esse serviço possui um médico envolvido com o atendimento aos doentes de TB?	92,6*
4. Esse serviço possui um agente comunitário de saúde envolvido com o atendimento aos doentes de TB?	88,5*
5. Há outros profissionais (psicólogo, assistente social) envolvidos com o tratamento da TB nesse serviço?	45,1
6. Nos últimos três anos, os enfermeiros foram capacitados para atendimento em TB?	77,1*
7. Nos últimos três anos, os auxiliares/técnico de enfermagem foram capacitados para atendimento em TB?	33,9*
8. Nos últimos três anos, os médicos foram capacitados para atendimento em TB?	61,5*
9. Nos últimos três anos, os ACS foram capacitados para atendimento em TB?	47,3*
10. Nos últimos três anos, outros profissionais foram capacitados para atendimento em TB?	13,0
11. Nos últimos 12 meses houve capacitação sobre TB realizada pela Vigilância Epidemiológica de Saúde para este serviço?	60,4*
12. Nos últimos 12 meses houve capacitação sobre TB realizada por este próprio serviço de saúde aos profissionais que aqui trabalham?	34,9
13. Há nesse serviço de saúde um profissional responsável pelo TDO?	88,4
Recursos físicos	Sim (%)
14. Nesse serviço há disponibilidade de consultórios médicos para o atendimento ao doente de TB?	71,4
15. Nesse serviço há disponibilidade de salas para atendimento de enfermagem ao doente de TB?	69,1
16. Há atualmente disponibilidade de cestas básicas ou vale alimentação para entregar aos doentes?	51,0
17. Há atualmente disponibilidade de vale transporte para entregar aos doentes?	20,5
18. Os profissionais possuem acesso à ficha de notificação?	83,4*
19. Os profissionais possuem acesso a prontuários?	92,5*
20. Os profissionais possuem acesso à ficha de acompanhamento mensal de tratamento?	63,4*
21. Os profissionais possuem acesso à ficha diária de TDO?	66,5*
22. Os profissionais possuem acesso ao livro verde?	53,9*
23. O SS possui pote para exame de escarro?	89,9*
24. O SS possui pedido de baciloscopia?	95,7*
25. O SS possui pedido de cultura?	90,8*
26. O SS possui pedido de exame HIV?	92,9
27. O SS possui ficha de referência e contra referência?	91,2
28. A disponibilidade (entrega) de medicamentos para TB nessa unidade de saúde nos últimos 12 meses atendeu a demanda?	88,1
Organização do serviço	Sim (%)
29. Esse serviço de saúde atende fora do horário comercial (após as 17 horas)?	38,3
30. São realizadas discussões dos casos de TB que realizam tratamento neste serviço pela equipe de profissionais responsáveis pelo tratamento desse agravo?	73,4
31. Os doentes de TB em tratamento conseguem consulta no prazo de 24 horas nesse serviço se passarem mal por causa da medicação ou da TB?	87,1
32. Os doentes de TB em tratamento são orientados a procurar pelo serviço de saúde fora da data agendada para retorno, caso apresentem algum problema relacionado à sua doença e tratamento?	95,5
33. Existe articulação desse serviço com outros níveis de atenção quando o doente necessita de consultas por possuir outras co-morbidades (diabetes, hipertensão, doenças psiquiátricas)?	85,3*
34. Existe articulação desse serviço com outros níveis de atenção quando o doente é co-infectado pelo HIV?	87,7*
35. Existe articulação desse serviço com outros níveis de atenção quando há complicações no tratamento?	91,4*
36. Existe articulação desse serviço com outros níveis de atenção quando há dificuldades na realização do TDO?	78,6*
37. O nº de vezes que o laboratório passa para buscar os exames de TB durante o tratamento é suficiente para atender a demanda desse serviço?	64,5
38. O resultado do exame de baciloscopia fica pronto e chega a esse serviço em até 7 dias?	22,6
39. Há no serviço de saúde um sistema informatizado contendo informações sobre o doente de TB (como consultas agendadas, faltas ao serviço, falta na supervisão medicamentosa)?	21,9

TB: tuberculose; ACS: agentes comunitários de saúde; TDO: tratamento diretamente observado; SS: serviço de saúde

* Itens validados.

O processo de validação dos itens do questionário testou cinco modelos distintos na AFE com predefinição do número de fatores variando de 3 a 7. Isso porque a escala, conceitualmente, poderia identificar três componentes avaliativos ou mais. Permaneceram no modelo as variáveis com medida de adequação da amostragem KMOi > 0,5. O melhor modelo considerou a retenção de cinco fatores com KMO = 0,728, p < 0,0001 para o teste de esfericidade de Bartlett (c = 5473,94; gl = 190), 85,9% de variância total explicada, matriz de resíduos com 44,2% dos resíduos > 0,05 e autovalores > 1.

Os cinco fatores retidos, suas cargas fatoriais, as comunalidades, os eigenvalues, a variância explicada para cada fator e o α de Cronbach encontram-se na Tabela 2.

Tabela 2

Componente estrutura, fatores retidos, cargas fatoriais, comunalidades, autovalores, variância explicada e alpha de Cronbach. Brasil, 2011.

Item do questionárioa	Cargas fatoriais dos cinco fatores validados
	1	2	3	4	5	Comunalidades
	Acesso a instrumentos de registro	Capacitação de profissionais de saúde	Articulação com outros níveis de atenção	Profissionais envolvidos com o atendimento da TB	Disponibilidade de insumos e equipamentos
2. O SS possui um auxiliar/técnico de enfermagem envolvido com o atendimento aos doentes de TB nesse serviço?	0,016	-0,001	0,013	0,912b	0,064	0,785
3. O SS possui um médico envolvido com o atendimento aos doentes de TB nesse serviço?	-0,184	0,034	0,125	0,901b	-0,141	0,801
4. O SS possui um agente comunitário de saúde envolvido com o atendimento aos doentes de TB nesse serviço?	0,089	0,157	-0,183	0,921b	0,009	0,863
6. Nos últimos três anos, os enfermeiros foram capacitados para atendimento em TB?	0,194	0,973b	0,152	0,026	0,054	0,998
7. Nos últimos três anos, os auxiliares/técnico de enfermagem foram capacitados para atendimento em TB?	-0,135	0,738b	0,024	0,552	0,258	0,895
8. Nos últimos três anos, os médicos foram capacitados para atendimento em TB?	0,140	0,835b	0,262	0,150	-0,009	0,803
9. Nos últimos três anos, os ACS foram capacitados para atendimento em TB?	-0,257	0,603b	-0,104	0,428	0,365	0,714
11. Nos últimos 12 meses houve capacitação sobre TB realizada pela Vigilância Epidemiológica de Saúde para este serviço?	0,218	0,811b	-0,044	-0,170	0,160	0,691
18. Os profissionais possuem acesso à ficha de notificação?	0,885b	0,248	0,144	-0,054	0,164	0,888
19. Os profissionais possuem acesso a prontuários?	0,941b	0,180	0,192	-0,009	0,112	0,957
20. Os profissionais possuem acesso à ficha de acompanhamento mensal de tratamento?	0,847b	-0,290	0,152	-0,225	-0,015	0,818
21. Os profissionais possuem acesso à ficha diária de TDO?	0,663b	0,061	0,083	-0,068	0,376	0,540
22. Os profissionais possuem acesso ao livro verde?	0,797b	0,161	0,134	0,126	0,108	0,648
23. O SS possui pote para exame de escarro?	0,096	0,043	0,004	0,031	0,898b	0,718
24. O SS possui pedido de baciloscopia?	0,399	0,302	0,254	0,126	0,791b	0,980
25. O SS possui pedido de cultura?	0,306	0,177	0,332	-0,140	0,787b	0,902
33. Existe articulação desse serviço com outros níveis de atenção quando o doente necessita de consultas por possuir outras co-morbidades (diabetes, hipertensão, doenças psiquiátricas)?	0,195	0,008	0,910b	0,065	0,192	0,872
34. Existe articulação desse serviço com outros níveis de atenção quando o doente é co-infectado pelo HIV?	0,235	0,051	0,895b	-0,006	-0,039	0,848
35. Existe articulação desse serviço com outros níveis de atenção quando há complicações no tratamento?	0,227	0,131	0,969b	-0,027	-0,006	0,992
36. Existe articulação desse serviço com outros níveis de atenção quando há dificuldades na realização do TDO?	-0,050	0,126	0,804b	-0,100	0,377	0,771
Autovalores	6,676	4,190	2,474	2,130	1,713	Total
Porcentagem da Variância Total	33,380	20,951	12,371	10,652	8,564	85,918
α de Cronbach padronizado	0,7535	0,7226	0,7802	0,6460	0,6732	0,7265

SS: serviço de saúde; TB: tuberculose; ACS: agentes comunitários de saúde; TDO: tratamento diretamente observado

Nota: A análise fatorial exploratória foi realizada utilizando extração dos fatores pelo método dos componentes principais; Rotação varimax com Kaiser normalização.

a Ver Anexo.

b Cargas fatoriais significativas.

O primeiro fator, ‘Acesso a instrumentos de registro’, é composto por acessos aos itens: ficha de notificação; prontuários; ficha de acompanhamento mensal; ficha diária de tratamento diretamente observado (TDO); e ao livro verde. O segundo fator, ‘Capacitação de profissionais de saúde’, foi constituído por cinco itens: enfermeiros, auxiliares/técnicos de enfermagem, médicos, ACS, capacitados para atendimento em TB, nos últimos três anos e houve capacitação realizada pela Vigilância Epidemiológica nos últimos 12 meses. O terceiro fator, ‘Articulação do serviço de saúde com outros níveis de atenção’, apresentou quatro itens: articulação do serviço investigado com outros níveis de atenção quando o doente necessita de consultas por possuir outras comorbidades, coinfecção pelo HIV, complicações no tratamento, dificuldades na realização do TDO. O quarto fator, ‘Profissionais envolvidos com o atendimento da TB’, compreendeu três itens: presença de auxiliar/técnico de enfermagem, médico e ACS envolvidos com o atendimento aos doentes de TB nos serviços de saúde. O quinto fator, ‘Disponibilidade de insumos e equipamentos’, foi composto por três itens: disponibilidade de pote para exame de escarro, pedido de baciloscopia, pedido de cultura nos serviços de saúde.

O modelo da AFC ajustado utilizando o estimador ADFG forneceu o valor de 0,996 para o índice GFI e de 0,995 para o GFI ajustado.

Os valores de proporção média do conjunto de itens do questionário que compõem cada fator (indicadores de estrutura) e seu desvio-padrão foram apresentados na Tabela 3. O indicador de articulação do serviço de saúde com outros níveis de atenção apresentou maior variabilidade dos dados nos serviços de saúde.

Tabela 3

Indicadores para avaliação da estrutura dos serviços de saúde para o tratamento da tuberculose. Brasil, 2011.

Indicadores de estrutura	Proporção média	dp	Coeficiente de variação
	%	%	%
Profissionais envolvidos com o atendimento de tuberculose	84,2	3,3	3,9
Capacitação dos profissionais de saúde	56,0	4,5	8,0
Acesso a instrumentos de registro	72,0	4,1	5,7
Disponibilidade de insumos	92,2	2,4	2,6
Articulação do serviço de saúde com outros níveis de atenção	85,8	7,6	8,9

g Ministério da Saúde. Departamento de Atenção Básica. Atenção Básica e a Saúde da Família. Brasília (DF); 2013 [citado 2013 nov 19]. Disponível em: http://dab.saude.gov.br/atencaobasica.php

DISCUSSÃO

Vinte dos 39 itens inicialmente propostos foram validados, permitindo reduzir a estrutura dos dados (Tabela 1). Os 20 itens foram validados em cinco fatores, satisfazendo as condições para realização da AFE, teste de esfericidade de Bartlett significativo e KMO com qualidade aceitável, variância total acima de 60,0% e pelo menos três itens retidos em cada fator, , cargas fatoriais acima de 0,3, comunalidades maiores que 0,5 e autovalores > 1 (Tabela 2).

A análise de confiabilidade forneceu valores do α de Cronbach entre 0,6460 e 0,7802 (Tabela 2). Esses resultados estão entre os valores aceitáveis pela literatura. Os fatores 4 e 5 (Tabela 2) apresentaram valores inferiores a 0,7 para o α de Cronbach devido à retenção de três itens para compor cada fator. Seria necessário maior número de itens para aumentar a confiabilidade do fator. Os itens propostos no questionário que poderiam se correlacionar com os itens do fator 4 eram ‘enfermeiros’ e ‘outros profissionais’ envolvidos com o tratamento da TB, que foram removidos na AFE. ‘O enfermeiro’ apresentou variância próxima ao valor nulo porque a maioria dos entrevistados (99,3%) reconheceu ser esse profissional o mais envolvido com o atendimento de TB. Quando a variância é nula, a medida é constante e o item é removido da AFE por não apresentar variabilidade. O enfermeiro é reconhecido como o responsável pelas ações de controle da TB. ‘Outros profissionais’ foi removido por apresentar comunalidade < 0,5, possivelmente devido ao baixo reconhecimento (45,1%) pelos entrevistados de que esses profissionais estariam envolvidos com o atendimento da TB. Isso sugere a dificuldade de agregação de outras categorias profissionais nas ações de controle da TB.

A qualidade do modelo da AFC ajustado (GFI = 0,995) foi avaliada como muito boa, considerando os cinco municípios. Os cinco fatores retidos foram adequados para avaliar a estrutura dos serviços de saúde no tratamento da TB para diferentes municípios. Esse resultado mostrou que o referencial teórico foi adequado para os dados em observação.

O indicador de capacitação apresentou o menor percentual de avaliação. A capacitação está entre os desafios institucionais do departamento de atenção básica do Ministério da Saúde, que propõe revisão dos processos de formação com ênfase na educação permanente das equipes, coordenações e gestores.g

A falta de capacitação dos profissionais de saúde no tratamento da TB foi um dos fatores que dificultavam o desempenho das equipes de saúde. Outros estudos apontam a necessidade de um processo contínuo de capacitação dos profissionais de saúde para alcançar maior qualidade dos serviços de atenção à saúde. O processo de atualização dos profissionais de saúde deve ser permanente com oficinas educativas e envolver a participação de profissionais de ensino e de saúde.

O indicador de acesso a instrumentos de registros foi inferior quando comparado aos demais. A qualidade dos dados dos sistemas de vigilância relaciona-se ao nível de completitude e validade dos dados registrados. Para que isso aconteça, há necessidade de acesso aos instrumentos de registro. Estudos mostram a inadequação no preenchimento dos livros de registro de dados e na alimentação dos dados na base do Sistema de Informação de Agravos de Notificação.

A maioria dos serviços de saúde articulou-se com outros níveis de atenção quando: o doente era coinfectado pelo HIV; necessitava de consultas por possuir outras co-morbidades; havia complicações no tratamento e dificuldades no TDO. No entanto, esse indicador apresentou o maior coeficiente de variação, i.e., variou mais entre os serviços avaliados que os demais indicadores. É necessária maior atenção dos gestores nos serviços que não realizam essas ações satisfatoriamente.

O indicador com melhor desempenho foi o de disponibilidade de insumos. No entanto, não foi suficiente para garantir que todos os serviços de saúde dispusessem dos insumos necessários ao tratamento da TB.

Os itens ‘Esse serviço de saúde atende fora do horário comercial’, ‘Os doentes são orientados a procurar o serviço de saúde fora da data agendada’ e ‘Há no serviço de saúde um sistema informatizado?’ apresentaram KMOi < 0,5 e foram removidos da AFE. Isso indica que esses itens não se ajustaram à estrutura definida por outros itens, i.e., não estão consideravelmente correlacionados com os outros itens. Os municípios que ampliaram o horário de atendimento não obtiveram ampliação do acesso das pessoas aos serviços de saúde em outro estudo.

O item referente à orientação dada aos pacientes pela procura espontânea aos serviços de saúde, caso apresentasse intercorrências advindas da doença e tratamento, ocorreu em 95,5% dos serviços de saúde. Esse foi um indicador com baixa variabilidade e, portanto, não validado.

O sistema informatizado não esteve presente na maioria dos serviços de saúde. O sistema foi informatizado com acesso on-line em centros de referência para TB, o que explica a baixa presença desses sistemas em serviços da AB.

Ações devem ser implementadas para melhorar os indicadores avaliados. Além disso, devem promover a capacitação dos profissionais de saúde no tratamento da TB e o acesso aos instrumentos de registro, que apresentaram as piores avaliações.

O instrumento apresentou viabilidade de aplicação e potencial de avaliação da estrutura dos serviços de saúde para o tratamento da tuberculose considerando os dados dos diferentes municípios. Os resultados foram considerados confiáveis devido ao ajuste do modelo da AFC obtido por meio de métodos de distribuição assintótica livre adequados à estimação de itens categóricos (dicotômicos) com distribuição não paramétrica. Estimativas precisas podem ser obtidas utilizando-se métodos de estimação condizentes com as características dos itens do instrumento. No entanto, o uso de variáveis dicotômicas em instrumentos de validação só será possível com grandes amostras, o que pode dificultar sua aplicação.

Questionnaire items
Human resources
1. Does this service have a nurse responsible for the care of TB patients?
2. Does this service have a nursing assistant/technician responsible for the care of TB patients?
3. Does this service have a physician responsible for the care of TB patients?
4. Does this service have a community health worker responsible for the care of TB patients?
5. Are there other professionals in this service (psychologist, social worker) involved in the care of TB patients?
6. In the past three years, were nursing professionals trained to care for TB patients?
7. In the past three years, were nursing assistants/technicians trained to care for TB patients?
8. In the last three years, were physicians trained to care for TB patients?
9. In the past three years, were CHW trained to care for TB patients?
10. In the past three years, were other professionals trained to care for TB patients?
11. In the last 12 months, did the epidemiological health surveillance agencies conduct training on TB?
12. In the last 12 months, did the health care units train health care workers on TB?
13. Is there a professional responsible for the realization of DOT in this health care unit?
Physical resources
14. In this service, are medical clinics available for the care of TB patients?
15. In this service, are nursing care rooms available to TB patients?
16. At present, are basic food staples and food vouchers available to TB patients?
17. At present, are transportation vouchers available to TB patients?
18. Do professionals have access to notification forms?
19. Do professionals have access to medical records?
20. Do professionals have access to monthly treatment monitoring reports?
21. Do professionals have access to daily DOT reports?
22. Do professionals have access to the green paper?
23. Does the health care unit have pots for sputum examination?
24. Has the health care unit requested sputum smear microscopy?
25. Has the health care unit requested microbiological cultures?
26. Has the health care unit requested HIV examination?
27. Does the health care unit have reference and counter-reference cards?
28. Did the availability (delivery) of TB drugs in this health care unit meet the demand in the last 12 months?
Service organization
29. Does this health care service assist patients outside business hours (after 5 pm)?
30. Are discussions regarding cases involving TB patients who are treated in this health care unit conducted by health care professionals responsible for the treatment of this condition?
31. Can TB patients under treatment schedule a consultation within 24h in this health care unit in case they experience complications arising from TB or its treatment?
32. Are TB patients under treatment advised to seek health care units outside the scheduled date of return in case they experience any complications arising from TB or its treatment?
33. Does this health care unit have coordination with other levels of care when the patient requires consultations because of other comorbidities (diabetes, hypertension, psychiatric diseases)?
34. Does this health care unit have coordination with other levels of care when the patient is coinfected with HIV?
35. Does this health care unit have coordination with other levels of care when the patient experiences complications arising from treatment?
36. Does this health care unit have coordination with other levels of care when difficulties in the realization of DOT occur?
37. Is the frequency with which the laboratory conducts TB examinations during treatment sufficient to meet the demand for this service?
38. Do the sputum smear microscopy results become available within 7 days?
39. Is there a computerized system in the health care units with information on the patients with TB (scheduled appointments, work absenteeism, issues related with drug therapy)?

TB: tuberculosis; CHW: community health worker; DOT: directly observed treatment

Itens do questionário
Recursos humanos
1. Esse serviço possui um enfermeiro envolvido com o atendimento aos doentes de TB?
2. Esse serviço possui um auxiliar/técnico de enfermagem envolvido com o atendimento aos doentes de TB?
3. Esse serviço possui um médico envolvido com o atendimento aos doentes de TB?
4. Esse serviço possui um agente comunitário de saúde envolvido com o atendimento aos doentes de TB?
5. Há outros profissionais (psicólogo, assistente social) envolvidos com o tratamento da TB nesse serviço?
6. Nos últimos 3 anos, os enfermeiros foram capacitados para atendimento em TB?
7. Nos últimos 3 anos, os auxiliares/técnico de enfermagem foram capacitados para atendimento em TB?
8. Nos últimos 3 anos, os médicos foram capacitados para atendimento em TB?
9. Nos últimos 3 anos, os ACS foram capacitados para atendimento em TB?
10. Nos últimos 3 anos, outros profissionais foram capacitados para atendimento em TB?
11. Nos últimos 12 meses houve capacitação sobre TB realizada pela Vigilância Epidemiológica de Saúde para este serviço?
12. Nos últimos 12 meses houve capacitação sobre TB realizada por este próprio serviço de saúde aos profissionais que aqui trabalham?
13. Há nesse serviço de saúde um profissional responsável pelo TDO?
Recursos físicos
14. Nesse serviço há disponibilidade de consultórios médicos para o atendimento ao doente de TB?
15. Nesse serviço há disponibilidade de salas para atendimento de enfermagem ao doente de TB?
16. Há atualmente disponibilidade de cestas básicas ou vale alimentação para entregar aos doentes?
17. Há atualmente disponibilidade de vale transporte para entregar aos doentes?
18. Os profissionais possuem acesso à ficha de notificação?
19. Os profissionais possuem acesso a prontuários?
20. Os profissionais possuem acesso à ficha de acompanhamento mensal de tratamento?
21. Os profissionais possuem acesso à ficha diária de TDO?
22. Os profissionais possuem acesso ao livro verde?
23. O SS possui pote para exame de escarro?
24. O SS possui pedido de baciloscopia?
25. O SS possui pedido de cultura?
26. O SS possui pedido de exame HIV?
27. O SS possui ficha de referência e contra referência?
28. A disponibilidade (entrega) de medicamentos para TB nessa unidade de saúde nos últimos 12 meses atendeu a demanda?
Organização do serviço
29. Esse serviço de saúde atende fora do horário comercial (após as 17 horas)?
30. São realizadas discussões dos casos de TB que realizam tratamento neste serviço pela equipe de profissionais responsáveis pelo tratamento desse agravo?
31. Os doentes de TB em tratamento conseguem consulta no prazo de 24 horas nesse serviço se passarem mal por causa da medicação ou da TB?
32. Os doentes de TB em tratamento são orientados a procurar pelo serviço de saúde fora da data agendada para retorno, caso apresentem algum problema relacionado à sua doença e tratamento?
33. Existe articulação desse serviço com outros níveis de atenção quando o doente necessita de consultas por possuir outras co-morbidades (diabetes, hipertensão, doenças psiquiátricas)?
34. Existe articulação desse serviço com outros níveis de atenção quando o doente é co-infectado pelo HIV?
35. Existe articulação desse serviço com outros níveis de atenção quando há complicações no tratamento?
36. Existe articulação desse serviço com outros níveis de atenção quando há dificuldades na realização do TDO?
37. O nº de vezes que o laboratório passa para buscar os exames de TB durante o tratamento é suficiente para atender a demanda desse serviço?
38. O resultado do exame de baciloscopia fica pronto e chega a esse serviço em até 7 dias?
39. Há no serviço de saúde um sistema informatizado contendo informações sobre o doente de TB (como consultas agendadas, faltas ao serviço, falta na supervisão medicamentosa)?

TB: tuberculose; ACS: agentes comunitários de saúde; TDO: tratamento diretamente observado