Marcelo Fernandes Costa1,2. 1. Departamento de Psicologia Experimental. Instituto de Psicologia. Universidade de São Paulo. São Paulo, SP, Brasil. 2. Núcleo de Neurociências Aplicada. Universidade de São Paulo. São Paulo, SP, Brasil.
Abstract
OBJECTIVE To use the advantages of a ratio scale with verbal anchors in order to measure the risk perception in the novel coronavirus infection, which causes covid-19, in a health belief model-based questionnaire, as well as its validity and reproducibility. METHOD We used the health belief model, which explores four dimensions: perceived susceptibility (five questions), perceived severity (five questions), perceived benefits (five questions), and perceived barriers (five questions). Additionally, we included a fifth dimension, called pro-health motivation (four questions). The questions composed an electronic questionnaire disseminated by social networks for an one-week period. Answers were quantitative values of subjective representations, obtained by a psychophysically constructed scale with verbal anchors ratio (CentiMax ® ). Mean time for total filling was 12 minutes (standard deviation = 1.6). RESULTS We obtained 277 complete responses to the form. One was excluded because it belonged to a participant under 18 years old. Reproducibility measures were significant for 22 of the 24 questions in our questionnaire (Cronbach's α = 0.883). Convergent validity was attested by Spearman-Brown's split half reliability coefficient (r = 0.882). Significant differences among groups were more intense in perceived susceptibility and severity dimensions, and less in perceived benefits and barriers. CONCLUSION Our health belief model-based questionnaire using quantitative measures enabled the confirmation of popular beliefs about covid-19 infection risks. The advantage in our approach lays in the possibility of quickly, directly and quantitatively identifying individual belief profiles for each dimension in the questionnaire, serving as a great ally for communication processes and public health education.
OBJECTIVE To use the advantages of a ratio scale with verbal anchors in order to measure the risk perception in the novel coronavirus infection, which causes covid-19, in a health belief model-based questionnaire, as well as its validity and reproducibility. METHOD We used the health belief model, which explores four dimensions: perceived susceptibility (five questions), perceived severity (five questions), perceived benefits (five questions), and perceived barriers (five questions). Additionally, we included a fifth dimension, called pro-health motivation (four questions). The questions composed an electronic questionnaire disseminated by social networks for an one-week period. Answers were quantitative values of subjective representations, obtained by a psychophysically constructed scale with verbal anchors ratio (CentiMax ® ). Mean time for total filling was 12 minutes (standard deviation = 1.6). RESULTS We obtained 277 complete responses to the form. One was excluded because it belonged to a participant under 18 years old. Reproducibility measures were significant for 22 of the 24 questions in our questionnaire (Cronbach's α = 0.883). Convergent validity was attested by Spearman-Brown's split half reliability coefficient (r = 0.882). Significant differences among groups were more intense in perceived susceptibility and severity dimensions, and less in perceived benefits and barriers. CONCLUSION Our health belief model-based questionnaire using quantitative measures enabled the confirmation of popular beliefs about covid-19infection risks. The advantage in our approach lays in the possibility of quickly, directly and quantitatively identifying individual belief profiles for each dimension in the questionnaire, serving as a great ally for communication processes and public health education.
In recent years, several viruses have drawn the medical and scientific community attention for presenting great risk to international public health. Among them are the coronaviruses, with great international projection due to the severe respiratory syndromes they cause, with middle east respiratory syndrome (MERS) and severe acute respiratory syndrome (SARS) being the best known [1] .A recent outbreak of humaninfection by a novel coronavirus (2019-nCoV, now named SARS-CoV-2) has been reported in Wuhan City, Hubei Province, China. Until January 10, 2020, there were 41 reported cases for SARS-CoV-2 infection between December 8, 2019 and January 2, 2020 [2] . Due to the rapid virus spread through different Chinese cities, on February 13, 2020 the Chinese government announced 59,901 patients with a concordant diagnosis of pneumonia and 1,368 people killed by the novel coronavirus infection. Then the World Health Organization (WHO) officially named the 2019-nCoV infection coronavirus disease 2019 (covid-19) [3 , 4] .As a result of the easy mobility across countries, covid-19 cases spread to other countries rapidly and intensely. This has led authorities from several countries to adopt non-pharmaceutical control measures to avoid transmission, such as social isolation. Some countries, such as Italy and Spain, have faced difficulties in population adhesion to the measure. Brazil has adopted similar strategies to control the virus transmission. Such populational difficulty in adhesion to behavioral controls may likewise occur in our country.Therefore, understanding the determinants responsible for people’s resistance to protective measures against the virus spread is of great importance for the effectiveness of social isolation-based public policies, avoiding or reducing non-adherence to the proposed social controls. We expect the health believe model to help finding determinants for such behavior.The health belief model is a tool developed to explain patient’s behavior in the face of an illness or the risk of falling ill [5] . It was developed in the 1950s and considers that positive factors increase pro-health behaviors while negative factors decrease or inhibit them. [7] Thus, to adopt a health care behavior and/or avoid risks for diseases, the patient must: (1) believe to be susceptible to the disease; (2) believe that the disease will negatively impact, at least moderately, their life; (3) believe that adopting certain behaviors is indeed beneficial to reduce their susceptibility or, if they already have it, its severity; (4) overlap important psychological barriers, key for a successful prevention or treatment [8 , 10 , 11] . Among other uses, this model has been successfully applied to assess diabetes severity [12] , analyze protective factors for bulimia [6] find determinants for oral health care [13] and study different cultures perception on dementias [11] .Therefore, this study aims to use the expanded health belief model to map the profile of our population in view of the behavioral controls imposed by covid-19 in our country. To increase the ability to analyze the responses, we have used a psychophysical scaling methodology by ratio measurement, by a Borg CR
® ratio scale with verbal anchorage (centiMax ® ) [14] . This methodology showed to be highly efficient regarding ratio measurements acquisition as it facilitates quantitative responses for anchoring the corresponding verbal descriptors. Our experiments showed that the use of ratio scales with verbal anchors improves significantly the sensitivity and quantitative measurement of major depression scores [19] . Studies within the literature usually base the belief model on ordinal measurements, obtained through a Likert-type scale [5 , 20] . A considerable innovative advance in our study is the use of a quantitative ratio scale [21] . Thus, there is a higher amount of information obtained, enabling the use of quantitative and statistical tools of high predictive power, unlike ordinal scales, which restrict information to frequency levels with mode and association non-parametric analyses.
METHODS
Sample
The collection period was from March 17 to 24, 2020. The collected demographic data consisted of sex, age, schooling level, type of health system used, annual income, marital status, ethnicity or race, transportation system used to daily locomotion and chronic diseases.Answers were obtained using a digital form disseminated in social networks (REDCap), characterizing a convenience sampling and snowball recruitment method. After explaining the experiment purpose, age was inquired. If the participant was under 18 years old, page was automatically redirected to the appreciation for the participation message. If they were older than 18, they could follow to the page containing the informed consent form. Once it was accepted, instructions were provided and testing began. Total time spent for questionnaire completion was 12 minutes (standard deviation [SD] = 1.6). The study follows the 1964 Declaration of Helsinki and its revised versions.
Procedures
Participants were consulted about their beliefs and knowledge regarding covid-19 contamination. The questionnaire consisted of 24 questions. Perceived susceptibility, severity, benefits and barriers contained five questions each, besides four additional questions regarding behaviors and attitudes aimed at improving general health, which we call pro-health motivation.Perceived susceptibility corresponds to knowledge and belief about coronavirus infection probability (e.g., “based on my overall health, my chance of catching coronavirus disease is...”). Perceived severity investigates the personal belief regarding individual suffering of the disease process and intensity of symptoms (e.g., “if I caught coronavirus disease, the chance of getting too impaired to do my daily activities would be...”). Perceived benefits concern the effectiveness of the behavioral mechanisms adopted to prevent the infection (e.g.: if I wear a mask, the chance to catch coronavirus disease by walking in the street or at work is...”). Perceived barriers approach the difficulties in respecting norms and instructions for protection and avoidance of coronavirus infection (e.g., “I think the possibility of using alternative transportation to come and go from my job instead of public transportation is...”). We expanded the original model by including the item pro-health motivation, which presents questions adopted for general health improvement (e.g., eating habits, exercise routine, etc.).The responses obtained were numerical values of a ratio scale with verbal anchors, derived from the centiMax scale [14 , 24] that represents perception ( Figure 1 ). This scale enables a direct quantitative measure of the participant perception degree on a psychophysical ratio scale [22 , 25 , 26] . The advantage of this quantitative method with verbal anchors is that qualitative descriptive anchors help participants to quickly locate the region of numeric scale values, in Cmax units, that represent their perception. Up from this point, a numerical value is chosen, always seeking the choice that indicates the most accurate representation.
Figure 1
Illustration of the Borg CR ® (centiMax ® , CR100) ratio scale, in which anchored adjectives enable a quick access to the numerical region representing its intensity/magnitude perception (Borg & Borg, 2002; Borg et al., 2010). Scale and instructions can be obtained at www.borgperception.se. Authorized use.
Participants were instructed to choose the number that best represented the question-related perception, guided by the descriptors. Values could be integers or even contain decimals. It was crucial that the numerical information was as accurate as possible in representing participant’s perception or behavior.
Data Analysis
The Statistica (version 10.2, Statsoft, Tulsa, USA) program was used for statistical analysis. An asymmetry test was performed to establish the necessary condition for parametric statistics, i.e. normality. Although centiMax ® ratio scale has been successfully used to study different health conditions such as major depression [19] , fatigue and shortness of breath [27] , physical exertion [15] and chest pain [28] , it has not yet been applied in studies of purely psychological variables. Therefore, it is important to test some psychometric parameters. For reliability, we used split-half correlations with Spearman-Brown’s correction, Cronbach’s α for internal consistency and total items statistics to identify possible variables with low contribution to the questionnaire. We also calculated the standardized alpha, the reliability if we used standardized values (transformed into z score) for the items in cronbach’s α calculation. Repeated measures variance analysis was used to investigate the association between scale dimensions and sociodemographic characteristics, such as income level, type of health system and transportation system used to daily locomotion, through statistics F. Effect size was measured by h [2] . Spearman’s correlation was performed among scale values and demographic data on age, schooling level and income to attest to our measure convergence validity. To illustrate the possible added value of proportion data, belief profiles on coronavirus infection were built.
RESULTS
Our study collected data from 277 participants. The responses of 276, aged between 18 and 76, of both sexes (women = 197) were used. The excluded response was given by an 11-year-old participant. Table 1 shows the summary of the demographic data of the sample.
Table 1
Demographic data of the sample (N = 276)
Participants’ characteristics
Percentage (n)
Age
40.3 (13.6) a
Sex
Men
29% (79)
Women
71% (197)
Ethnicity or race
White
77% (213)
Mixed race
13% (37)
Black
2.3% (7)
Yellow (Asian)
7% (17)
Indigenous
0.7% (2)
Marital status
Single
43% (119)
Married/Common-law marriage
48% (132)
Divorced/widowed
9% (25)
Schooling
Graduate studies
42% (117)
College
33% (91)
Some College
18% (49)
Secondary education
5% (14)
Some secondary education
0.5% (1)
Some / primary education
1.5% (4)
No formal education
0
Monthly household income
Over 10,001,00
28% (76)
Between R$ 5,001.00 and R$ 10,000.00
31% (85)
Between R$ 3,001.00 and R$ 5,000.00
21% (59)
Between R$ 1,001.00 and R$ 3,000.00
19% (52)
Less than 1,000.00
1% (3)
Locomotion transportation
Public transportation
37% (101)
Private vehicles (taxi, apps and alike)
7% (16)
Personal vehicle
49% (135)
Walking
7% (16)
Chronic diseases
Arterial hypertension
10% (27)
Diabetes mellitus
7% (18)
Immunodeficiency disorders
12% (33)
Respiratory disorders
6% (11)
None
65% (179)
Health system used
Public
32% (88)
Private
68% (187)
a Mean (standard deviation)
a Mean (standard deviation)Table 2 shows the descriptive measures of the sums for the answers of each belief model dimension. Mean values are similar, ranging between 52.5 (SD = 31.6) for the pro-health motivation dimension and 26.6 (SD = 23.0) for perceived benefits.
Table 2
Mean, standard deviation and 95% confidence interval (95%CI) of belief model dimensions.
Dimension
Mean
Standard deviation
95%CI
Perceived susceptibility
39.5
29.8
37.9–41.1
Perceived severity
41.7
33.8
39.9–43.6
Perceived benefits
26.6
23.0
25.1–28.0
Perceived barriers
48.3
40.0
46.2–50.4
Pro-health motivation
52.5
31.6
50.6–54.4
Questionnaire Analysis
We performed an analysis of reproducibility for the questions of each belief model dimension. Initial values showed a very good cronbach’s α (αC = 0.817) as well as standardized α (αP = 0.821), and a low correlation among the items (r = 0.168), suggesting a great independence of the questions ( Table 3 ). However, for question 3 of perceived benefits and question 1 of perceived barriers, item-total correlation values were very low (r = 0.06 and r = 0.08, respectively), suggesting they interfere negatively in our scale.
Table 3
Mean, correlation and Cronbach’s α values per item before and after BeP3 and BaP1 removal.
Note: The numbers represent the question numbers for each model dimension. Values are in units of the centiMax scale ® .
PSU: perceived susceptibility; PSE: perceived severity; PBE: perceived benefits; PBA: perceived barriers; PHM: pro-health motivation.Note: The numbers represent the question numbers for each model dimension. Values are in units of the centiMax scale ® .After the removal of these two questions, our scale showed a better cronbach’s α than the previous one (αC = 0.883), exceeding the 0.800 value. This allows to presumpt the high efficiency of the scale, since it represents 80% of the population expected variability. Likewise, standardized α presented a slight improvement (αP = 0.834), and the low correlation among items was maintained (r = 0.179), certifying an excellent internal consistency. Subsequent analyses were performed without the presence of these two questions.The scale reproducibility was estimated by Spearman-Brown’s split half coefficient. The values found suggest a high correlation (r = 0.882), confirming a high convergent validity for our scale.
Comparison between Groups
The analysis of variance of the grouped scores of the items of each belief model dimension showed differences for perceived susceptibility regarding: type of transportation, in which urban transportation presented higher mean values (44.0) than personal vehicle (36.1) and walking (30.2) (F = 5.21; p = 0.003; h [2] = 0.014); household income, in which participants with income lower than R$ 1,000.00 presented mean values (16.4) significantly lower than all other income groups (F = 3.44; p = 0.008; h [2] = 0.009); and different severe illnesses, in which participants with autoimmune diseases (83.1) and diseases affecting the immune system (42.8) presented higher values than other diseases and those without severe illness (F = 3.13; p = 0.008; h [2] = 0.022).For perceived severity, schooling level showed a significant difference (F = 2.79; p = 0.016; h [2] = 0.012), in which participants with complete secondary education (47.9) and incomplete (72.3) presented higher values than those with higher schooling level. Within the group with severe illness, participants with systemic arterial hypertension (47.9) and diseases affecting the immune system (47.8) reported higher values, whereas those with autoimmune diseases had lower values (22.5) than other groups (F = 10.79; p < 0.001; h [2] = 0.022).Perceived benefits dimension was significant for different participants regarding the health system used (F = 4.32; p = 0.037; h [2] = 0.007), as participants who used private health systems (21.5) presented higher values than those who used the public system (18.2).Perceived barriers were the last dimension to present significant differences among participants (F = 3.79; p = 0.004; h [2] = 0.014), in which public transportation users presented lower values than others groups. Significant differences regarding participants’ sex were not found, nor were significant correlations between age and scale responses.
Individual Profile
CentiMax scale ® enables a directly and quickly graphical analysis of each participant. Figure 2 shows the profile of two participants who present the sum values of the scale items practically equal (participant A – 45.9; participant B – 45.7). However, different beliefs regarding covid-19 can be clearly identified. The vertical line in the value of 50 scale units represents the high perception of the item in question. From an application perspective, Figure 2 shows how our questionnaire associated with ratio scale use provides a quantitative and refined gradation, enabling the participant to express their respective perceptions and intensities with a higher level of detail when compared with other ordinal or nominal scales.
Figure 2
Representation profile on the belief of coronavirus infection (causing covid-19) for classification in centiMax scale ® units (Cmax) of the intensity of risk perception for two people with very similar sum scores (A = 45.7 and B = 45.9 units; risk chance self-declared as high). Vertical line at 50 units indicates a “high” infection risk perception on the scale (see Figure 1).
PSU: perceived susceptibility; PSE: perceived severity; PBE: perceived benefits; PBA: perceived barriers; PHM: pro-health motivation. The numbers represent the question numbers for each model dimension. Values are in units of the centiMax scale ® .
Representation profile on the belief of coronavirus infection (causing covid-19) for classification in centiMax scale ® units (Cmax) of the intensity of risk perception for two people with very similar sum scores (A = 45.7 and B = 45.9 units; risk chance self-declared as high). Vertical line at 50 units indicates a “high” infection risk perception on the scale (see Figure 1).
PSU: perceived susceptibility; PSE: perceived severity; PBE: perceived benefits; PBA: perceived barriers; PHM: pro-health motivation. The numbers represent the question numbers for each model dimension. Values are in units of the centiMax scale ® .
DISCUSSION
Our study successfully fulfills our objective of quantitatively mapping risk behaviors perception in view of the coronavirus infection risk through the use of the health belief model associated with a verbal anchors psychophysical scale, enabling a detailed representation of individual perceptions. This approach has proved to be very efficient, by identifying in participants with the same value of risk perception very different profiles within the variables.The results identified that some factors are significantly important to understand risk perception. The type of transportation used to get around on a daily basis significantly affects risk perception. Public transportation users perceive a greater contamination susceptibility than personal vehicle users and those who do their activities by foot. The same greater susceptibility perception was found in people with very low income and individuals with autoimmune diseases and diseases that affect the immune system (allergies and rheumatism, for example).These findings are important sources of information for adopting public policies that seek the widest possible scope. The perception that using public transportation results in a higher covid-19 contraction risk than private and personal transportation is positive. However, the use of collective private vehicles, such as transportation apps, presented a great variability and, thus, did not differ from any of the groups. Therefore, we understand this is an interesting target audience to provide more information regarding contagion risks. Low income was also an important factor and should be seen in a complex way, as it is associated with reduced information quantity and quality, housing conditions that favor contamination and difficulty in interrupting daily activities due to economic reasons.A fact that drew our attention was that people with diseases associated with a higher covid-19 contraction risk, such as diabetes mellitus and systemic arterial hypertension, [1 , 3] do not present a significant different susceptibility perception to contamination risk in comparison with the group of people without self-reported chronic diseases. A possible explanation is that these patients are mostly asymptomatic and remain with a stable and clinically controlled disease, behaving as individuals without chronic diseases. Such result allows us to develop information dissemination policies emphasizing or even particularly targeting this risk group.Regarding intensity of symptoms and characteristics of disease progression, participants with the lower schooling levels in our sample (some and secondary education) showed greater concern with possible symptoms, because their perceived severity representations were higher than in other schooling levels. The perception of greater symptom severity may lead these group to seek health services earlier. This problem is currently at stake due to the risk of unnecessary covid-19 exposure, as well as other serious diseases, by visiting health institution without real need.Another curious result for severity perception was obtained regarding chronic diseases. Participants with systemic arterial hypertension and diseases affecting the immune system registered higher susceptibility than other groups. However, participants with autoimmune diseases reported significantly lower values than others, suggesting that precautions taken for the treatment and care of their chronic diseases are being positively perceived as protective factors to the exposure. The type of health system used had an impact on benefits perception regarding the access and treatment in case of covid-19. Public system users were less benefited in comparison with participants who use private health systems.Results obtained through individual profiles enable highly informative and direct quantitative analyses. For example, if we look at question 1 of the health motivation item in Figure 2 , we notice that participant A believes 30 units that the behavior of washing their hands prevents the infection by the virus. Participant B believes 120 units that this behavior is beneficial. For being a ratio scale, we can directly state that participant B believes four times more than participant A in the effectiveness of washing hands as a healthy behavior that should be encouraged or increased. When comparing question 2 of the perceived severity item, participant A believes twice as much in the chance of presenting severe symptoms and complications as participant B. If a Likert-type scale of 5 points were used, in the first case, the result would have been too high (or value 5, if a numerical score) for participant B and low (value 2) for participant A. In the second case, participant A would present a moderate result (or value 3) and participant B a low result (value 2). In this example, there is a clear difference between the use of a ratio scale and an ordinal scale, whose sensitivity and resolution impair the actual identification of participants’ representations.It is also significantly important to discuss the methodology used in this study. The health belief model was developed over 60 years ago [8 , 9] and is applied in several areas of health – such as ophthalmologist education [29] , study of behavioral aspects in eating behavior psychiatry [6] , use and abuse of illicit injectable drugs [30] , clinics for diabetes mellitus and endocrine [12] , among others. However, the customary use of this model includes open or semi-structured questionnaires, using Likert-type scales to perform psychological dimension measurements. Our study is a clear advance in the use of this model, as it applies a ratio scale with verbal anchors, allowing ratio measures and, therefore, presenting a high-potential information detailing in a quantitative manner. This methodology is noteworthy because even a good questionnaire may have its information gathering potential greatly impaired if an inadequate or low information capacity metric is used. S.S. Stevens’ work on psychological measurement and psychophysical scaling [21 , 23] expanded our understandings on metric possibilities applied into the psychological universe. Likert-type scales are ordinal and, hence, positional. Their descriptors solely indicate orders and are unable to designate the distance among them. Therefore, ordinal scales use nonparametric statistical measurement such as mode, frequency, association and categorical correlation. Estimating medians on Likert-type scales, although the order is numerically represented, is a fundamental measurement error. On the other hand, measurements within ratio universes, for presenting an absolute origin of mathematical continuums, enable higher-order statistics. Our study, therefore, presents a high information quality and objective metric.Our group is already experienced in constructing psychophysical measurement and scaling of interval and ratio orders for studies of various psychological continua , such as symptoms profile in patients with major depression [19] , sexual attitudes [31] and color concept [32] . We encourage the use of these psychophysical scaling models, especially verbal anchors scales, because they are easy to apply and to understand the task to be performed. In addition, they are associated with quantitative measurements of high capacity for information, intervals and ratio. Such factors foster a great potential for more detailed and quantitative studies in public health, which, like psychology, commonly faces complex characteristics of human behavior regarding prevention issues as well as health and illness risks.Our study presents some evident limitations, which may have impacted some of the results. Our sample presents a thickening in moderate- and high-income populations, which may affect the sample representativeness. Therefore, subsequent studies should seek to correct this social heterogeneity within the sample.In conclusion, our health belief model-based questionnaire associated with a ratio scale with verbal anchors is an important instrument to understand the population perception on coronavirus infection risks in a quantitative manner, much more detailed and informative than the commonly applied questionnaires models and psychological metrics, such as Likert-type ordinal scales. The graphical analysis grants a quick access to the individual profile, enabling the development of information strategies and more individualized approaches, which will certainly have a greater impact on communication efficiency.
INTRODUÇÃO
Nos últimos anos, vários vírus têm chamado atenção da comunidade médica e científica por serem de grande risco para a saúde pública internacional. Entre eles estão os coronavírus, que tiveram grande projeção internacional pelo fato de causarem síndromes respiratórias graves, sendo as mais conhecidas a síndrome respiratória do Oriente Médio (MERS) e a síndrome respiratória aguda severa (SARS) 1 .Um recente surto de infecção humana por um novo coronavírus (2019-nCoV, atualmente denominado SARS-CoV-2) foi relatado na cidade de Wuhan, província de Hubei, China. Até 10 de janeiro de 2020, foram relatados 41 casos de contágio porSARS-CoV-2 entre 8 de dezembro de 2019 e 2 de janeiro de 2020 2 . Pelo rápido espalhamento do vírus por diferentes cidades chinesas, no dia 13 de fevereiro de 2020, o governo chinês anunciou 59.901 pacientes com diagnóstico confirmado de pneumonia e 1.368 pessoas mortas pela infecção do novo coronavírus, e então a Organização Mundial da Saúde (OMS) nomeou oficialmente a infecção por2019-nCoV como doença por coronavírus 2019 (covid-19) 3,4 .Devido às facilidades de transporte entre países presentes na vida moderna, o avanço dos casos de covid-19 para outros países foi rápido e intenso. Isso tem levado as autoridades desses países a adotarem medidas de controle de transmissão não medicamentoso, como, por exemplo, o isolamento social. Alguns países, como a Itália e a Espanha, encontraram dificuldade para que a população aderisse ao tratamento. O Brasil tem adotado estratégias semelhantes de controle da transmissão do vírus. Essa dificuldade que a população demonstrou para aderir aos controles comportamentais pode, também, se repetir em nosso país.Entender os determinantes pelos quais as pessoas podem apresentar relativa resistência às medidas protetivas contra a disseminação do vírus é, claramente, de grande importância para que as políticas públicas baseadas no isolamento social possam ter a eficácia desejada, evitando ou reduzindo a não aderência aos controles sociais propostos. Acreditamos que o modelo de crença em saúde possa auxiliar em encontrar os determinantes para tal comportamento.O modelo de crença em saúde é uma ferramenta desenvolvida para explicar o comportamento do paciente diante de sua doença ou risco de adoecer 5–7 . Ele surgiu na década de 1950 e considera que fatores positivos aumentam comportamentos pró-saúde enquanto fatores negativos os diminuem ou inibem 7–9 . Assim, para adotar comportamento de cuidado com a saúde e/ou de evitação de risco para doenças, o paciente deve: (1) acreditar que é suscetível à doença; (2) acreditar que a doença gerará impacto negativo, ao menos moderado, em sua vida; (3) acreditar que adotar determinados comportamentos é, de fato, benéfico para reduzir sua susceptibilidade ou a severidade da doença, caso já a tenha; (4) sobrepor importantes barreiras psicológicas, o que é fundamental para o sucesso da prevenção ou do tratamento 8,10,11 . Esse modelo tem sido aplicado com sucesso para avaliar a severidade da diabetes 12 , analisar os fatores de prevenção para a bulimia 6 , encontrar os determinantes de cuidados em saúde bucal 13 e estudar a percepção que diferentes culturas têm sobre as demências 11 , entre outros usos.Neste trabalho buscamos, portanto, o uso do modelo de crença em saúde ampliado para mapear o perfil da nossa população diante das necessidades de modificação comportamentais impostas pela chegada do coronavírus em nosso país. Para aumentar a capacidade de análise das respostas obtidas, utilizamos uma metodologia de escalonamento psicofísico por medida de razão, utilizando uma escala de razão com ancoragem verbal Borg CR scale
® (centiMax ® ) 14–18 . Essa metodologia tem se mostrado altamente eficiente na obtenção de medidas de razão por facilitar as respostas quantitativas pela ancoragem de descritores verbais correspondentes. Nossas experiências mostraram que o uso de escalas de razão com ancoragem verbal tem melhorado significativamente a sensibilidade e a medida quantitativa de escores de depressão maior 19 . Os trabalhos na literatura habitualmente utilizam o modelo de crença baseado em medidas ordinais, obtidas por meio de escala do tipo Likert 5,20 . Um avanço inovador nítido em nosso trabalho é o uso de uma escala quantitativa de razão 21–23 . Dessa forma, a quantidade de informação obtida é maior e permite o uso de ferramentas quantitativas e estatísticas de alto poder de predição, diferentemente das escalas ordinais, que restringem a informação a níveis de frequência com análises não paramétricas de moda e associação.
MÉTODOS
Amostra
O período de coleta foi de 17 a 24 de março de 2020. Os dados demográficos coletados consistiram em sexo, idade, nível de escolaridade, tipo de sistema de saúde utilizado, renda anual, estado civil, etnia ou raça, sistema de transporte utilizado para se locomover diariamente e doenças crônicas.As respostas foram obtidas por meio de formulário digital disseminado em redes sociais (REDCap), caracterizando um modelo de amostragem por conveniência e modelo de recrutamento tipo snowball (bola de neve). Após a explicação do propósito do experimento, a idade era perguntada. Caso o participante tivesse menos de 18 anos, a página automaticamente era direcionada para os agradecimentos pela participação. Caso a idade fosse maior de 18 anos, seguia-se à página contendo o termo de consentimento livre e esclarecido (TCLE), após o aceite as instruções eram oferecidas e começava-se a testagem. Caso o participante não concordasse com o TCLE, a página automaticamente era direcionada para os agradecimentos pela participação. O tempo total dispendido para o preenchimento do questionário foi de 12 minutos (desvio-padrão [DP] = 1,6). O estudo segue os princípios da Declaração de Helsinki de 1964 e de suas versões revisadas.
Procedimentos
Os participantes foram consultados sobre suas crenças e conhecimentos a respeito da infecção porcovid-19. O questionário era composto por 24 questões, sendo cinco delas relacionadas à susceptibilidade percebida, cinco à severidade percebida, cinco aos benefícios percebidos e cinco às barreiras percebidas, além de quatro questões adicionais sobre comportamentos e atitudes que visam melhorar a saúde geral, as quais denominamos de motivação pró-saúde.A susceptibilidade percebida corresponde ao conhecimento e crença sobre a possibilidade de pegar coronavírus (por exemplo, “com base na minha saúde geral, minha chance de pegar coronavírus é...”). A severidade percebida investiga a crença pessoal a respeito de como o indivíduo sofreria o processo da doença e a intensidade dos sintomas (ex.: “se eu pegasse coronavírus, a chance de ficar muito comprometido para fazer minhas atividades diárias seria...”). A dimensão de benefícios percebidos questiona a efetividade dos mecanismos comportamentais adotados para evitar a infecção (ex.: “se eu usar máscara, a chance de pegar coronavírus andando na rua ou no trabalho é...”), enquanto a de barreiras percebidas busca entender as dificuldades de respeitar as normas e instruções de proteção e evitação do contágio por coronavírus (ex.: “acho que a possibilidade de utilizar transporte alternativo para ir e vir do meu trabalho em vez de transporte público é...”). Ampliamos o modelo original pela inclusão em do item motivação pró-saúde, no qual apresentamos questões que são adotadas para melhora da saúde geral (por exemplo, tipo de alimentação, rotina de exercícios etc.).As respostas obtidas foram valores numéricos de uma escala de razão com ancoragem verbal, derivada da escala centiMax ® 14,24 que representa sua percepção (Figura 1). Essa escala permite uma medida quantitativa direta do grau percebido pelo participante em uma escala psicofísica de razão 22,25,26 . A vantagem desse método quantitativo com ancoragem verbal é que as âncoras descritoras qualitativas auxiliam o participante a localizar rapidamente a região de valores da escala numérica, em unidades Cmax, que representam sua percepção. A partir desse ponto, um valor numérico é escolhido, buscando sempre a escolha que indique a representação mais precisa.
Figura 1
Ilustração da escala de razão Borg CR scale ® (centiMax ® , CR100), na qual os adjetivos ancorados permitem um rápido acesso à região numérica que representa sua percepção de intensidade/magnitude (Borg & Borg, 2002; Borg et al., 2010). A escala e as instruções podem ser obtidas em www.borgperception.se. Uso permitido.
Os participantes foram instruídos a escolher o número que melhor representasse a percepção relacionada à pergunta realizada, guiados pelos descritores. Os valores poderiam ser inteiros ou mesmo conter decimais. O importante é que a informação numérica fosse a que ele ou ela julgasse a mais precisa possível na representação de sua percepção ou comportamento.
Análise dos Dados
O programa Statistica (versão 10.2, Statsoft, Tulsa, EUA) foi utilizado para análise estatística. Para estabelecer uma condição necessária para a estatística paramétrica, ou seja, normalidade, foi realizado um teste de assimetria. Embora a escala de razão centiMax ® tenha sido usada com sucesso para estudar diferentes condições de saúde como depressão maior 19 , fadiga e falta de ar 27 , esforço físico 15 e dor no peito 28 , não foi aplicada em estudos de variáveis puramente psicológicas. Dessa forma, é importante testar alguns parâmetros psicométricos. Para confiabilidade, foram utilizadas correlações de meio a meio ( split-half correlation ) com correção de Spearman-Brown, o α de Cronbach para consistência interna e estatística total de itens para identificar possíveis variáveis com baixa contribuição para o questionário. Calculamos também o alfa padronizado, que é a confiabilidade se usássemos os valores padronizados (transformados em escore z) para os itens no cálculo do α de Cronbach. A análise de variância de medidas repetidas foi utilizada para investigar a associação das dimensões da escala com as características sociodemográficas como nível de renda, tipo de serviço de saúde e sistema de transporte utilizado para se locomover diariamente por meio da estatística F. O tamanho do efeito foi medido por η 2 . A correlação de Spearman foi realizada entre os valores da escala com dados demográficos de idade, escolaridade e renda para atestar a validade de convergência de nossa medida. Para ilustrar o possível valor agregado dos dados da proporção, foram construídos perfis de crenças sobre a contaminação por coronavírus.
RESULTADOS
Nosso estudo coletou dados de 277 participantes e foram utilizadas as respostas de 276, com idade variando entre 18 e 76 anos de idade, de ambos os sexos (mulheres = 197). O resultado excluído tratava-se de resposta dada por participante com 11 anos de idade. O resumo dos dados demográficos da amostra está apresentado na Tabela 1.
Tabela 1
Dados demográficos da amostra (N = 276).
Característica dos participantes
Porcentagem (n)
Idade
40,3 (13,6)*
Sexo
Masculino
29% (79)
Feminino
71% (197)
Raça ou cor
Branca
77% (213)
Parda
13% (37)
Preta
2,3% (7)
Amarela
7% (17)
Indígena
0,7% (2)
Estado civil
Solteiro(a)
43% (119)
Casado(a)/união estável
48% (132)
Divorciado(a)/viúvo(a)
9% (25)
Escolaridade
Pós-graduação
42% (117)
Superior completo
33% (91)
Superior incompleto
18% (49)
Secundário completo
5% (14)
Secundário incompleto
0,5% (1)
Primário completo/incompleto
1,5% (4)
Sem instrução formal
0
Renda familiar mensal
Maior que R$ 10.001,00
28% (76)
Entre R$ 5.001,00 e R$ 10.000,00
31% (85)
Entre R$ 3.001,00 e R$ 5.000,00
21% (59)
Entre R$ 1.001,00 e R$ 3.000,00
19% (52)
Menor que R$ 1.000,00
1% (3)
Transporte utilizado para deslocamento
Transporte público
37% (101)
Veículos particulares (táxi, aplicativos e similares)
7% (16)
Veículo próprio
49% (135)
A pé
7% (16)
Doenças crônicas
Hipertensão arterial
10% (27)
Diabetes mellitus
7% (18)
Problemas imunológicos
12% (33)
Problemas respiratórios
6% (11)
Nenhum
65% (179)
Sistema de saúde utilizado
Público
32% (88)
Privado
68% (187)
* Média (desvio-padrão)
* Média (desvio-padrão)As medidas descritivas das somas para as respostas de cada dimensão do modelo de crença estão apresentadas na Tabela 2. Os valores médios são semelhantes, variando entre 52,5 (DP = 31,6) para a dimensão motivação pró-saúde e 26,6 (DP = 23,0) para benefícios percebidos.
Tabela 2
Média, desvio-padrão e intervalo de confiança de 95% (IC95%) das dimensões do modelo de crença.
Dimensão
Média
Desvio-padrão
IC95%
Susceptibilidade percebida
39,5
29,8
37,9–41,1
Severidade percebida
41,7
33,8
39,9–43,6
Benefícios percebidos
26,6
23,0
25,1–28,0
Barreiras percebidas
48,3
40,0
46,2–50,4
Motivação pró-saúde
52,5
31,6
50,6–54,4
SuP: susceptibilidade percebida; SeP: severidade percebida; BeP: benefícios percebidos; BaP: barreiras percebidas; MoS: motivação pró-saúde. Os números representam os números das perguntas de cada dimensão do modelo. Os valores estão em unidades da escala centiMax ® .
SuP: susceptibilidade percebida; SeP: severidade percebida; BeP: benefícios percebidos; BaP: barreiras percebidas; MoS: motivação pró-saúde. Os números representam os números das perguntas de cada dimensão do modelo. Os valores estão em unidades da escala centiMax ® .
Análise do Questionário
Realizamos uma análise de reprodutibilidade para as questões de cada uma das dimensões do modelo de crenças. Os valores iniciais mostraram um α de Cronbach muito bom (αC = 0,817), assim como o α padronizado (αP = 0,821) e uma baixa correlação entre itens (r = 0,168), sugerindo grande independência das questões (Tabela 3). No entanto, para a questão 3 da dimensão benefícios percebidos e para a questão 1 das barreiras percebidas, os valores de correlação item-total foram muito baixos (r = 0,06 e r = 0,08, respectivamente), sugerindo que elas atuam como interferências negativas em nossa escala.
Tabela 3
Valores de média, correlação e α de Cronbach por item antes e depois da retirada de BeP3 e BaP1.
Nota: Os números representam os números das perguntas de cada dimensão do modelo. Os valores estão em unidades da escala centiMax ® .
SuP: susceptibilidade percebida; SeP: severidade percebida; BeP: benefícios percebidos; BaP: barreiras percebidas; MoS: motivação pró-saúde.Nota: Os números representam os números das perguntas de cada dimensão do modelo. Os valores estão em unidades da escala centiMax ® .Após a retirada dessas duas questões, nossa escala mostrou um α de Cronbach melhor que o anterior (αC = 0,883), inclusive ultrapassando o valor de 0,800, que permite assumir uma alta eficiência da escala, uma vez que representa 80% da variabilidade esperada na população. Da mesma forma, o α padronizado teve uma leve melhora (αP = 0,834) e mantivemos uma baixa correlação entre itens (r = 0,179), atestando uma ótima consistência interna. As análises posteriores foram realizadas sem a presença dessas duas questões.Nós estimamos a reprodutibilidade da escala pelo coeficiente de Spearman-Brown split half . Os valores encontrados sugerem uma correlação alta (r = 0,882), confirmando uma alta validade convergente para nossa escala.
Comparação entre Grupos
A análise de variância dos escores agrupados dos itens pertencentes a cada dimensão do modelo de crenças mostrou haver diferenças para susceptibilidade percebida por tipo de transporte, com o transporte urbano apresentando maiores valores médios (44,0) que veículo próprio (36,1) e a pé (30,2) (F = 5,21; p = 0,003; η 2 = 0,014); por renda familiar, com participantes de renda menor do que R$ 1.000,00 apresentando valores médios (16,4) significativamente menores do que todos os outros grupos de renda (F = 3,44; p = 0,008; η 2 = 0,009); e para diferentes doenças de risco, uma vez que participantes com doenças autoimunes (83,1) e doenças que afetam o sistema imunológico (42,8) apresentaram valores maiores do que outras doenças e do que o grupo sem doença de risco (F = 3,13; p = 0,008; η 2 = 0,022).Para a dimensão severidade percebida, a escolaridade apresentou diferença significante (F = 2,79; p = 0,016; η 2 = 0,012), com participantes com formação secundária completa (47,9) e incompleta (72,3) apresentando valores maiores que os de maior tempo de escolarização. No grupo com doenças de risco, participantes com hipertensão arterial sistêmica (47,9) e doenças que afetam o sistema imunológico (47,8) registraram valores maiores, enquanto os com doenças autoimunes tiveram valores menores (22,5) que os demais grupos (F = 10,79; p < 0,001; η 2 = 0,022).A dimensão benefícios percebidos foi significante para os diferentes participantes com base no sistema de saúde utilizado (F = 4,32; p = 0,037; η 2 = 0,007), uma vez que os participantes usuários de sistema privado de saúde (21,5) apresentaram valores mais altos do que os usuários do sistema público (18,2).A última dimensão do modelo que apresentou diferenças significantes entre participantes foi barreiras percebidas (F = 3,79; p = 0,004; η 2 = 0,014), na qual usuários de transporte público apresentaram valores menores que os demais grupos de transporte. Não encontramos em nenhuma dimensão diferenças significativas com relação ao sexo dos participantes, nem correlação significativa entre a idade e as respostas das escalas.
Perfil Individual
O uso da escala centiMax ® permite uma análise gráfica de cada um dos participantes, de forma direta e rápida. Apresentamos na Figura 2 o perfil de dois participantes que apresentam valores de soma dos itens da escala praticamente iguais (participante A – 45,9; participante B – 45,7). No entanto, claramente podemos identificar diferentes crenças sobre o covid-19. A linha vertical no valor de 50 unidades da escala representa a percepção alta do item em questão. De uma perspectiva de aplicação, a Figura 2 mostra como nosso questionário associado ao uso da escala de razão nos dá uma gradação quantitativa e refinada, permitindo ao participante expressar suas percepções e intensidades respectivas com maior nível de detalhamento quando comparado com outras escalas ordinais ou nominais.
DISCUSSÃO
Nosso trabalho cumpre com sucesso nosso objetivo de mapear quantitativamente a percepção sobre os comportamentos de risco diante do risco de contágio por coronavírus utilizando o modelo de crença em saúde associado a uma escala psicofísica de ancoragem verbal, possibilitando uma representação detalhada das percepções individuais. Essa abordagem se mostrou muito eficiente, uma vez que é capaz de identificar em participantes com o mesmo valor de percepção de risco perfis muito diferentes nas variáveis que contribuem para essa percepção.Os resultados obtidos identificaram que alguns fatores são de significante importância para o entendimento da percepção de risco. O tipo de transporte utilizado para se locomover diariamente afeta significativamente a percepção de risco, com os usuários de transporte público percebendo uma maior susceptibilidade à contaminação que os usuários de veículo próprio e os que caminham para suas atividades. A mesma percepção de uma maior susceptibilidade foi encontrada em pessoas com renda muito baixa e indivíduos que apresentam principalmente doenças autoimunes e doenças que afetam o sistema imunológico (alergias e reumatismos, por exemplo).Esses achados são importantes fontes de informação para adotarmos políticas públicas que busquem a maior abrangência possível. É positiva a percepção de que o uso de transporte público apresenta um maior risco de contrair covid-19 do que o transporte privado próprio. No entanto, o uso de veículos privados coletivos, como os transportes por aplicativos, apresentaram uma variabilidade grande e, portanto, não diferiram de nenhum dos grupos. Assim, entendemos que esse é um público-alvo interessante para o aumento de informações sobre os riscos de contágio. A baixa renda também foi um fator importante, que deve ser encarado de forma complexa, uma vez que está associado à quantidade e qualidade reduzidas da informação disseminada, condições de moradia que favorecem a contaminação e dificuldade de interromper as atividades diárias por questões econômicas.Chamou-nos a atenção o fato de que pessoas com doenças que estão sendo associadas ao maior risco de contágio porcovid-19, como diabetes mellitus e hipertensão arterial sistêmica 1,3 , não apresentam percepção de susceptibilidade para o risco de contaminação com diferença significante em relação ao grupo de pessoas sem autorrelato de doenças crônicas. Uma possível explicação pode se dar pelo fato de que estes pacientes são, em sua grande maioria, assintomáticos e permanecem com a doença estável e controlada clinicamente, levando-os a se comportar como indivíduos sem doenças crônicas. Esse resultado permite que desenvolvamos políticas de disseminação de informação com maior ênfase ou até mesmo veiculações específicas para este grupo de risco.Com relação à intensidade de sintomas e característica de evolução da doença, os participantes com níveis de escolaridade mais baixos de nossa amostra (secundário incompleto e completo) demonstraram maior preocupação com os possíveis sintomas, pois suas representações da severidade percebida foram maiores do que os demais níveis de escolaridade. A percepção de maior severidade dos sintomas pode levar essas pessoas a procurarem os serviços de saúde mais precocemente. Esse é um problema que está sendo frequentemente discutido, pelo risco de exposição desnecessária ao covid-19 e a outras doenças graves na ida a uma instituição de saúde sem a real necessidade.Outro resultado curioso que obtivemos para a percepção de severidade foi em relação às doenças crônicas. Participantes com hipertensão arterial sistêmica e doenças que afetam o sistema imunológico registraram maior susceptibilidade que os demais grupos. Entretanto, os participantes com doenças autoimunes registraram valores significativamente menores que os demais, sugerindo que as precauções que tomam para o tratamento e cuidado de suas doenças crônicas estão sendo positivamente percebidas como fatores protetivos à exposição. O tipo de sistema de saúde utilizado teve impacto na percepção de benefícios quanto ao acesso e tratamento em caso de covid-19, com os usuários do sistema público se percebendo menos beneficiados em relação aos participantes que utilizam sistemas privados de saúde.Os resultados obtidos nos perfis individuais possibilitam análises quantitativas diretas, que são altamente informativas. Por exemplo, se observarmos a questão 1 do item motivação à saúde na Figura 2, vemos que o participante A acredita 30 unidades que o comportamento de lavar as mãos previne o contágio pelo vírus. Já o participante B acredita 120 unidades que esse comportamento é benéfico. Por se tratar de uma escala de razão, podemos diretamente afirmar que o participante B acredita quatro vezes mais que o participante A na eficácia de lavar as mãos como hábito saudável de comportamento que deve ser incentivado ou aumentado. Quando comparamos a questão 2 do item severidade percebida, o participante A acredita duas vezes mais na chance de ter sintomas e complicações graves que o participante B. Se tivéssemos utilizado uma escala tipo Likert de 5 pontos, teríamos no primeiro caso o resultado muito alto (ou valor 5, se o escore fosse numérico) para o participante B e baixo (valor 2) para o participante A. No segundo caso, teríamos para o participante A o resultado moderado (ou valor 3) e para o participante B o resultado baixo (valor 2). Nesse exemplo fica nítida a diferença entre o uso de uma escala de razão contra uma escala ordinal, cuja sensibilidade e resolução prejudicam a real identificação das representações dos participantes.
Figura 2
Perfil de representação sobre a crença de contágio por coronavírus (causador da covid-19) para classificação em unidades da escala centiMax ® (Cmax) da intensidade da percepção do risco para duas pessoas com os escores por soma muito semelhantes (A = 45,7 e B = 45,9 unidades; chance de risco autodeclarada como alta). A linha vertical a 50 unidades indica uma percepção de risco de contágio “alta” na escala (vide a Figura 1).
É também de importância significativa falarmos sobre a metodologia utilizada neste estudo. Embora o modelo de crença em saúde tenha sido desenvolvido há mais de 60 anos 8,
9 e ter aplicação em diversas áreas da saúde – como educação em oftalmologia 29 , estudo de aspectos comportamentais na psiquiatria do comportamento alimentar 6 , uso e abuso de drogas ilícitas injetáveis 30 , clínica médica endocrinológica da diabetes mellitus 12 , entre outras – o uso habitual desse modelo inclui questionários abertos ou semiestruturados, utilizando escalas do tipo Likert para a realização de medidas das dimensões psicológicas. Nosso estudo é um claro avanço no uso desse modelo, uma vez que aplica uma escala de razão com ancoragem verbal, permitindo assim medidas de razão e, portanto, sendo de alto poder de detalhamento de informação e de forma quantitativa. Esse ponto metodológico merece atenção, pois um bom questionário pode ter seu poder de captura de informação muito prejudicado se uma métrica inadequada ou de baixa capacidade informativa for utilizada. Os trabalhos de S.S. Stevens em medidas psicológicas e escalonamento psicofísico 21,23 expandiram nossos entendimentos sobre as possibilidades métricas aplicadas ao universo psicológico. As escalas do tipo Likert são de origem ordinal e, portanto, de métrica posicional, e seus descritores indicam apenas ordens, sem condições de designar a distância entre elas. Por isso, escalas ordinais utilizam medidas estatísticas não paramétricas como moda, frequência, associação e correlação categórica. Calcular médias em escalas do tipo Likert, mesmo que a ordem seja representada numericamente, é um erro fundamental de medida. Por outro lado, medidas em universos de razão, por apresentarem origem absoluta de contínuos matemáticos, permitem estatísticas da mais alta ordem. Nosso trabalho, portanto, apresenta uma métrica de altíssima qualidade informativa e objetividade métrica.Nosso grupo já tem experiência na construção de medidas e escalas psicofísicas de ordem intervalar e de razão para estudos de diversos continua psicológicos, como sobre o perfil de sintomas em pacientes com depressão maior 19 , atitudes sexuais 31 e conceito de cor 32 . Estimulamos o uso desses modelos de escalonamento psicofísico, em especial as escalas de ancoragem verbal, porque são de fácil aplicação e entendimento da tarefa a ser realizada, além da vantagem de estarem associados a medidas quantitativas de grande poder de informação, intervalares e de razão. Esses fatores geram um grande potencial para estudos mais detalhados e quantitativos em saúde pública, a qual, assim como a psicologia, encara muito frequentemente características complexas do comportamento humano em relação a questões de prevenção e risco de saúde e adoecimento.Nosso trabalho apresenta algumas limitações evidentes, que podem ter algum impacto nos resultados obtidos. Nossa amostra apresenta um adensamento em populações com renda moderada a alta, o que pode afetar a representatividade desta população. Portanto, estudos posteriores deverão buscar corrigir esta não homogeneidade social da amostra.Como conclusão, nosso questionário baseado no modelo de crença em saúde associado a uma escala de razão com ancoragem verbal é um importante instrumento para o entendimento da percepção populacional a respeito dos riscos de contágio por coronavírus de maneira quantitativa e, portanto, muito mais detalhada e informativa que outros modelos de questionários e métricas psicológicas aplicados habitualmente, como as escalas ordinais tipo Likert. A análise gráfica permite um acesso rápido do perfil individual, possibilitando o desenvolvimento de estratégias de informação e abordagens mais individualizadas, o que certamente terá um impacto maior na eficiência da comunicação.
Authors: Cristina Ribeiro de Barros Cardoso; Ana Paula Morais Fernandes; Isabel Kinney Ferreira de Miranda Santos Journal: Rev Soc Bras Med Trop Date: 2020-12-21 Impact factor: 1.581
Authors: Sergio Cervera-Torres; Susana Ruiz-Fernández; Hendrik Godbersen; Lena Massó; David Martínez-Rubio; Sheila Pintado-Cucarella; Rosa M Baños Journal: Front Psychol Date: 2021-05-24
Authors: Jennifer D Roberts; Shadi O Tehrani; Roger Isom; Eric A Stone; Micah L Brachman; Valerie Newsome Garcia Journal: BMJ Open Date: 2020-10-12 Impact factor: 2.692