Literature DB >> 34932698

Evaluation of a support system for health professionals confined by COVID-19.

Rosa García-Sierra1,2,3, Eduard Moreno-Gabriel1,3, Esther Badia Perich4, Victòria Sabaté Cintas4, Josep M Bonet Simó5, Concepción Fors Violán1, Nuria Prat Gil5, Mònica Piña Rodríguez6, Pere Torán-Monserrat1,3,7.   

Abstract

OBJECTIVE: To evaluate the implementation of a telephone system in a department of Primary Care in Barcelona, Spain, supporting health professionals confined by COVID-19.
METHODS: We conducted an observational, descriptive, cross-sectional study with confined professionals, between March 11 and May 31, 2020. We emailed a questionnaire with 18 closed-ended questions and one open-ended question and performed a descriptive analysis of the closed-ended answers and an analysis of the thematic content of the open-ended question.
RESULTS: Thirty-nine hundred and ninety-eight professionals evaluated the system overall with a score of 6.54 on a scale of 1 to 10. The evaluation of the format of calls made in the support system had higher scores, while the psychological support unit and the coordination of the different groups had lower scores. The content analysis of the open-ended question provides explanatory arguments for the quantitative results.
CONCLUSIONS: The study allowed a valid and reliable evaluation of the implementation of a support system for confined professionals, in addition to recognizing areas for improvement.

Entities:  

Mesh:

Year:  2021        PMID: 34932698      PMCID: PMC8664052          DOI: 10.11606/s1518-8787.2021055003735

Source DB:  PubMed          Journal:  Rev Saude Publica        ISSN: 0034-8910            Impact factor:   2.106


INTRODUCTION

COVID-19 is an emerging disease that, as of March 18, 2021, has globally affected 120 million people and has already caused 2.6 million deaths since the start of the pandemic[1]. Health care workers were the first line of response to the outbreak, exposed to unprecedented risk to themselves and their families. According to the World Health Organization (WHO), data from many countries indicate that the number of SARS-CoV-2 infections among healthcare workers is much higher than among the general population, and thousands of healthcare workers infected with SARS-CoV-2 have lost their lives worldwide[2]. The latest report on healthcare professionals in Spain, published by the National Epidemiological Surveillance Network (Red Nacional de Vigilancia Epidemiológica) on May 21, 2020, reported 40,921 cases of COVID-19[3]. Subsequent reports on the overall situation in the country show that the disease in healthcare professionals has continued to appear, with 82,690 cases reported as of July 14, 2021[4]. However, seroprevalence data point to higher prevalences in healthcare personnel: 10.3% of a sample of primary care and hospital professionals in the northern metropolitan region of Barcelona were positive for anti-SARS-CoV-2 IgG, with no differences observed between primary care and hospital personnel[5]. As the 2003 SARS-1 outbreak showed, healthcare professionals are exposed to the virus and to numerous stressors, such as high workloads, stress, fatigue, exhaustion and stigma. In addition to this set of threats, domestic isolation of suspected SARS-CoV-2 cases is one of the main non-pharmacological interventions to mitigate and even suppress its spread, constituting a predictor of post-traumatic stress disorders[6]. Faced with the first appearance of a contact by a healthcare professional with a patient positive for SARS-CoV-2 and the consequent prescription for isolation, the administration of the North Metropolitan Primary Care Area of Barcelona (Spain) –healthcare area that provides service to 1,448,812 citizens from 70 municipalities in the province of Barcelona, and which has a staff of more than 4,500 professionals– launched a telephone service system to all professionals who were prescribed a home confinement between the February 17 and May 31, 2020, the period corresponding to the first wave of the epidemic. Considering the information available at that time on the evolution of the disease, the system was provided with a “biopsychosocial” orientation, since it intended to follow-up the clinical evolution of the professionals who presented symptoms at some point in the follow-up, in addition to offering recommendations and support in psychosocial issues related to the circumstances of the isolation, whether symptoms had developed or if the isolation was due to contact with positive patients. The follow-up team was interdisciplinary, made up of 16 nursing professionals, 5 family medicine professionals, 1 psychiatrist, 5 psychologists, and 1 professional from social work, under the administration of the Prevention Unit, responsible for Occupational Health of the organization. The follow-up consisted of telephone calls to follow-up the progress of the symptoms, assessment and response to psychosocial needs that may appear. The follow-up team met weekly to guarantee criteria for action and management of specific cases. The periodicity determined for making the calls was 72 hours, although it was a decision of the professionals to increase the time of calls, with a total of 10,419. The descriptive analysis of the sociodemographic and clinical characteristics of the professionals assisted in this support system was published recently[9]. The objective of this research was to know how the professionals who had contact with positive patients or who manifested symptoms of COVID-19 evaluated both the care received and the functioning of the biopsychosocial system, as well as identify the needs perceived as poorly attended, with a view to implementing improvements in the system, in case of future needs.

METHODS

Design

Observational, descriptive and transversal study, carried out with the workers of the administration of Primary Care of the North Metropolitan, in Barcelona, Spain. Inclusion criteria were to have confined at home by symptomatology or contact with COVID-19 between March 11 and May 31, 2020, and to have provided at least one contact email during the period of confinement. We did not define any exclusion criteria and we invited 1,247 professionals who met the inclusion criteria to participate, 398 responded our inviting, representing a response rate of 32%.

Data Collection

The data were collected by the Research Support Unit of the North Metropolitan Area of the Catalan Health Institute (ICS - Instituto Catalán de la Salud), a department that provides professional and logistical support to organize research initiatives that may arise in the territory. We distributed a questionnaire by e-mail through a survey management platform (Box).
Box

Assessment questionnaire of the support system for health professionals confined by COVID-19.

Assessment questionnaire of the support system for health professionals confined by COVID-19
As a professional affected by COVID-19 did you receive any telephone call follow-up by this system while you were confined?
Answer YES: Start the survey Answer NO: Direct to suggestions
Evaluate from 0 (not satisfactory) to 3 (very satisfactory) the following aspects of the follow-up calls:
1) Adequate frequency of clinical follow-up calls.
2) Duration of telephone calls.
3) Information received in the calls.
4) Resolution of the doubts raised during the calls.
5) Support received during clinical follow-up.
Evaluate from 0 (not useful) to 3 (very useful) the extent to which the calls was useful for you in the following aspects:
6) Emotional well-being.
7) Management related to labor issues.
8) Family relationships.
9) Symptom management.
Evaluate from 0 (not satisfactory) to 3 (very satisfactory) the task performed by the following groups involved in the system:
10) The professionals who called you for clinical follow-up.
11) Psychological support unit.
12) Basic Prevention Unit.
13) PCR performing system.
14) Management team of your center.
15) Support from the Health Area Management.
16) Coordination between the different agents involved.
17) Facility to contact the professionals who carried out the follow-up, in case it was necessary.
18) If you had to give a grade to the follow-up service in general, what grade would you give it from 1 to 10 (1 = very bad, 10 = very good)?
19) Do you have any suggestions for improvement or comments?
This questionnaire made it possible to obtain information on the previously defined study variables. We conducted the surveys during September 2020.

Instruments

We developed an ad hoc questionnaire following the recommendations of Boynton and Greenhalgh[10] to ensure the validity and reliability of the questionnaires created. The Quality Department requested the research and the first step was to find out what issues they wanted to explore. Then, we determined the most appropriate methodology for data collection, since we were dealing with the quantification of general measures, and seeking ease and speed in filling out, we opted for a 17-question questionnaire with a numerical scale from 0 to 3, and one question with an answer from 1 to 10. In order to expand on the findings, the participants had the possibility to answer an open-ended question, which was analyzed using qualitative methods. We considered not advisable to use a standardized measuring instrument due to the particular context of the pandemic experienced for the first time in a specific health care setting, for which any questionnaire used in another context would lose its validity. In relation to the appearance of the questionnaire, we took care of the details related to font, font size, and length of the questions to ensure a high response rate. In addition, we conducted 5 pretest cognitive interviews with a sample of potential study participants to evaluate a first version of the questionnaire using the think aloud technique[11]. We ensured the validity of the questionnaire using a procedure giving specific instructions to 6 expert judges asked to evaluate the Interpretability, Representativeness, Relevance of the items, by scoring from 1 to 4 for each item, after previous information about the purpose of the questionnaire. We also encouraged experts to share comments on writing of items and response options, suggestions for revisions, number and order of items, instructional text, missing items, headlines and layout[12]. The Content Validity Index for the final closed-response items (I-IVC) with 6 expert judges was greater than 0.78 for all items. Cronbach’s α for the closed-response items was 0.93.

Data Analysis

We performed a descriptive analysis of the quantitative data presenting the categorical variables with frequency distribution, and the quantitative variables with mean, standard deviation, mode and median. We used Student’s t-test and ANOVA for the comparison of means, and any value of p < 0.05 was considered significant. We used the SPSS package, version 25. Using the ATLAS.ti 8.4 program, the answers to the open-ended questions were subjected to a summative thematic content analysis, which involves coding and counting the answers based on a pre-established matrix of codes and interpreting the latent meaning of this content based on the contexts of use and co-occurrences of the codes[13]. We conducted the quantitative and qualitative analyses in a sequential and explanatory manner, orienting the qualitative analysis to understanding of the quantitative results.

Ethical Considerations

The first question of the questionnaire involved informed consent, if the participant accepted it, it was possible to continue the survey. All participants were volunteers, with anonymity guaranteed by deactivating the possibility of tracking answers, and no request for data that could reveal the participant’s identity. The Clinical Research Ethics Committee of IDIAPJGol (Code 20/209-PCV) approved the study.

RESULTS

We sent the survey link to 1,247 people, of whom 398 initiated the survey. In the first question, 60 participants answered that they did not recall receiving the evaluated support, so the survey directed them to the open-ended comments and suggestions question, and 22 of them wrote comments on it. Of the remaining 338 participants who did recall receiving telephone support, 286 completed the entire survey.

Sociodemographic Data

The sample was predominantly female (81.8%). The mean age was 47 years with a standard deviation of 10.4, minimum age 22 years and maximum age 65 years. Other sociodemographic characteristics are in Table 1.
Table 1

Sociodemographic characteristics.

n = 286YesNo
Belongs to a vulnerable group88 (30.8%)198 (69.2%)
Lives with vulnerable people98 (34.3%)188 (65.7%)
Lives with children166 (41.9%)120 (58%)
Was diagnosed with COVID-19 by PCR127 (44.4%)159 (55.6%)
Knows the origin of the infection63 (46%)74 (54%)

PCR: polymerase chain reaction.

PCR: polymerase chain reaction. Nurses and physicians were up to 63% of those responding the questionnaire and other groups of professionals were the rest of the sample. Table 2 shows the distribution of the participants according to their profession.
Table 2

Distribution of the sample according to profession (n = 286).

Professionn (%)
Nurse102 (35.7%)
Physician80 (28%)
Management and services49 (17.1%)
Auxiliary nursing care technician24 (8.4%)
Social Work7 (2.4%)
Odontology6 (2.1%)
Management Technician4 (1.4%)
Midwife2 (0.7%)
Physiotherapist1 (0.3%)
Other professions11 (3.8%)

Quantitative Evaluation Results

The mean overall score for the system was 6.54, with the worst possible score being 0 and the best possible score being 10. The mode was 8, and the median was 7. Table 3 shows the score obtained for each of the items on a scale of 0 to 3, showing that the highest scores correspond to the items related to the formal aspects of the calls, and the lowest score corresponds to the psychological support unit.
Table 3

Evaluation of the system.

Aspects related to callsMeanaSDModea
Adequate frequency2.110.893
Duration of calls2.370.733
Information received2.160.863
Resolution of doubts2.110.883
Support received2.150.933
Usefulness of the calls   
Emotional well-being1.910.983
Work management1.881.023
Family relationships1.731.062
Symptom management2.000.963
Valuation by group   
Identification2.760.563
Follow-up professionals2.340.783
Psychological Support Unit0.701.110
Basic Prevention Unit1.641.213
PCR implementation system1.661.183
Center management team2.151.023
Support from the general management1.441.120
Coordination and management   
Coordination of groups1.470.951
Ease of contact1.611.101/3

SD: standard deviation.

a 0 is the lowest possible score and 3 is the highest possible score.

SD: standard deviation. a 0 is the lowest possible score and 3 is the highest possible score. We performed a T test to compare the overall mean obtained according to gender, relevance to a vulnerable group, cohabitation with vulnerable persons, having children or not, PCR result, being a health sciences professional or not, and origin of infection. We did not find significant differences in any of the cases. Table 4 shows the statistics of these mean comparisons.
Table 4

Comparison of overall score by group.

 MeanSDtaSigc
Sex
Man6.882.491.110.27
Woman6.472.41  
Belongs to vulnerable groups
No6.582.360.370.71
Yes6.472.59  
Living with vulnerable people
No6.482.35-0.640.52
Yes6.672.57  
Sons/daughters
No6.772.361.810.07
Yes6.242.49  
PCR result
Negative6.502.50-0.800.42
Positive6.742.34  
Health sciences profession
No6.822.281.110.27
Yes6.452.47  
Origin of infectionFb 
Patient6.452.380.850.43
Community7.422.11  
Unknown6.742.38  

SD: standard deviation.

a Student t-test.

b F Test.

c Service and management.

SD: standard deviation. a Student t-test. b F Test. c Service and management. We analyzed in more detail the result obtained in the evaluation by the psychological support unit, since it obtained a very low score. We performed bivariate analyses with all sociodemographic and occupational variables, finding no significant association.

Results of the Content Analysis of the Answers to the Open-Ended Question

A total of 109 people (27.4%) answered the question “If you have any suggestions for improvement or comments, you can write them here” formulated to all participants. Analysis of the manifest content of the answers, coded according to the three dimensions of the bio-psycho-social approach, showed that most of the comments (n = 61) referred to organizational aspects (social dimension), followed by those referring to psychological issues (psychological dimension; n = 22) and, finally, to issues related to symptom management (biological dimension; n = 10).

Social dimension

Despite the deductive approach of the analysis, categorizing the data in the three dimensions of the biopsychosocial orientation, the analysis of the context in which the comments were made and their co-occurrences showed how comments referring to the more psychological experience (“I felt very lonely”) and to the biological process of the disease (“I had a fever for 11 days”) were linked to explanations of concrete actions or omissions at the level of the socio-organizational management of the situation (“to demand the performance of the PCR”): During my illness I felt very lonely, I had to call to request a PCR, both at the beginning of my illness and in the pre-incorporation period. I had a fever for 11 days and did not receive a follow-up call, I was the one who decided to have a Chest X-ray, manage it, check it and see that there was pneumonia, talk to an internist, who prescribed medication. I did not feel supported at any time. I would not want to repeat an experience like this again. (43:2) As in this comment, the professionals located their experience of isolation in one place or another on the accompaniment-loneliness continuum as the effect of a combination of various concrete practices, often linked to the resolution of formal aspects, which may or may not have taken place during follow-up (for example, the performance of diagnostic tests). In the first part of the process, my perception was of total abandonment, including the lack of PCR, until I was admitted to the hospital with pneumonia 15 days after the beginning of my confinement. After discharge, yes, I was very comforted by the calls from Dr. M.. She was very supportive psychologically and emotionally. I am very grateful to her. To the UPR, I give it a zero. (88:3)

Psychological dimension

This commentary shows the link between the perception of loneliness and some of the weaknesses of the system, especially at the beginning (the performance of PCR and the role of the Basic Prevention Unit –”UPR”, in this quote). However, this loneliness is made up for the role of the psychological support. Dr. M” belongs to the Psychological Support Unit, activated in specific cases. There are few explicit references to “psychological support” (n = 5) in the set of open-ended responses and all, except this expression of gratitude, they are explicit requests to expand or integrate (n = 4) this type of service. Therefore, it is pertinent to make a distinction between the assessments of the psychological support unit and the perception of feeling emotionally accompanied as a result of received care in the framework of this follow-up system.

Biological dimension

As noted above, the value of the system as “emotional support” cannot be attributed exclusively to the performance of the Psychological Support Unit, but seems to emerge rather as the effect of a combination of various concrete practices that did or did not take place during follow-up, including those related to symptom management and “self-management of the disease” as detailed in the following quote. I consider the follow-up as essential, because of the support on the symptoms and uncertainties, especially at the beginning of the pandemic, when I was infected. About my process, I would also highlight the emotional support I received, I did not expect it and I found it and I was grateful for it. We are “patients” but at the same time health professionals, something that helps to self-manage the disease but, at the same time, to make some anticipations. (106:4)

DISCUSSION

Process and outcome indicators of healthcare services play a crucial role in patient satisfaction[14]. The intervention implemented would be along the lines of a Walkround, a common practice associated with patient safety, in which feedback is a powerful intervention[15]. This research highlights the responsiveness of the healthcare system to a crisis caused by the COVID-19 pandemic that placed the healthcare system in a situation of unprecedented stress, and which had to give a response to healthcare professionals in their role as patients. The professionals affected evaluated the response as satisfactory, giving the intervention an overall score of 6.54. We designed the evaluation meticulously to ensure that the questions did not contain interpretation biases and that the contents were those really intended to be evaluated. The analysis of the data, with no predictor variable for the results, shows that the participants responded to the questionnaire leaving aside the social and emotional situations that could affect them. Finally, the characteristics of the participants were very similar to those of the total number of confined professionals, as shown by the mean age of 47 years (45 in the total number of confined professionals) and the high percentage of women, 81.8% (78.8% in the total number of confined professionals)[9]. The formal aspects of the calls had positive evaluation, with a high categorization of the responses. The biopsychosocial vocation is an important, and achieved, aspect in the implementation of the system, since the scores in the “usefulness of the calls” section are on a high position. The qualitative results show that there are different conceptions of the usefulness that this type of follow-up should have and that the system loses its value when there is no appreciation of this triple aspect. Many hypotheses can explain this effect in light of the results and related literature. For example, if the preponderance is on the labor aspects, the perception may be balanced towards an intervention of pressure and control of human resources, and not of support[16]. On the other hand, health professionals may not accept a more clinically focused system very well, assuming that they have a certain expertise in this field. Similarly, strictly psychological follow-up would cause rejection in a group where, paradoxically, occur a considerable stigmatization of mental health problems[17]. It is important to consider that the literature shows a considerable proportion of healthcare workers having experienced sleep and mood disorders during the pandemic[18]. Moral damage and the development of mental illness are real risks when working in unprecedented scenarios such as this one. Then, this study emphasizes we must work proactively to prevent the psychological consequences of the pandemic on healthcare workers from becoming severe[19]. The evaluation of the different groups participating in the system showed heterogeneous scores, including the very low score for the Psychological Support Unit, for which the quantitative analysis was unable to find any predictors to explain it. However, the results of the analysis of the open-ended responses allow us to develop some plausible explanations. On the one hand, the work of the Psychological Support Unit does not receive a negative evaluation, but critics for not having more presence. Data show clearly that the perception of emotional support or accompaniment goes beyond the work of this Unit and emerges as a result of a sum of small actions, often linked to management, information and coordination, facilitating personalized and more empathetic attention. The score obtained for the coordination of the different groups involved is lower than the midpoint. As expressed in the participants’ comments, the situation makes them tolerant towards this lack of coordination and the difficulty of implementing any initiative, which may result in benevolent scores. The evidence obtained allows the elaboration of an explanation that turns the unknown into the known, built from a process focused on options, experience and errors, areas that intervene in the process of problem recognition in its early stages of development, the first principle of high reliability organizations[20]. Given the evidence of possible mental health effects on health professionals during the pandemic, various institutions and organizations have implemented strategies to address these types of problems[21]. An intervention based on mobile devices was implemented in Spain, aimed at preventing and mitigating the most common problems in this situation[22]. The results of this specific evaluation did not show a significant impact of the intervention, so it is particularly relevant to complement this type of evidence with the assessments made by the target groups. There are some limitations in this study due to the low response rate, and although the reasons for the non-participation of the rest of the people invited to participate are unknown, the time lapse between the confinement period and the conclusion of the research may explain this. However, the heterogeneity of the sample characteristics and of the open-ended question comments do not suggest a selection bias. In conclusion, we evaluated the implementation of a biopsychosocial support system for primary care health professionals affected by COVID-19 applied in the early stages of the pandemic. The professionals have perceived the system as useful, since the number of scores is in the high range of the scale; however, they recognize some aspects needing improvement. There was variability in the responses which was due to the different expectations of professionals, the different adaptations that occurred as knowledge about the virus increased, and the understanding of the difficulty of the scenario where they were all working.

INTRODUCCIÓN

La COVID-19 es una enfermedad emergente que, el 18 de marzo de 2021, ha afectado globalmente a 120 millones de personas y ya ha causado 2,6 millones de muertes desde el inicio de la pandemia[1]. Los trabajadores sanitarios constituyeron la primera línea de respuesta al brote y, por lo tanto, estuvieron expuestos tanto ellos como sus familias a un riesgo sin precedentes. De acuerdo con la Organización Mundial de la Salud (OMS), los datos de muchos países indican que el número de infecciones por el SARS-CoV-2 entre los trabajadores de la salud es mucho mayor que entre la población general y miles de trabajadores sanitarios infectados por este virus han perdido la vida en todo el mundo[2]. El último informe sobre profesionales sanitarios en España, publicado por la Red Nacional de Vigilancia Epidemiológica el 21 de mayo de 2020, notificaba 40.921 casos de la COVID-19[3]. Los informes posteriores sobre la situación general en el país muestran que la enfermedad en personal sanitario ha seguido apareciendo, habiéndose notificado, el 14 de julio de 2021, 82.690 casos[4]. Sin embargo, los datos de seroprevalencia apuntan a prevalencias mayores en personal sanitario: un 10,3% de una muestra de profesionales de atención primaria y hospitalaria de la región Metropolitana norte de Barcelona fue positiva para anti-SARS-CoV-2 IgG, sin observarse diferencias entre el personal de primaria y el hospitalario[5]. Asimismo, tal y como mostró el brote de SARS-1 de 2003, los profesionales de la salud están expuestos no solo al virus, sino también a numerosos elementos estresantes, como, por ejemplo, elevadas cargas de trabajo, estrés, fatiga, agotamiento y estigma. A este conjunto de amenazas se añade el hecho de que el aislamiento doméstico de casos sospechosos de SARS-CoV-2 y sus contactos sea una de las principales intervenciones no farmacológicas para mitigar e incluso suprimir su expansión, constituyendo un elemento predictor de trastornos por estrés postraumático[6]. Ante la primera aparición de un contacto de un profesional sanitario con un paciente positivo en SARS-CoV-2 y la consiguiente prescripción de su aislamiento, la dirección de Atención Primaria del área sanitaria Metropolitana Nord de Barcelona (España) –área sanitaria que presta servicio a 1.448.812 ciudadanos de 70 municipios de la provincia de Barcelona, y que cuenta con una plantilla de más de 4.500 profesionales– puso en marcha un circuito de atención telefónica dirigido a todos los profesionales a los que les fue prescrito un confinamiento domiciliario entre el 17 de febrero y el 31 de mayo de 2020, período correspondiente a la primera ola de la epidemia. Considerando la información disponible en aquel momento sobre la evolución de la enfermedad, se dotó al circuito de una orientación “biopsicosocial”, ya que pretendía hacer un seguimiento de la evolución clínica de los profesionales que presentaban síntomas en algún momento del seguimiento, además de ofrecer recomendaciones y apoyo en cuestiones psicosociales relacionadas con las circunstancias del aislamiento, tanto si se habían desarrollado síntomas como si el aislamiento era por contacto con pacientes positivos. El equipo de seguimiento era interdisciplinar, formado por 16 profesionales de enfermería, 5 de medicina de familia, 1 de psiquiatría, 5 de psicología, y 1 de trabajo social, bajo la dirección de la Unidad de Prevención, responsable de la Salud Laboral de la organización. El seguimiento consistió en llamadas telefónicas para seguimiento del avance de la sintomatología, valoración y respuesta a necesidades psicosociales que pudieran aparecer. El equipo de seguimiento se reunía semanalmente para garantizar criterios de actuación y gestión de casos particulares. La periodicidad que se determinó para la realización de las llamadas fue de 72 horas, aunque quedaba a criterio de los profesionales aumentar la cadencia de llamadas, siendo contabilizadas un total de 10.419. El análisis descriptivo de las características sociodemográficas y clínicas de los profesionales atendidos en este circuito de apoyo se ha publicado recientemente[9]. Ante esto, el objetivo de esta investigación fue conocer cómo los profesionales que tuvieron contacto con pacientes positivos o que manifestaron síntomas de la COVID-19 evaluaron tanto la atención recibida como el funcionamiento del circuito biopsicosocial, así como identificar cuáles fueron las necesidades que se percibieron como deficientemente atendidas, para poder implementar mejoras en el circuito, en caso de que este volviera a ser necesario.

MÉTODOS

Diseño

Estudio observacional, descriptivo y transversal, realizado con los trabajadores de la Dirección de Atención Primaria Metropolitana Nord, en Barcelona, España. El criterio de inclusión fue haber sido confinado en domicilio por sintomatología o contacto con la COVID-19 entre el 11 de marzo y el 31 de mayo de 2020 y haber facilitado al menos un email de contacto durante el período de confinamiento. No se definió ningún criterio de exclusión. Se invitó a participar a los 1.247 profesionales que cumplían los criterios de inclusión, de los que respondieron 398, lo que supone una tasa de respuesta del 32%.

Recogida de Datos

Los datos fueron recogidos por la Unitat de Suport a la Recerca de la Metropolitana Nord del Instituto Catalán de la Salud (ICS), departamento que brinda apoyo profesional y logístico para organizar las iniciativas de investigación que puedan surgir en el territorio. Se distribuyó un cuestionario por correo electrónico a través de una plataforma de gestión de encuestas (Quadro). Este cuestionario permitió obtener la información de las variables de estudio definidas previamente. Las encuestas se realizaron durante el mes de septiembre de 2020.
Quadro

Cuestionario de evaluación del circuito de apoyo a profesionales sanitarios confinados por COVID-19.

Cuestionario de evaluación del circuito de apoyo a profesionales sanitarios confinados por COVID-19.
Como profesional afectado por la COVID-19 ¿recibiste algún tipo de seguimiento telefónico por parte de este circuito mientras estabas confinado?
Respuesta SI: Inicia la encuesta Respuesta NO: Dirige a sugerencias
Valora de 0 (nada satisfactorio) a 3 (muy satisfactorio) los siguientes aspectos de las llamadas de seguimiento:
1) Frecuencia adecuada de las llamadas de seguimiento clínico.
2) Duración de las llamadas telefónicas.
3) Información recibida en las llamadas.
4) Resolución de las dudas planteadas durante las llamadas.
5) Apoyo recibido durante el seguimiento clínico.
Valora de 0 (nada útiles) a 3 (muy útiles) en qué medida las llamadas te han resultado útiles en los siguientes aspectos:
6) Bienestar emocional.
7) Gestiones relacionadas con aspectos laborales.
8) Relaciones familiares.
9) Manejo de síntomas.
Valora de 0 (nada satisfactorio) a 3 (muy satisfactorio) la tarea realizada por los siguientes colectivos implicados en el circuito:
10) Los profesionales que te han llamado para el seguimiento clínico.
11) Unidad de apoyo psicológico.
12) Unidad Básica de Prevención.
13) Circuito de realización de PCR.
14) Equipo directivo de tu centro.
15) Apoyo por parte de la Dirección del Área Sanitaria.
16) Coordinación entre los diferentes agentes implicados.
17) Facilidad para contactar con los profesionales que realizaban el seguimiento, en caso que haya sido necesario.
18) Si tuvieras que poner una nota al servicio de seguimiento en general. Puntúa del 1 al 10 (1 = muy malo, 10 = muy bueno).
19) Tienes alguna sugerencia de mejora o comentario.

Instrumentos

Se elaboró un cuestionario ad hoc siguiendo las recomendaciones de Boynton y Greenhalgh[10] para dotar de validez y fiabilidad los cuestionarios creados. La investigación se llevó a cabo a petición del Departamento de Calidad, por lo que el primer paso fue conocer qué temas se querían explorar. En segundo lugar, se decidió la metodología de recogida de datos más apropiada, por tratarse de cuantificación de medidas generales, y buscando la facilidad y rapidez para su cumplimentación se optó por un cuestionario de 17 preguntas con respuesta en escala numérica de 0 a 3, y una pregunta con respuesta de 1 a 10. Para ampliar los hallazgos se dio la posibilidad de expresarse en una pregunta abierta cuya respuesta se analizó con métodos cualitativos. Se valoró como no recomendable la utilización de un instrumento de medida estandarizado por el contexto particular de pandemia que se vivió por primera vez en un ámbito sanitario determinado, para el cual cualquier cuestionario utilizado en otro contexto perdería su validez. En relación con la apariencia del cuestionario se cuidaron los detalles relativos a fuente y tamaño de la letra y longitud de las preguntas para asegurar una tasa de respuesta elevada. Además, se realizaron 5 entrevistas cognitivas pretest con una muestra de potenciales participantes en el estudio para que evaluaran una primera versión del cuestionario mediante la técnica del think aloud[11]. Se aseguró la validez del cuestionario a través de un procedimiento en el que se dieron instrucciones específicas a 6 jueces expertos a los que se les pidió que evaluaran la Interpretabilidad, Representatividad, Relevancia de los ítems puntuando de 1 a 4 cada uno de ellos, previa información sobre el propósito del cuestionario. También se alentó a los expertos a compartir comentarios sobre la redacción de los elementos y las opciones de respuesta, sugerencias de revisión, número y orden de los elementos, textos de instrucciones, elementos faltantes, titulares y diseño[12]. El Índice de Validez de Contenido para los Ítems finales (I-IVC) de respuesta cerrada, con 6 jueces expertos fue superior a 0,78 en todos los ítems. El α de Cronbach para los elementos de respuesta cerrada fue de 0,93.

Análisis de Datos

Se realizó un análisis descriptivo de los datos cuantitativos que presentan las variables categóricas con distribución de frecuencias, y las variables cuantitativas con media, desviación estándar, moda y mediana. Para la comparación de medias se utilizó la prueba t de Student y ANOVA, y se consideró significativo todo valor de p < 0,05. Se utilizó el paquete SPSS, versión 25. Mediante el programa ATLAS.ti 8.4, las respuestas a las preguntas abiertas se sometieron a un análisis de contenido temático sumativo, que involucra la codificación y el conteo de las respuestas con base en una matriz de códigos preestablecida e interpretación del significado latente de este contenido a partir de los contextos de uso y coocurrencias de los códigos[13]. Los análisis cuantitativo y cualitativo se llevaron a cabo de manera secuencial y explicativa, orientando el análisis cualitativo a la comprensión de los resultados cuantitativos.

Consideraciones Éticas

La primera pregunta del cuestionario estuvo relacionada con el consentimiento informado, y si el participante lo aceptaba, podría continuar la encuesta. La participación fue voluntaria y se garantizó el anonimato desactivando la posibilidad de seguimiento de las respuestas, además de no solicitar datos que permitieran conocer la identidad del participante. El estudio fue aprobado por el Comité de Ética de Investigación Clínica del IDIAPJGol (Código 20/209-PCV).

RESULTADOS

El enlace de la encuesta se envió a 1.247 personas, de las cuales 398 iniciaron la encuesta. En la primera pregunta 60 participantes contestaron no recordar haber recibido el apoyo que se estaba evaluando, por lo que la encuesta les dirigió a la pregunta abierta de comentarios y sugerencias, y 22 de ellos escribieron comentarios en ella. De los 338 participantes restantes que sí recordaban haber recibido el apoyo telefónico, 286 finalizaron la encuesta completa.

Datos Sociodemográficos

La muestra tuvo mayor predominio femenino (81,8%). La edad media fue de 47 años con una desviación estándar de 10,4, la edad mínima 22 años y la máxima 65. Otras características sociodemográficas se describen en la Tabla 1.
Tabla 1

Características sociodemográficas.

n = 286No
Pertenece a un grupo vulnerable88 (30,8%)198 (69,2%)
Convive con personas vulnerables98 (34,3%)188 (65,7%)
Convive con niños166 (41,9%)120 (58%)
Fue diagnosticado de COVID-19 por PCR127 (44,4%)159 (55,6%)
Conoce el origen del contagio63 (46%)74 (54%)

PCR: polymerase chain reaction.

PCR: polymerase chain reaction. El cuestionario fue contestado por enfermeras y médicos en el 63% y el resto por diferentes colectivos profesionales. La Tabla 2 muestra la distribución de los participantes según su profesión.
Tabla 2

Distribución de la muestra según su profesión (n = 286).

Profesiónn (%)
Enfermera/o102 (35,7%)
Médica/o80 (28%)
Gestión y servicios49 (17,1%)
Técnico cuidados auxiliares de enfermería24 (8,4%)
Trabajo social7 (2,4%)
Odontología6 (2,1%)
Técnico de gestión4 (1,4%)
Comadrona2 (0,7%)
Fisioterapeuta1 (0,3%)
Otras profesiones11 (3,8%)

Resultados de la Evaluación Cuantitativa

La puntuación global media que obtuvo el circuito fue un 6,54, siendo la peor puntuación posible el 0 y la mejor posible un 10. La moda se situó en el valor 8, y la mediana en el 7. La Tabla 3 muestra la puntuación obtenida por cada uno de los ítems en una escala de 0 a 3, observando que las puntuaciones más altas las obtienen los ítems relacionados con los aspectos formales de las llamadas, y la puntuación más baja la obtiene la unidad de apoyo psicológico.
Tabla 3

Evaluación del circuito.

 MediaaDEModaa
Aspectos relacionados con las llamadas   
Frecuencia adecuada2,110,893
Duración de las llamadas2,370,733
Información recibida2,160,863
Resolución de las dudas2,110,883
Apoyo recibido2,150,933
Utilidad de las llamadas   
Bienestar emocional1,910,983
Gestiones laborales1,881,023
Relaciones familiares1,731,062
Manejo de síntomas2,000,963
Valoración por colectivos   
Identificación2,760,563
Profesionales de seguimiento2,340,783
Unidad de Apoyo Psicológico0,701,110
Unidad Básica de Prevención1,641,213
Circuito de realización de PCR1,661,183
Equipo directivo del centro2,151,023
Apoyo de la dirección general1,441,120
Coordinación y gestión   
Coordinación de colectivos1,470,951
Facilidad de contacto1,611,101/3

DE: desviación estándar.

a 0 es la mínima valoración posible y 3 la máxima valoración posible.

DE: desviación estándar. a 0 es la mínima valoración posible y 3 la máxima valoración posible. Se realizó T test para comparar la media global obtenida según género, pertinencia a un grupo vulnerable, convivencia con personas vulnerables, tener hijos o no, resultado de la PCR, ser profesional de ciencias de la salud o no, y origen del contagio. No se encontraron diferencias significativas en ninguno de los casos. La Tabla 4 muestra los estadísticos de estas comparaciones de medias.
Tabla 4

Comparación por grupos de la puntuación global.

 MediaDEtaSig
Género
Hombre6,882,491,110,27
Mujer6,472,41  
Pertinencia a grupo vulnerable
No6,582,360,370,71
6,472,59  
Convivencia con personas vulnerables
No6,482,35-0,640,52
6,672,57  
Hijos
No6,772,361,810,07
6,242,49  
Resultado PCR
Negativo6,502,50-0,800,42
Positivo6,742,34  
Profesión ciencias de la salud
No6,822,281,110,27
6,452,47  
Origen del contagioFb 
Paciente6,452,380,850,43
Comunitario7,422,11  
Desconocido6,742,38  

DE: desviación estándar.

a Teste t de Student.

b Teste F.

DE: desviación estándar. a Teste t de Student. b Teste F. Se analizó con más detalle el resultado obtenido en la evaluación por la unidad de apoyo psicológico, ya que obtuvo una puntuación muy baja. Se realizaron análisis bivariados con todas las variables sociodemográficas y laborales, no encontrando ninguna asociación significativa.

Resultados del Análisis de Contenido de las Respuestas a la Pregunta Abierta

Un total de 109 personas (27,4%) respondieron a la pregunta “Si tiene alguna sugerencia de mejora o comentario, lo puede escribir aquí” que se formuló a todos los participantes. El análisis del contenido manifiesto de las respuestas, codificadas a partir de las tres dimensiones del enfoque bio-psico-social, mostró que la mayoría de los comentarios (n = 61) hicieron referencia a aspectos organizativos (dimensión social), seguidos de aquellos referidos a cuestiones psicológicas (dimensión psicológica; n = 22) y, finalmente, a temas relativos al manejo de síntomas (dimensión biológica; n = 10).

Dimensión social

A pesar del enfoque deductivo del análisis, categorizando los datos en las tres dimensiones de la orientación biopsicosocial, el análisis del contexto en el que se hacían los comentarios y sus coocurrencias mostró cómo se entrelazaban comentarios referidos a la vivencia más psicológica (“me sentí muy sola”) y del proceso biológico de la enfermedad (“estuve 11 días con fiebre”), con explicaciones de acciones u omisiones concretas a nivel de la gestión socio-organizativa de la situación (“reclamar la realización de la PCR”): Durante mi enfermedad me sentí muy sola, tuve que llamar yo para reclamar la realización de la PCR, tanto al inicio del cuadro como la de preincorporación. Estuve 11 días con fiebre y no recibí ni una llamada de seguimiento, fui yo quien decidió hacerme una Rx de Tórax, gestionarla, revisarla y ver que había una pneumonía, hablar con un médico internista, quien me prescribió medicación. No me sentí apoyada en ningún momento. Me gustaría que no se volviera a repetir una vivencia como esta. (43:2) Como en este comentario, los profesionales ubicaban su experiencia del aislamiento en un lugar u otro del continuo acompañamiento-soledad como efecto de una combinación de diversas prácticas concretas, vinculadas muchas veces a la resolución de aspectos formales, que tuvieron lugar o no durante el seguimiento (por ejemplo, la realización de pruebas diagnósticas). En la primera parte del proceso vivido, mi percepción fue de abandono total y la no realización de PCR hasta que ingresé en el hospital con una pneumonía después de 15 días de iniciar mi confinamiento. Una vez dado de alta, sí, me sentí muy reconfortado por las llamadas de la Dra. M. Me sirvió mucho de apoyo psicológico y emocional. Le estoy muy agradecido. A la UPR, un cero. (88:3)

Dimensión psicológica

En este extracto se constata la vinculación entre la percepción de soledad y algunas de las fragilidades del circuito, especialmente en su inicio (la realización de PCR y el papel de la Unidad Básica de Prevención –en esta cita “UPR”–). Sin embargo, también se contrapone a esta soledad el papel del apoyo psicológico. La “Dra. M” pertenece a la Unidad de Apoyo Psicológico, que se activaba en casos puntuales. Hay pocas referencias explícitas al “apoyo psicológico” (n = 5) en el conjunto de respuestas abiertas y todas, excepto esta muestra de agradecimiento, son peticiones expresas de ampliar o integrar (n = 4) este tipo de servicio. Por consiguiente, parece pertinente establecer una distinción entre las valoraciones de la unidad de apoyo psicológico y la percepción de sentirse acompañada emocionalmente como consecuencia de ser atendido en el marco de este circuito de seguimiento.

Dimensión biológica

Tal y como se apunta más arriba, el valor del circuito en tanto “apoyo emocional” no se puede atribuir exclusivamente al desempeño de la Unidad de Apoyo Psicológico, sino parece emerger más bien como efecto de una combinación de diversas prácticas concretas que tuvieron lugar o no durante el seguimiento, incluyendo aquellas referidas al manejo de síntomas y “autocontrol de la enfermedad” como se detalla en el siguiente extracto. Valoro imprescindible el acompañamiento, por el soporte sobre los síntomas y las incertidumbres, sobretodo al principio de la pandemia, que es cuando yo me infecté. De mi proceso, además, destacaría el apoyo emocional recibido, no lo esperaba y lo encontré y lo agradecí. Somos “pacientes” pero a la vez profesionales de la salud, hecho que ayuda al autocontrol de la enfermedad pero, a la vez, también a anticiparse. (106:4)

DISCUSIÓN

Los indicadores de proceso y resultado de los servicios sanitarios tienen un papel crucial en la satisfacción de los pacientes[14]. En esta línea, la intervención implementada estaría en la línea de un Walkround, práctica común asociada con la seguridad del paciente, en que la retroalimentación es una intervención potente[15]. Esta investigación pone de manifiesto la capacidad de respuesta del sistema sanitario ante una crisis provocada por la pandemia de la COVID-19 que colocó al sistema sanitario en una situación de estrés sin precedentes, y que se tuvo que dar respuesta a los profesionales sanitarios en su rol de pacientes. Los profesionales afectados valoraron la respuesta como satisfactoria al puntuar la intervención de manera global con un 6.54. La evaluación realizada se diseñó meticulosamente asegurando que las preguntas no contuvieran sesgos de interpretación y que los contenidos fueran los que realmente se pretendieron evaluar. El análisis de los datos, en el que ninguna variable fue predictora de los resultados, pone de manifiesto que los participantes respondieron al cuestionario dejando de lado las situaciones sociales y emocionales que les pudieran afectar. Por último, las características de los participantes fueron muy similares a las del total de confinados, como muestran los resultados de edad media de 47 años (45 en el total de profesionales confinados) y el elevado porcentaje de mujeres el 81,8% (78,8% en el total de profesionales confinados)[9]. Los aspectos formales de las llamadas fueron evaluados de manera positiva, situándose en la parte alta una categorización de las respuestas. Un aspecto importante en la implementación del circuito fue su vocación biopsicosocial, que se puede evaluar como conseguida, ya que las puntuaciones de la sección “utilidad de las llamadas” se encuentran en la parte alta. Los resultados cualitativos demuestran que, en efecto, existen diferentes concepciones de la utilidad que este tipo de seguimiento debe tener y que, cuando no se aprecia esta triple vertiente, el circuito pierde valor. Se pueden plantear diferentes hipótesis para explicar este efecto a la luz de los resultados y la literatura relacionada. Por ejemplo, si la preponderancia se encuentra en los aspectos laborales, se puede balancear la percepción hacia una intervención de presión y control de recursos humanos, y no de apoyo[16]. Por otro lado, un circuito demasiado centrado en los aspectos clínicos puede no ser bien recibido por profesionales sanitarios a los que se les supone un cierto bagaje en este campo. Por último, de manera análoga, un seguimiento estrictamente psicológico puede ser rechazado por un colectivo en el que, paradójicamente, existe una considerable estigmatización de los problemas de salud mental[17]. Considerando que la literatura evidencia que una proporción considerable de trabajadores sanitarios han experimentado trastornos del sueño y del estado de ánimo durante la pandemia[18], que los daños morales y el desarrollo de enfermedades mentales son riesgos reales cuando se trabaja en escenarios sin precedentes como este, el presente estudio incide en que se deberá trabajar de manera proactiva para evitar que las consecuencias psicológicas de la pandemia en el personal sanitario sean dramáticas[19]. La evaluación de los diferentes colectivos que participaron en el circuito arrojó puntuaciones heterogéneas, y entre ellas destacó la muy baja puntuación que obtuvo la Unidad de Apoyo Psicológico del que el análisis cuantitativo no pudo encontrar predictores que lo explicaran. Sin embargo, los resultados del análisis de las respuestas abiertas permiten elaborar algunas explicaciones plausibles. Por un lado, el trabajo de la Unidad de Apoyo Psicológico no se valora negativamente, sino más bien se critica que no tuviera más presencia. Además, se desprende de los datos que la percepción de apoyo o acompañamiento emocional va más allá del trabajo de esta Unidad y emerge como resultado de una suma de pequeñas acciones, muchas veces vinculadas con la gestión, la información y la coordinación, facilitando una atención personalizada y más empática. En este sentido, la puntuación obtenida en la coordinación de los diferentes colectivos implicados se encuentra por debajo del punto medio. Además, tal y como expresan los comentarios de los participantes, la situación sobrevenida les hace ser comprensivos hacia esta falta de coordinación y la dificultad de la implementación de cualquier iniciativa, lo cual les puede haber hecho ser benevolentes en sus puntuaciones. Las evidencias obtenidas permiten elaborar una explicación que convierte lo desconocido en conocido, construida a partir de un proceso enfocado en opciones, experiencia y errores, áreas que intervienen en el proceso de reconocimiento de problemas en sus primeras etapas de desarrollo, el primer principio de las organizaciones de alta fiabilidad[20]. Ante la evidencia de posibles afectaciones a la salud mental de los profesionales sanitarios durante la pandemia, diversas instituciones y organismos pusieron en marcha estrategias para abordar este tipo de problemáticas[21]. En España, se implementó y evaluó la eficacia de una intervención basada en dispositivos móviles orientada a prevenir y mitigar los problemas de salud mental más comunes en esta situación[22]. Los resultados de esta evaluación en concreto no mostraron un impacto significativo de la intervención, por lo que resulta especialmente pertinente complementar este tipo de evidencia con las valoraciones que hacen los colectivos a las que van dirigidas. Existen algunas limitaciones en este estudio debido a la baja tasa de respuesta, y aunque se desconocen los motivos para la no participación del resto de las personas invitadas a participar, lo que podría explicarse por el lapso de tiempo entre el período de confinamiento y la realización de la encuesta. Sin embargo, la heterogeneidad de las características de la muestra y de los comentarios de la pregunta abierta no parecen mostrar un sesgo de selección. En conclusión, se ha evaluado la implementación de un circuito biopsicosocial de apoyo a profesionales sanitarios de atención primaria afectados por la COVID-19 que se puso en marcha en los primeros momentos de la pandemia. Los profesionales han percibido el circuito como útil, ya que el valor número de puntuaciones se encuentra en los valores altos de la escala, sin embargo, se reconocen algunos aspectos de mejora. Se ha encontrado variabilidad en las respuestas derivada de las diferentes expectativas que pueden tener los profesionales por las diferentes adaptaciones que se fueron llevando a cabo a medida que aumentaba el conocimiento del virus y por la comprensión de la dificultad del escenario en el que se estaba trabajando.
  11 in total

Review 1.  Selecting, designing, and developing your questionnaire.

Authors:  Petra M Boynton; Trisha Greenhalgh
Journal:  BMJ       Date:  2004-05-29

Review 2.  Is the CVI an acceptable indicator of content validity? Appraisal and recommendations.

Authors:  Denise F Polit; Cheryl Tatano Beck; Steven V Owen
Journal:  Res Nurs Health       Date:  2007-08       Impact factor: 2.228

3.  Determinants of patient satisfaction: a study among 39 hospitals in an in-patient setting in Germany.

Authors:  Tonio Schoenfelder; Joerg Klewer; Joachim Kugler
Journal:  Int J Qual Health Care       Date:  2011-06-29       Impact factor: 2.038

4.  The experience of quarantine for individuals affected by SARS in Toronto.

Authors:  Maureen A Cava; Krissa E Fay; Heather J Beanlands; Elizabeth A McCay; Rouleen Wignall
Journal:  Public Health Nurs       Date:  2005 Sep-Oct       Impact factor: 1.462

5.  A Mobile Phone-Based Intervention to Reduce Mental Health Problems in Health Care Workers During the COVID-19 Pandemic (PsyCovidApp): Randomized Controlled Trial.

Authors:  Maria Antònia Fiol-DeRoque; Maria Jesús Serrano-Ripoll; Rafael Jiménez; Rocío Zamanillo-Campos; Aina María Yáñez-Juan; Miquel Bennasar-Veny; Alfonso Leiva; Elena Gervilla; M Esther García-Buades; Mauro García-Toro; Pablo Alonso-Coello; Guadalupe Pastor-Moreno; Isabel Ruiz-Pérez; Carolina Sitges; Javier García-Campayo; Joan Llobera-Cánaves; Ignacio Ricci-Cabello
Journal:  JMIR Mhealth Uhealth       Date:  2021-05-18       Impact factor: 4.773

6.  Prevalence of depression, anxiety, and insomnia among healthcare workers during the COVID-19 pandemic: A systematic review and meta-analysis.

Authors:  Sofia Pappa; Vasiliki Ntella; Timoleon Giannakas; Vassilis G Giannakoulis; Eleni Papoutsi; Paraskevi Katsaounou
Journal:  Brain Behav Immun       Date:  2020-05-08       Impact factor: 7.217

7.  What should be done to support the mental health of healthcare staff treating COVID-19 patients?

Authors:  Derek K Tracy; Mark Tarn; Rod Eldridge; Joanne Cooke; James D F Calder; Neil Greenberg
Journal:  Br J Psychiatry       Date:  2020-10       Impact factor: 9.319

8.  Seroprevalence of SARS-CoV-2 IgG specific antibodies among healthcare workers in the Northern Metropolitan Area of Barcelona, Spain, after the first pandemic wave.

Authors:  Jaume Barallat; Gema Fernández-Rivas; Bibiana Quirant-Sánchez; Victoria González; Maria Doladé; Eva Martinez-Caceres; Monica Piña; Joan Matllo; Oriol Estrada; Ignacio Blanco
Journal:  PLoS One       Date:  2020-12-28       Impact factor: 3.240

9.  SARS control and psychological effects of quarantine, Toronto, Canada.

Authors:  Laura Hawryluck; Wayne L Gold; Susan Robinson; Stephen Pogorski; Sandro Galea; Rima Styra
Journal:  Emerg Infect Dis       Date:  2004-07       Impact factor: 6.883

10.  Providing feedback following Leadership WalkRounds is associated with better patient safety culture, higher employee engagement and lower burnout.

Authors:  J Bryan Sexton; Kathryn C Adair; Michael W Leonard; Terri Christensen Frankel; Joshua Proulx; Sam R Watson; Brooke Magnus; Brittany Bogan; Maleek Jamal; Rene Schwendimann; Allan S Frankel
Journal:  BMJ Qual Saf       Date:  2017-10-09       Impact factor: 7.418

View more

北京卡尤迪生物科技股份有限公司 © 2022-2023.