Usability in the admission monitoring system of an emergency room.

OBJECTIVE: To develop and evaluate the usability of the admission monitoring system in an emergency room.
METHODS: This applied research intends to develop a software product and evaluate its usability. The development followed four stages: systematic review, structuring of the system framework, construction of system forms, and evaluation of the information generated. In the evaluation, the experts simulated the use of the system by inserting data from a fictitious medical record. We measured usability using the System Usability Scale (SUS). Scores and scores were calculated individually and globally. We propose these evaluation standards: worst case scenario, poor, average, good, excellent, and best-case scenario.
RESULTS: The Sistema de Informação e Monitoramento das Internações em Pronto-Socorro (SIMIPS - Information and Monitoring System for Emergency Room Admissions) monitors the epidemiological profile of admissions to the emergency room, time management, clinical deterioration, incidence of adverse events, and human resource management. The usability of SIMIPS, evaluated by 17 experts, reached the SUS Score 86.5 (best case scenario), and some suggestions for modifications were accepted.
CONCLUSIONS: We consider SIMIPS an easy-to-use tool, with real importance in the management of emergencies in view of overcrowding and congestion problems faced in Brazil.

INTRODUCTION

The overcrowding in emergency room (ER) has become a global problem that affects health systems and patient safety[1,2]. The main cause of this problem is known as hospitalization in the ER or boarding[2], being the patient remaining in the sector due to lack of hospital beds, after the decision to admit the patient[5].

Patients “on boarding” do not receive the necessary care they would receive in the wards. Therefore, they remain vulnerable[4,10], and may suffer adverse events, such as delayed administration of medication[6,11,12] and increased mortality[13,14]

Patients who spend more time in emergency rooms are those who need beds in the medical clinic and/or those who need more advanced care technologies given the high degree of dependence, directly reflecting in the increase of hospital stay and, consequently, in costs[9].

The Federal Court of Auditors reported in the “Assistência hospitalar no Sistema Único de Saúde (SUS)” (Hospital care in the Unified Health System (SUS)), that Brazil has overcrowded public hospital services. In hospitals, patients are admitted in the emergency room corridors, on stretchers, chairs, or benches. According to the document, 64% of emergency hospitals were permanently overcrowded, 19% were often overcrowded, 10% were rarely overcrowded and only 6% of hospitals were never overcrowded[15].

The same phenomenon occurs in Unidades de Pronto Atendimento (UPA - Emergency Care Units), where the frequent hospitalizations of patients represent a distortion of the purpose and possibilities of care for these services[16].

When hospitalized in these overcrowded units, patients wait for beds, whereby monitor time, prioritization of cases, distribution of care, and assistance risks come across. So we must have a monitoring hospitalization system, for quantitatively and qualitatively evaluation. This study intends to monitor each hospitalization completely, in a clear, fast, and accessible way.

In this scenario, information technology (IT) is a great ally in the health area, seeking new strategies and practical solutions to care and management problems through multiple analyzes of collected data[17] and using various tools that support the structuring and organization of data and information with reliability, completeness, and accuracy. This facilitates real-time and/or remote storage, processing, access, and sharing, either by the various professionals involved in care, or by the patient/user[18].

Studies show that the proper use of technological resources in health can contribute to increase the prevention of chronic diseases, reduce risk factors and improve quality and life expectancy, in addition to reducing the need for medical care and associated costs, benefiting the entire health system[19].

The use of Sistemas de Informação em Saúde (SIS - Health Information Systems) in public health management, such as the Sistema de Informação Hospitalar (SIH/SUS - Hospital Information System), confirms its relevance for epidemiological surveillance, whether in the diagnosis of the situation, or in the assessment of actions and impact of public policies on the health status of the population[20].

The current report “Síntese de evidências para políticas de saúde” (“Synthesis of evidence for health policies”), published by the Ministry of Health of Brazil[21], reinforces the use of technologies as a systemic management option to avoid congestion and overcrowding in emergency rooms.

Therefore, we intend to develop and evaluate the usability of a monitoring system for hospital admissions in the emergency room. We assume that this tool can contribute to the processes of improving the quality of care and safety of hospitalized patients and generate management reports that support the development of effective strategies in order to mitigate and deal with problems.

METHODS

This is an applied research, with the development of the Sistema de Informação e Monitoramento das Internações em Pronto-Socorro (SIMIPS), on behalf of the Instituto Nacional da Propriedade Industrial National Institute of Industrial Property (INPI - National Institute of Industrial Property) BR512019002197-5. Specialist nurses evaluated the usability, with a predominantly quantitative approach to data. The project was approved by the ethics committee CAAE 17039019.1.0000.5546, opinion 4.168.891.

System Development

The software construction process followed four steps: 1st) Elaboration of a systematic review with applied research registered in electronic databases (PUBMED, SCOPUS, CINAHAL, Web of Science) to gather evidence on hospitalization in the emergency room (boarding); 2nd) Structuring the system framework; 3rd) Construction of system forms; 4th) Evaluation of the information generated by the system with crossing information reports

The software development followed the model proposed by Sommerville[22], using a systematic approach based on the principle of four fundamental activities: Specification; Development; Software Validation, and Evolution.

We used the MVC architecture (Model, View, and Controller) pattern, which allows the project to be worked in layers, facilitating maintenance since the layers have well-defined roles. The Personal Home Page (PHP) programming language generated dynamic content and handled Structured Query Language the database (SQL). Application fields AD 02 and SD 01 and programs GI01 – Information Manager were used; GI04 – Report generator; IA01 - Artificial intelligence; IA02 – Expert Systems.

Usability Assessment

The System Usability Scale (SUS) carried out the usability evaluation of the system, mainly proposed for the evaluation of two web application aspects, learning capacity and usability[23]. We generated Portuguese questionnaires using the Free, Multilingual System Usability Scale Questionnaire Generator, resulting in the following questions.

I would use SIMIPS often;

I think SIMIPS is unnecessarily complex;

I think SIMIPS is easy to use;

I think I would need technical support to be able to use SIMIPS;

I think that the various functions of SIMIPS are very well integrated;

I think SIMIPS is inconstant;

I imagine most people would learn to use SIMIPS a lot quickly

I think SIMIPS is quite uncomfortable to use;

I felt very confident using SIMIPS;

I need to learn a lot of things before I could use SIMIPS.

The SUS questionnaire mixed positive (odd questions) and negative (even questions) items. In each question, the evaluator expressed the magnitude of their agreement, using a 5-point Likert scale with statements going to disagree strongly (1) to fully agree (5).

Researchers added one more objective question, which was excluded from the SUS score because it was not part of the original: Question 11. Is SIMIPS a tool that facilitates ER management? And one more free open question: Question 12. Do you have suggestions to improve SIMIPS?

The selection of evaluators took into account the scores in at least two criteria, focusing on the care and management areas of the emergency room and/or patient safety and/or hospital quality. We observed the following criteria: being a nurse, master, or PhD with a thesis or dissertation in the areas; being the author/co-author of a scientific article in a peer-reviewed journal; participate/or have participated in research groups/projects; have at least one year of experience in care or management practice; have at least one year teaching experience in care or management practice.

Nurses were considered key professionals to use this system, as they are constantly feeding the information systems in emergency rooms and managing patient flows.

The selection of evaluators was carried out browsing in the Plataforma Lattes (Lattes Platform), on behalf of the Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq - National Council for Scientific, and Technological Development) (Currículo Lattes e Diretório de Grupos de Pesquisa/ Lattes Curriculum and Directory of Research Groups) and snowball sampling. The evaluators were contacted via e-mail, receiving an invitation letter in June 2020. After formal acceptance with digital signature of the Informed Consent Term (TCLE), they were registered in SIMIPS in the User role Administrator. Invitations were sent weekly up to three times, following a reminder and the deadline for the complete return of the evaluation, ending on August 31, 2020.

All participants received a written tutorial on using the system and the medical record of a fictitious patient to register in the system and monitor. The objective was to simulate the system power supply as close to reality, soon after the evaluators answered the SIMIPS questionnaire on usability.

The evaluators were named with the letter J, followed by a numerical sequence, and the SUS questionnaire questions, named with the letter Q followed by the numerical sequence.

Quantitative data were tabulated and analyzed using the Microsoft Excel® program. Numerical variables were expressed as a measure of central tendency (mean and median) and a measure of dispersion (standard deviation). We considered categorical variables, in absolute and relative frequencies.

The individual SUS score was calculated according to Brooke[23] in which, for odd items, the individual score is the grade received minus 1 and, for even items, the score is obtained after subtracting 5 from the grade received. Finally, multiply the sum of all scores by 2.5. The total SUS score was calculated by obtaining the mean score for each item and multiplying the sum of all scores by 2.5.

After calculating the total SUS score, the system was classified as follows: from 13 to 20.5 (worst case scenario); from 21 to 38.5 (poor); 39 to 52.5 (average); from 53 to 73.5 (good); from 74 to 85.5 (excellent); and from 86 to 100 (best case scenario)[24].

RESULTS

The literature review showed us that hospitalization in the ER could cause a reduction in the quality of care and omission of care[6,12], increased mortality and increased length of hospital stay[25,26], vulnerability to the occurrence of adverse events[5,7,11,12,14], reduced quality and safety of nursing care provided to the patient[13,27] and could negatively contribute to the psychosocial experiences of nurses[27].

Therefore, we incorporated literature information related and complementary to the findings regarding to:

Entry information: patient registration information;

Initial assessment: Risk classification data, initial medical assessment, past health history anamnesis, Charlson Index (ICC), and Degree of Dependence on Nursing Care (GDCE) classification by the Patient Classification System (SCP), proposed by Perroca and Gaidzinski[28];

Monitoring of patient movements: Data on intra-hospital transfers (inpatient areas or care escalation within the emergency room) and departures (discharge, death, extra-hospital transfer, and evasion);

Management data: Data on the occupancy rate of the emergency room and inpatient sectors, in addition to the length of stay in the ER (from reception to risk classification, duration of risk classification, from this classification to the first service, then until the decision for admission, the length of stay within the ER, the length of stay in the clinics and the total length of stay);

Ongoing evaluation: Data on GDCE and National Early Warning Score (NEWS)[29];

Adverse Event Monitoring: Adverse Event Identification (AE) is done by trackers, identified by the Institute for Healthcare Improvement[30] they are categorized by the National Coordinating Council for Medication Error Reporting and Prevention (NCC MERP) scale[31];

Management reports: information, presented through tables, in which it is possible to obtain the individual patient report, the general report by time period, general report of hospitalization times, and total hospitalization time, obtained through graphs with the crossing of the variables AE versus Patient, AE versus ICC, AE versus SCP, AE versus NEWS, AE versus ER hospitalizations, AE versus Total hospitalizations, AE versus Deaths, AE versus Readmissions, Death versus ER hospitalizations, Deaths versus readmissions, Rate of occupation of the ER versus AE.

This version of the system was designed so that the data are fed in a secondary way by a professional from the assistance and management of the emergency room, and the framework of the system was built in subdivisions of sections, subsections, and information sheets. Figure 1 shows the SIMIPS framework.

Figure 1

SIMIPS framework.

SIMIPS has a responsive technology that adapts the layout to the size of the device used (mobile phone, tablet or desktop) to the system be easily loaded. Figure 2 shows the home screen layout in desktop and mobile formats.

Figure 2

Layout in desktop and mobile formats.

With the information inserted in the system, it is possible to carry out comprehensive monitoring of the epidemiological profile of emergency room admissions, the management of time within the unit during hospitalization, the escalation of the hospitalized patient as a result of clinical deterioration, the incidence and severity of events adverse effects, besides favoring a nursing dimension that is adequate to the care needs of inpatients. All this information can be seen in the form of graphs with crossings of covariates in the reports section. Figure 3 shows some of the reports that can be generated by SIMIPS.

Figure 3

Examples of reports generated by SIMIPS (Information and Monitoring System for Emergency Room Admissions).

We invited 43 evaluators who met the eligibility criteria and agreed to participate in the survey 17 in order to measure the usability of the system. They all completed the evaluation within the established deadline.

In the individual assessment, 59% (n = 10) rated SIMIPS as best case scenario, 35% (n = 6) rated it as excellent and 6% (n = 1) as good. Then we calculated the final score with the average of all results and obtained a score of 86.5, classifying the software as the best case scenario.

The characterization of the evaluators and the classification by the usability questionnaire are described in Table 1. The values assigned to each question in the questionnaire are shown in Table 2. We added question 11 (Q11) to the table given the researchers demands.

Table 1

Characterization of the evaluators that managed the Information System and Monitoring of Hospitalizations in Emergency Room and Classification by the Usability Questionnaire (n = 17).

Age (years)
Mean (DP)	34 (7)
Median (Min-Max)	36 (26–53)
Sex	n (%)
Female	13 (76%)
Male	4 (24%)
Title	n (%)
Master	8 (47%)
PhD	4 (24%)
Specialist	5 (30%)
Professional profile	n (%)
Teacher	4 (29%)
Assistant	11 (65%)
Teacher/Assistant	2 (11%)
Score (criteria)	n (%)
2	6 (35%)
3	3 (18%)
4	4 (24%)
5	2 (11%)
6	1 (6%)
7	1 (6%)
Classification	n (%)
86 to 100 (best case scenario)	10 (59%)
74 to 85.5 (excellent)	6 (35%)
53 to 73.5 (good)	1 (6%)
39 to 52.5 (average)	0
21 to 38.5 (poor)	0
20.5 (worst case scenario)	0
General classification	Score sus total
	86,5 (best case scenario)

Table 2

Individual distribution of responses to the Usability Questionnaire.

JUDGE	Q1	Q2	Q3	Q4	Q5	Q6	Q7	Q8	Q9	Q10	Q11
J1	5	1	4	2	4	1	5	1	4	1	5
J2	5	1	5	2	5	2	5	1	5	1	5
J3	5	1	5	1	5	2	4	1	5	1	5
J4	5	2	5	3	4	2	5	2	4	1	5
J5	5	1	4	2	4	1	5	1	4	1	5
J6	5	1	5	4	4	1	5	1	5	1	5
J7	5	2	4	1	5	1	5	1	5	1	5
J8	4	1	4	2	4	2	4	5	5	1	4
J9	5	1	5	2	5	1	5	1	5	2	5
J10	5	2	4	1	4	1	5	2	4	2	5
J11	5	1	5	1	4	1	3	2	4	1	5
J12	4	1	2	1	4	2	4	2	4	1	5
J13	5	2	4	4	5	1	5	2	4	3	5
J14	4	3	3	2	5	2	2	1	4	3	4
J15	4	2	4	3	5	1	3	3	5	1	5
J16	5	1	5	2	5	1	5	1	5	1	5
J17	5	1	5	2	5	2	5	1	5	1	5

In Q11, we asked whether SIMIPS is a tool that facilitates the management of the ER, the answers were I totally agree (n = 15) and partially agree (n = 2).

In response to the last question, we got suggestions for improvements to SIMIPS related to: 1) making the layout more attractive; 2) integrate the hospital information system to facilitate the filling in of information such as vital signs, socioeconomic data, movements, and length of stay whenever possible; 3) to insert an autocomplete filter for CID 10; 4) Insert the option to preview the completed form, before saving, and insert the option “edit” and 5) Put on the home page the list with the names of patients hospitalized at the time, instead of the occupancy rate x events graph adverse effects.

DISCUSSION

The Sistemas de Informação em Saúde (SIS) are intended to help improve the quality of care provided to patients and health professionals, as well as health management through the analysis of costs, benefits, and the reduction of medical errors[32].

So SIMIPS was conceived as a local (institutional) information system, but with the possibility of being integrated with other local information systems, generating regional databases. Moreover, it generates reports that can be inserted into local and regional information banks and national.

An implicit assumption in the development of a Hospital Information System is the ability to provide complete, accurate, and timely data, so that the professional can perform their task with higher quality at a better cost/benefit ratio[17].

SIMIPS had its usability evaluated by nurses with a predominance of masters (n = 8), working in emergency care (n = 11), and who met more than 2 inclusion criteria (n = 11), demonstrating scientific capacity and technique of the recruited evaluators.

The SUS questionnaire assessed the usability of SIMIPS through user perception, being classified as best case scenario (score 85.6) in the total assessment and not obtaining any negative assessment (average, poor, and worst case scenario).

When analyzing the users’ responses in the two factors listed by SUS, usability (questions 1, 2, 3, 5, 6, 7, 8, and 9) and learning (questions 4 and 10), we observed in the negative questions 2, 6 and 8, a predominance of strongly disagree and partially disagree responses (Q2 n = 16, Q6 n = 17 and Q8 n = 15). Only one user strongly agreed that SIMIPS would be very uncomfortable to use. In the positive usability questions (1, 3, 5, 7 and 9) there was a predominance of the answers I fully agree and partially agree (Q1 n = 17, Q3 n = 15, Q5 n = 17, Q7 n = 14, Q9 n = 17).

The answers strongly agree and partially agree also predominated (Q4 n = 13 and Q10 n = 15), denoting that SIMIPS can be implemented in an emergency room with higher possibility of acceptance in questions that evaluated the ease of learning about SIMIPS.

The implementation of an Electronic Health System is challenging, as it causes changes and can arouse resistance. Therefore, the information flow must be developed to facilitate its use, understanding, and communication by the team[33].

The predominance of concordant answers for the positive questions and discordant for the negative ones, both in terms of usability and learning, suggest as easy acceptance of SIMIPS as a management tool, since it was also pointed out by all evaluators that the software facilitates the management of the ER.

Considering that SIMIPS is a new tool, it has some limitations, such as secondary filling, which requires the adhesion of the health team and emergency room managers, a specific sector that is characterized by the intense flow of information and patients. However, in institutions already capable to manage information systems, such as the electronic medical record, it is possible to integrate that information into SIMIPS, speeding up its filling. Another limitation of the system relates to pediatric emergencies usage, given it was developed for use in adult emergency rooms.

However, there was no mention in the literature of another SIS or monitoring system that aims to evaluate and manage hospitalizations in the ER, highlighting the innovative character of SIMIPS. Therefore, the use of SIMIPS as a monitoring tool can support future research on the impact of prolonged stay in the emergency room, on the management of human, material resources, beds, and on the quality of life and work of nursing professionals.

As a management tool, the monitoring generated by SIMIPS will present quality indicators of care in the emergency room for hospitalized patients. Besides, it provides users’ assessment of hospitalization services, guiding changes in work processes aimed at patient safety.

CONCLUSION

SIMIPS was considered by the evaluators to be an easy-to-use and important tool in the management of the emergency room. However, some adjustments were pointed out to improve the ability to receive information that improves the agility in filling out and managing information. It is important to emphasize that SIMIPS was developed for use in adult ER and that adaptations will be necessary for usage in pediatrics and regional specificities.

However, the initial project generated management data and care indicators that can guide actions to face overcrowding and hospitalizations in emergency rooms, proposing strategies to mitigate the effects of overcrowding on the quality of care.

INTRODUÇÃO

A superlotação dos Prontos-socorros (PS) nas últimas décadas tornou-se um problema mundial que afeta os sistemas de saúde e a segurança dos pacientes[1,2]. A principal causa desse problema é conhecida como internação no PS ou boarding[2], definida como a permanência dos pacientes no setor por falta de leitos hospitalares, após a decisão de internar o paciente[5].

Os pacientes “on boarding” não recebem os cuidados necessários que receberiam nas enfermarias e, portanto, estão mais vulneráveis[4,10], podendo sofrer eventos adversos, como atraso na administração de medicamentos[6,11,12] e aumento da mortalidade[13,14].

Os pacientes que passam mais tempo internados nos prontos-socorros são aqueles que necessitam de leitos de clínica médica e/ou aqueles que, devido ao alto grau de dependência, precisam de tecnologias de cuidado mais avançadas, o que reflete diretamente no aumento do tempo de permanência hospitalar e, consequentemente, nos custos hospitalares[9].

O relatório “Assistência hospitalar no Sistema Único de Saúde (SUS)”, do Tribunal de Contas da União, apresentou o Brasil como um país com serviços públicos hospitalares superlotados, nos quais os pacientes são internados nos corredores do pronto-socorro, em macas, cadeiras ou bancos. De acordo com o documento, 64% dos hospitais de urgência encontravam-se superlotados permanentemente, 19% ficavam muitas vezes superlotados, 10% lotavam poucas vezes e apenas 6% dos hospitais nunca superlotavam[15].

O mesmo fenômeno ocorre em Unidades de Pronto Atendimento (UPA), onde as frequentes internações de pacientes representam uma distorção da finalidade e das possibilidades de cuidado desses serviços[16].

Ao serem internados nessas unidades superlotadas, os pacientes adentram um fluxo de espera por leitos, no qual os profissionais da saúde e gestores têm dificuldades para monitorar o tempo, priorização de casos, distribuição de cuidados e riscos assistenciais. Torna-se, então, necessário um sistema de monitoramento das internações, quantitativa e qualitativamente, que vise estudar e acompanhar cada internação até o seu desfecho, de forma clara, rápida e acessível.

Nesse cenário, a tecnologia da informação (TI) é uma grande aliada na área da saúde, buscando novas estratégias e soluções práticas de problemas assistenciais e gerenciais por meio de múltiplas análises de dados coletados[17] e utilizando diversas ferramentas que suportam a estruturação e a organização dos dados e informações com confiabilidade, completude e exatidão. Isto possibilita o armazenamento, processamento, acesso e compartilhamento em tempo real e/ou remoto, seja pelos diversos profissionais envolvidos na assistência, seja pelo próprio paciente/usuário[18].

Estudos apontam que a utilização adequada dos recursos tecnológicos na saúde pode contribuir para aumentar a prevenção de doenças crônicas, reduzir fatores de risco e melhorar a qualidade e a expectativa de vida, além de reduzir a necessidade de cuidados médicos e custos associados, beneficiando todo o sistema de saúde[19].

A utilização de Sistemas de Informação em Saúde (SIS) na gestão da saúde pública, como o Sistema de Informação Hospitalar (SIH/SUS), confirma sua relevância para a vigilância epidemiológica, seja no diagnóstico da situação, seja na avaliação das ações e do impacto das políticas públicas no estado de saúde da população[20].

O atual relatório “Síntese de evidências para políticas de saúde”, publicado pelo Ministério da Saúde do Brasil[21], reforça a utilização de tecnologias como opção de gestão sistêmica para evitar a congestão e superlotação dos prontos-socorros.

Sendo assim, o objetivo desse estudo foi desenvolver e avaliar a usabilidade de um sistema de monitoramento das internações em pronto-socorro. Pressupõe-se que essa ferramenta possa contribuir para os processos de melhoria da qualidade do cuidado e segurança dos pacientes internados, bem como gerar relatórios de gestão que subsidiem a elaboração de estratégias eficazes de mitigação e enfrentamento desse problema.

MÉTODOS

Trata-se de uma pesquisa aplicada, com o desenvolvimento do Sistema de Informação e Monitoramento das Internações em Pronto-Socorro (SIMIPS), registrado no Instituto Nacional da Propriedade Industrial (INPI) BR512019002197-5, e a avalição de sua usabilidade por enfermeiros especialistas, com abordagem predominantemente quantitativa dos dados. O projeto foi aprovado no comitê de ética C.A.A.E 17039019.1.0000.5546, sob o parecer 4.168.891.

Desenvolvimento do Sistema

O processo de construção do software seguiu quatro etapas: 1ª) Elaboração de uma revisão sistemática com pesquisas aplicadas cadastradas em bases de dados eletrônicas (PUBMED, SCOPUS, CINAHAL, Web of Science) para o levantamento de evidências sobre internação em pronto-socorro (boarding); 2ª) Estruturação do arcabouço do sistema; 3ª) Construção dos formulários do sistema; 4ª) Avaliação das informações geradas pelo sistema sob a forma de relatórios, com o cruzamento das informações.

O desenvolvimento do software seguiu o modelo proposto por Sommerville[22], utilizando uma abordagem sistemática baseada no princípio de quatro atividades fundamentais: Especificação; Desenvolvimento; Validação e Evolução do Software.

A arquitetura utilizada foi o padrão MVC (Model, View and Controller) que permite que o projeto seja trabalhado em camadas, facilitando a manutenção, pois as camadas têm papéis bem definidos. A linguagem de programação Personal Home Page (PHP) foi utilizada para gerar conteúdo dinâmico e para o manuseio do banco de dados, a Structured Query Language (SQL). Foram utilizados os campos de aplicação AD 02 e SD 01 e os programas GI01 – Gerenciador de informação; GI04 – Gerador de relatórios; IA01 – Inteligência artificial; IA02 – Sistemas especialistas.

Avaliação de Usabilidade

A avaliação da usabilidade do sistema foi realizada utilizando a System Usability Scale (SUS), proposta principalmente para a avaliação de aplicativos da web para dois aspectos, a capacidade de aprendizagem e a usabilidade[23]. O questionário foi gerado em língua portuguesa, utilizando o Free, Multilingual System Usability Scale Questionnaire Generator que resultou nos seguintes itens:

Eu usaria o SIMIPS frequentemente;

Achei o SIMIPS desnecessariamente complexo;

Eu achei SIMIPS fácil de usar;

Eu acho que precisaria de suporte técnico para poder usar o SIMIPS;

Eu descobri que as várias funções do SIMIPS estavam muito bem integradas;

Eu achei que havia muita inconsistência no SIMIPS;

Eu imagino que a maioria das pessoas aprenderia a usar o SIMIPS muito rapidamente;

Achei o SIMIPS bastante desconfortável de usar;

Eu me senti muito confiante usando o SIMIPS;

Eu precisei aprender muitas coisas antes de poder usar o SIMIPS.

O questionário do SUS composto por essas dez questões, misturou itens positivos (questões ímpares) e negativos (questões pares) e, em cada pergunta, o avaliador expressou a magnitude de sua concordância, usando uma escala Likert de 5 pontos com afirmações indo de discordo fortemente (1) para concordo plenamente (5).

Os pesquisadores adicionaram mais uma questão objetiva, que foi excluída do cálculo do escore SUS por não fazer parte do original: Questão 11. O SIMIPS é uma ferramenta que facilita a gestão do PS? E mais uma questão aberta livre: Questão 12. Quais são suas sugestões para melhoria do SIMIPS?

A seleção dos avaliadores levou em consideração a pontuação em pelo menos dois critérios, com enfoque nas áreas assistencial e gerencial de pronto-socorro e/ou segurança do paciente e/ou qualidade hospitalar. Os critérios observados foram: ser enfermeiro, mestre ou doutor com tese ou dissertação nas áreas; ser autor/coautor de artigo científico em periódico revisado por pares; participar/ou ter participado de grupos/projetos de pesquisa; ter experiência de no mínimo um ano, na prática assistencial ou de gestão; ter experiência docente, de no mínimo um ano, na prática assistencial ou gerencial.

O enfermeiro foi considerado profissional-chave na utilização desse sistema, pois está constantemente alimentando os sistemas de informação nos prontos-socorros e gerenciando os fluxos de pacientes.

A seleção dos avaliadores foi realizada por meio de busca ativa na Plataforma Lattes, do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) (Currículo Lattes e Diretório de Grupos de Pesquisa) e amostragem por bola de neve. Os avaliadores foram contactados via e-mail, por meio de carta convite encaminhada durante o mês de junho de 2020 e, após o aceite formal realizado com assinatura digital do Termo de Consentimento Livre e Esclarecido (TCLE), foram cadastrados no SIMIPS na função Usuário Administrador. Os convites foram enviados semanalmente, até três vezes, com o lembrete para participação e o prazo para o retorno completo da avaliação que se encerrou em 31 de agosto de 2020.

Todos os participantes receberam um tutorial escrito sobre a utilização do sistema e o prontuário de um paciente fictício para cadastrar no sistema e fazer o monitoramento. O objetivo foi simular a alimentação do sistema de forma mais aproximada da realidade possível. Logo após, os avaliadores responderam ao questionário sobre a usabilidade do SIMIPS.

Os avaliadores foram nomeados com a letra J seguido de uma sequência numérica e as questões do questionário SUS nomeadas com a letra Q seguida da sequência numérica.

Os dados quantitativos foram tabulados e analisados no programa Microsoft Excel®. As variáveis numéricas foram expressas em medida de tendência central (média e mediana) e medida de dispersão (desvio padrão). As variáveis categóricas, em frequências absolutas e relativas.

O escore SUS individual foi calculado segundo Brooke[23] em que, para os itens ímpares, o escore individual é a nota recebida menos 1 e, para os itens pares, o escore é obtido após subtrair 5 da nota recebida. Por fim, multiplica-se a soma de todos os escores por 2,5. O escore SUS total foi calculado obtendo-se a média do escore de cada item e multiplicando-se a soma de todos os escores por 2,5.

Após o cálculo do escore SUS total, o sistema foi classificado da seguinte forma: de 13 a 20,5 (pior imaginável); de 21 a 38,5 (pobre); 39 a 52,5 (mediano); de 53 a 73,5 (bom); de 74 a 85,5 (excelente); e de 86 a 100 (melhor imaginável)[24].

RESULTADOS

A revisão da literatura nos apontou que a internação no PS pode provocar redução da qualidade da assistência e omissão de cuidados[6,12], aumento da mortalidade e aumento do tempo de permanência hospitalar[25, 26], vulnerabilidade a ocorrência de eventos adversos[5,7,11,12,14], redução da qualidade e segurança dos cuidados de enfermagem prestados ao paciente[13,27] e pode contribuir negativamente para as experiências psicossociais dos enfermeiros[27].

Sendo assim, foram incorporadas no SIMIPS informações relacionadas e complementares aos achados na literatura referentes a:

Informações de entrada: informações cadastrais do paciente;

Avaliação inicial: Dados da classificação de risco, da avaliação médica inicial, Anamnese de história de saúde pregressa, classificação do Índice de Charlson (ICC) e do Grau de Dependência dos Cuidados de Enfermagem (GDCE) pelo Sistema de Classificação do Paciente (SCP), proposto por Perroca e Gaidzinski[28];

Monitoramento das movimentações do paciente: Dados sobre transferências intra-hospitalar (áreas de internação ou escalonamento de cuidado dentro do pronto-socorro) e saídas (alta, óbito, transferência extra hospitalar e evasão);

Dados de gestão: Dados sobre a taxa de ocupação do pronto-socorro e setores de internamento, além do tempo de internação no PS (da recepção até a classificação de risco, duração da classificação de risco, dessa classificação até o primeiro atendimento, depois até a decisão pela internação, o tempo de internação dentro do PS, o tempo de internação nas clinicas e o tempo de internação total);

Avaliação continuada: Dados sobre o GDCE e o National Early Warning Score (NEWS) 2[29];

Monitoramento de eventos adversos: a Identificação de Evento Adverso (EA) é feita utilizando os rastreadores identificados pelo Institute for Healthcare Improvement[30] e são categorizados pelo National Coordinating Council for Medication Error Reporting and Prevention (NCC MERP) scale[31];

Relatórios de gestão: são informações, apresentadas por meio de tabelas, em que é possível obter o relatório individual por paciente, o relatório geral por espaço de tempo, relatório geral dos tempos de internação e tempo de internação total, obtidos por meio de gráficos com o cruzamento das variáveis EA versus Paciente, EA versus ICC, EA versus SCP, EA versus NEWS, EA versus Internações no PS, EA versus Internações total, EA versus Óbitos, EA versus Reinternações, Óbito versus Internações no PS, Óbitos versus reinternações, Taxa de ocupação do PS versus EA.

Essa versão do sistema foi concebida para que os dados sejam alimentados de forma secundária por um profissional da assistência e da gestão do pronto-socorro, sendo que o arcabouço do sistema foi construído em subdivisões de seções, subseções e Fichas de informações. A Figura 1 apresenta o arcabouço do SIMIPS.

Figura 1

Arcabouço do SIMIPS.

Para que o sistema possa ser alimentado com mais facilidade, o SIMIPS possui uma tecnologia responsiva que adequa o layout ao tamanho do dispositivo utilizado (celular, tablet ou desktop). A Figura 2 mostra o layout da tela inicial nos formatos desktop e celular.

Figura 2

Layout da tela inicial nos formatos desktop e celular.

Com as informações inseridas no sistema é possível realizar um amplo monitoramento do perfil epidemiológico das internações no pronto-socorro, da gestão de tempo dentro da unidade durante a internação, do escalonamento do paciente internado em consequência da deterioração clínica, da incidência e gravidade de eventos adversos além de favorecer um dimensionamento de enfermagem adequado às necessidades de cuidados dos pacientes internos. Todas essas informações podem ser vistas no formato de gráficos com cruzamentos de covariáveis na seção relatórios. A Figura 3 mostra alguns dos relatórios que podem ser gerados pelo SIMIPS.

Figura 3

Exemplos de relatórios gerados no SIMIPS.

Para medir a usabilidade do sistema convidamos 43 avaliadores que atenderam aos critérios de elegibilidade, aceitaram participar da pesquisa 17 e todos concluíram a avaliação no prazo estabelecido.

Na avaliação individual, 59% (n = 10) classificou o SIMIPS como melhor imaginável, 35% (n = 6) classificou como ótimo e 6%(n = 1), como bom. Em seguida calculamos o escore final com média de todos os resultados e obtivemos o escore de 86,5 que classifica o software como melhor imaginável.

A caracterização dos avaliadores e a classificação pelo questionário de usabilidade está descrita na Tabela 1. Os valores atribuídos por eles a cada pergunta do questionário estão apresentados na Tabela 2. Adicionamos na tabela a questão 11 (Q11) inserida pelos pesquisadores.

Tabela 1

Características dos Avaliadores do Sistema de Informação e monitoramento das Internações em Pronto-Socorro e Classificação pelo questionário de usabilidade (n = 17).

Idade (em anos)
Média (DP)	34 (7)
Mediana (Min-Máx)	36 (26–53)
Sexo	n (%)
Feminino	13 (76%)
Masculino	4 (24%)
Titulação máxima	n (%)
Mestre	8 (47%)
Doutor	4 (24%)
Especialista	5 (30%)
Perfil profissional	n (%)
Docente	4 (29%)
Assistencial	11 (65%)
Docente/Assistencial	2 (11%)
Pontuação (critérios)	n (%)
2	6 (35%)
3	3 (18%)
4	4 (24%)
5	2 (11%)
6	1 (6%)
7	1 (6%)
Classificação	n (%)
86 a 100 (melhor imaginável)	10 (59%)
74 a 85,5 (excelente)	6 (35%)
53 a 73,5 (bom)	1 (6%)
39 a 52,5 (mediano)	0
21 a 38,5 (pobre)	0
20,5 (pior imaginável)	0
Classificação geral	Score sus total
	86,5 (melhor imaginável)

Tabela 2

Distribuição individual das respostas ao Questionário de Usabilidade.

JUIZ	Q1	Q2	Q3	Q4	Q5	Q6	Q7	Q8	Q9	Q10	Q11
J1	5	1	4	2	4	1	5	1	4	1	5
J2	5	1	5	2	5	2	5	1	5	1	5
J3	5	1	5	1	5	2	4	1	5	1	5
J4	5	2	5	3	4	2	5	2	4	1	5
J5	5	1	4	2	4	1	5	1	4	1	5
J6	5	1	5	4	4	1	5	1	5	1	5
J7	5	2	4	1	5	1	5	1	5	1	5
J8	4	1	4	2	4	2	4	5	5	1	4
J9	5	1	5	2	5	1	5	1	5	2	5
J10	5	2	4	1	4	1	5	2	4	2	5
J11	5	1	5	1	4	1	3	2	4	1	5
J12	4	1	2	1	4	2	4	2	4	1	5
J13	5	2	4	4	5	1	5	2	4	3	5
J14	4	3	3	2	5	2	2	1	4	3	4
J15	4	2	4	3	5	1	3	3	5	1	5
J16	5	1	5	2	5	1	5	1	5	1	5
J17	5	1	5	2	5	2	5	1	5	1	5

Na Q11, em que questionamos se o SIMIPS é uma ferramenta que facilita a gestão do PS, obtivemos como resposta, concordo totalmente (n = 15) e concordo parcialmente (n = 2).

Em resposta à última pergunta, obtivemos sugestões de melhorias para o SIMIPS relacionadas a: 1) tornar o layout mais atrativo; 2) quando possível, integrá-lo sistema de informação hospitalar, para facilitar o preenchimento de informações como sinais vitais, dados socioeconômicos, as movimentações e o tempo de permanência; 3) inserir um filtro de preenchimento automático para o CID 10; 4) Inserir a opção de visualização do formulário preenchido, antes de salvar, e inserir a opção “editar” e 5) Colocar na página inicial a lista com os nomes dos pacientes internados no momento, ao invés do gráfico de taxa de ocupação x eventos adversos.

DISCUSSÃO

Os Sistemas de Informação em Saúde (SIS) têm como finalidade auxiliar a melhoria na qualidade de atendimentos dos pacientes e profissionais da saúde, bem como a gestão da saúde por meio da análise dos custos, benefícios e da redução de erros médicos[32].

Nesse sentido, o SIMIPS foi concebido como um sistema de informação local (institucional), mas com possibilidade de integrar-se a outros sistemas de informação locais, gerando bases regionais, além de gerar relatórios que podem ser inseridos em bancos de informações locais, regionais e nacionais.

Um pressuposto implícito no desenvolvimento de um Sistema de Informação Hospitalar é a habilidade de fornecer o dado completo, exato e no momento adequado, para que o profissional possa desempenhar sua tarefa com maior qualidade e com melhor razão custo/benefício[17].

O SIMIPS teve a sua usabilidade avaliada por enfermeiros com predomínio de mestres (n = 8), atuantes na assistência em pronto-socorro (n = 11) e que atenderam a mais de 2 critérios de inclusão (n = 11), demonstrando capacidade científica e técnica dos avaliadores recrutados.

O questionário SUS avaliou a usabilidade do SIMIPS por meio da percepção do usuário, sendo classificado como melhor imaginável (escore 85,6) na avaliação total e não obtendo nenhuma avaliação negativa (mediano, pobre e pior imaginável).

Analisando as respostas dos usuários nos dois fatores elencados pelo SUS, usabilidade (questões 1, 2, 3, 5, 6, 7, 8 e 9) e aprendizagem (questões 4 e 10), observamos nas questões negativas 2, 6 e 8, um predomínio das respostas discordo fortemente e discordo parcialmente (Q2 n = 16, Q6 n = 17 e Q8 n = 15), onde apenas um usuário concordou fortemente que o SIMIPS seria bastante desconfortável de usar. Nas questões positivas de usabilidade (1, 3, 5, 7 e 9) houve um predomínio das respostas concordo plenamente e concordo parcialmente (Q1 n = 17, Q3 n = 15, Q5 n = 17, Q7 n = 14, Q9 n = 17).

Nas questões que avaliaram a facilidade de aprendizagem sobre o SIMIPS, as respostas concordo plenamente e concordo parcialmente também predominaram (Q4 n = 13 e Q10 n = 15), o que denota que o SIMIPS pode ser implementado em um pronto-socorro com alta possibilidade de aceitação.

A implementação de um Sistema Eletrônico de Saúde é desafiadora, pois causa mudanças e pode despertar resistência, portanto, o fluxo de informações deve ser desenvolvido para facilitar seu uso, a compreensão e a comunicação da equipe[33].

O predomínio das respostas concordantes para as questões positivas e discordantes para as negativas, tanto no quesito usabilidade quanto em aprendizagem, apontam a possibilidade de fácil aceitação do SIMIPS como uma ferramenta de gestão, visto que também foi apontado por todos os avaliadores que o software facilita a gestão do PS.

Considerando que o SIMIPS é uma ferramenta nova, apresenta algumas limitações, como por exemplo, o preenchimento secundário, que precisa da adesão da equipe de saúde e dos gestores do pronto-socorro, um setor que, especificamente, tem como característica o fluxo intenso de informações e pacientes. Contudo, em instituições onde já se utiliza um sistema de informação, como o prontuário eletrônico, é possível integrar essas informações ao SIMIPS, agilizando seu preenchimento. Outra limitação do sistema é seu uso em urgências pediátricas, visto que foi desenvolvido para utilização em pronto-socorro adulto.

Porém, não foi identificada na literatura menção a outro SIS ou de monitoramento que objetive avaliar e gerenciar as internações no PS, destacando o caráter inovador do SIMIPS. Desse modo, a utilização do SIMIPS como ferramenta de monitoramento pode subsidiar pesquisas futuras sobre o impacto da permanência prolongada no pronto-socorro, na gestão de recursos humanos e materiais, na gestão de leitos e na qualidade de vida e no trabalho dos profissionais de enfermagem.

Como ferramenta de gestão, o monitoramento gerado pelo SIMIPS apresentará indicadores de qualidade da assistência no pronto-socorro aos pacientes internados, além de fornecer avaliação dos usuários sobre os serviços prestados durante a internação, informações que podem nortear as mudanças nos processos de trabalho voltados para segurança do paciente.

CONCLUSÃO

O SIMIPS foi considerado pelos avaliadores uma ferramenta de fácil usabilidade e importante utilidade na gestão do pronto-socorro. No entanto, alguns ajustes foram apontados para melhorar a capacidade de recepção de informações que melhorem a agilidade no preenchimento e no gerenciamento de informações. É importante salientar que o SIMIPS foi desenvolvido para uso em PS adulto e que serão necessárias adaptações para sua utilização em pediatria, bem como para atender especificidades regionais.

Contudo, o seu projeto inicial mostrou-se capaz de gerar dados de gestão e indicadores assistenciais que podem nortear ações de enfrentamento da superlotação e das internações em pronto-socorro, propondo estratégias de mitigação dos efeitos da superlotação na qualidade do cuidado.