A neural network for prediction of risk of nosocomial infection at intensive care units: a didactic preliminary model.

OBJECTIVE: To propose a preliminary artificial intelligence model, based on artificial neural networks, for predicting the risk of nosocomial infection at intensive care units.
METHODS: An artificial neural network is designed that employs supervised learning. The generation of the datasets was based on data derived from the Japanese Nosocomial Infection Surveillance system. It is studied how the Java Neural Network Simulator learns to categorize these patients to predict their risk of nosocomial infection. The simulations are performed with several backpropagation learning algorithms and with several groups of parameters, comparing their results through the sum of the squared errors and mean errors per pattern.
RESULTS: The backpropagation with momentum algorithm showed better performance than the backpropagation algorithm. The performance improved with the xor. README file parameter values compared to the default parameters. There were no failures in the categorization of the patients into their risk of nosocomial infection.
CONCLUSION: While this model is still based on a synthetic dataset, the excellent performance observed with a small number of patterns suggests that using higher numbers of variables and network layers to analyze larger volumes of data can create powerful artificial neural networks, potentially capable of precisely anticipating nosocomial infection at intensive care units. Using a real database during the simulations has the potential to realize the predictive ability of this model.

INTRODUCTION

An important cause of morbidity and mortality are nosocomial infections, implying a significant burden on patients and hospitals.() These complications are highly associated with stay at intensive care units (ICU).(–) Studies have shown that ICU-acquired nosocomial infections have an important effect on mortality.(–)

Identification of many nosocomial infections is currently conducted via specimen culture, which can take a few days. Consequently, an overuse of broad-spectrum antibiotics is the current treatment, thus treating potential cases who may not suffer from these complications and resulting in the potential risk of evolving antibiotic-resistant strains.()

Surveillance of nosocomial infections, together with appropriate prevention measures, can decrease infection rates and improve patient safety. It is crucial for infection control professionals to predict and measure the risk of infection at their hospitals, contributing to planning and assessment of infection control programs.() There are national or regional programs to support hospitals in reducing the risk of nosocomial infections, e.g. , the Japanese Nosocomial Infection Surveillance (JANIS) system in Japan, and the Healthcare-Associated Infections Surveillance Network in Europe (HAI-Net). The World Health Organization (WHO) recommends that risk prevention of nosocomial infections must also be supported by hospital programs.

If predictive tools could be evolved to reveal those most likely to contract these nosocomial infections, then a reduced risk of resistant strains would ensue, leading to significant savings regarding mortality and treatment expenses.

Prediction of nosocomial infections is generally subjective, dependent on interpretation, in which clinicians with widely varying experiences assess patient conditions. This dependency restricts the ability to obtain accurate correlations between risk factors and outcome predictions. Thus, it is a matter of experience the value applied to any given situation.() However, protocols derived from the national or regional programs help ensuring standardization of definitions orienting diagnosis and treatment in ICU, in addition to institutional protocol guidance.

The application of artificial neural networks (ANN) in outcome prediction has become increasingly prevalent in physiological modeling(,) and several medical fields,(,–) due to the ability of the ANN to learn and improve.

Artificial neural networks are artificial intelligence models built based on biological neural systems. These ANN are adaptive systems which are increasingly used for prediction and are especially adequate for predictions of classification events.

Literature comparing different alternatives

The study by Burke et al.,() compared ANN to other statistical methods for medical outcome prediction, particularly survival prediction. They found that using just the tumor-node-metastasis (TNM) variables, both the backpropagation neural network and the probabilistic neural network were significantly more accurate than the pathological TNM stage system.()

Eftekhar et al.,() contrasted the performance of ANN and multivariable logistic regression (LR) models in prediction of outcomes in head trauma. They found that ANN significantly outperformed LR in the fields of discrimination and calibration.() DiRusso et al.,() developed an ANN to predict pediatric trauma death and compared it with LR. The ANN model yielded excellent discrimination and calibration exceeding that of LR.() Erguzel et al.,() used the two mentioned methods to create a model dichotomizing opioid-dependent patients and control subjects. The ANN classifier outperformed the LR.() Liew et al.,() retrospectively analyzed the prevalence and risk factors of gallbladder disease using LR and ANN among obese patients. Artificial neural networks, constructed with backpropagation algorithm, were trained to predict the risk of gallbladder disease. Artificial neural networks demonstrated better average classification rate, and lower type II errors than LR.()

The use of ANN in this particular setting has not been widely studied. A few related studies have been carried out successfully on trauma patients,(,) whereas other recent studies have concentrated on mortality prediction.(–,)

Supervised learning in artificial neural networks

The formal model underlying neural computation in ANN is a parallel and directed graph in which the nodes are associated to models of local calculi, and the links represent the interconnections between these local calculi.()

The output of each node can generally be expressed as the weighted sum of the coordinates of the input array (x) multiplied by the coordinates corresponding to the array of weights (w), as Equation 1 .

The result of this sum afterwards passes through a decision function, that produces the final outputs yj(t) ( Equation 2 ).

By its derivable character (to calculate the new weights), the sigmoid function is usually used as the decision function, which provides an activation value in the range [0.1]. The local function is adjusted through learning processes. By using an algorithm methodology known as supervised learning, the algorithm varies the value of the weights connecting neuronal units according to deviations from a training set of data, which specifies the activation values of the output units corresponding to a set of input observations (labeled data).() The problems solved with supervised learning are based on adaptive numerical classifiers.()

Backpropagation in multilayer networks

This function is especially adequate for propagating the observed error to hidden layers, which have not available the desired outputs for those hidden neurons. This ANN is trained with supervised learning type of backpropagation.() In this way, the errors are propagated backward.()

OBJECTIVE

The purpose of this artificial neural network is to calculate the risk of nosocomial infection for the intensive care unit patients evaluated. This is from the perspective of a simulated model, based on synthetic datasets derived from an actual database for the purpose of demonstration. It is intended to present a preliminary artificial neural network in this medical context, and show its construction and step-by-step analyses, so that adjustments and improvements can be easily incorporated to meet the needs of specific users. It is explained how to propose and solve this model through an artificial neural network utilizing supervised learning algorithms. The differences in behavior of the algorithms are analyzed in terms of the parameter variations, trying to find an optimal design.

METHODS

Selection of factors associated with the development of nosocomial infection

The selection of the risk factors for the elaboration of the synthetic datasets was based on the factors revealed by Suka et al.() This study was grounded on data acquired from the ICU component of the JANIS system to elucidate factors associated with the development of nosocomial infections and to determine infection rates for benchmarking. These factors were selected based on a multivariate analysis. They determined hazard ratios (HR) with 95% confidence intervals for the various factors selected.

The generation of the synthetic datasets was based on the revealed HR of the factors associated to the development of nosocomial infections.() Data were constructed derived from the information given by Barraclough et al.,() with each binary value of each variable obtained from a probability distribution according to its HR, depending on the classification of that patient. The training and validation datasets follow a realistic distribution of the values involved.

Spreadsheet composition

All patients share several attributes that can be quantified. The columns in the spreadsheet represent these attributes, which distinguish the patients. Binary variables are used to represent if each patient possesses each attribute. These binary variables are used to describe the activity of the input and output neuronal units.

In the spreadsheets, each row, or pattern, stands for a different ICU patient. These data are imported into the Java Neural Network Simulator (JavaNNS)() to execute the simulations. This work analyzes how the JavaNNS() learns to represent and categorize these patients, based on their selected attributes, into the categories of present and absent risk of nosocomial infections. That is, a patient who is at risk of suffering or not from nosocomial infections.

Several major patient-level risk factors associated with the development of nosocomial infections were selected, as described above, for characterization of the patients, according to table 1 .

Table 1

Major patient-level risk factors selected associated with the development of nosocomial infections

Factor
Sex		Male=1; female=0
Age
	Age 16-44	Yes=1; no=0
	Age 45-64	Yes=1; no=0
	Age 65-74	Yes=1; no=0
	Age ≥75	Yes=1; no=0
Severity of illness, APACHE II score
	APACHE II score 0-10	Yes=1; no=0
	APACHE II score 11-20	Yes=1; no=0
	APACHE II score ≥21	Yes=1; no=0
Operation (both elective and urgent)		Yes=1; no=0
Device use
	Ventilator use	Yes=1; no=0
	Urinary catheter	Yes=1; no=0
	Central venous catheter	Yes=1; no=0

APACHE II: Acute Physiology and Chronic Health disease Classification System II.

Since these factors were selected based on the study of Suka et al.,() who utilized the JANIS database, this fictitious ICU would have the same characteristics: patients aged 16 years or more, who had remained at the ICU for 48 to 1,000 hours, who had not been moved to another ICU, and had not been infected within 2 days after ICU admission.() The categorization provided by the ANN is into the following output unit: risk of nosocomial infections – yes=1; no=0.

Each row represents a set of input and output units. Two different spreadsheets were created with these characteristics. One has 15 patients or patterns that was used for training the network.() This training set was chosen to be of a size of 15 times the number of classes to obtain.() The other spreadsheet has six patients or patterns that was used for validation of the network.() This validation set was chosen to be of a size of six times the number of classes to obtain.()

Elaboration of the pattern files of Java Neural Network Simulator

To create the JavaNNS pattern files, the MATLAB® program was used, version 7.5.0.342 (R2007b). MATLAB® has this functionality, which is used by typing the command “xls2nns([])”. A new file is then created with the same name as the spreadsheet but with a .pat extension. The two pattern files created, ICU trainingdata_NI.pat() and ICU validationdata_NI.pat,() are used for training and validation of the network respectively. Validation is used to determine the performance of the ANN on patterns that are not trained during learning.()

Neural network simulations

A multilayer perceptron ANN, a feed-forward network without shortcut connections is used. In JavaNNS, going to Tools/Create/Layers, the width is changed to be 12, the number of neuronal input units. Again, in Tools/Create/Layers, the width is changed to be 1, the number of output units. Afterwards, the network is connected feed forward.() The resulting network is shown in figure 1 .

Figure 1

The utilized neuronal network architecture designed specifically for this problem in Java Neural Network Simulator. The state of the network here shows a trained artificial neural network with the output prediction of the network for one of the validation patterns

The initializing function is set to random weights and the Init button is pressed, setting the weights to random values.()

The utilized learning functions and learning-parameters

Among the supervised learning algorithms, the backpropagation type was used. There are several backpropagation algorithms provided with JavaNNS. The backpropagation and backpropagation with momentum algorithms() are employed to train this network.

The values of the parameters used in the simulations are shown in table 2 . These are obtained from the ones given in the xor. README file of the JavaNNS examples, and the ones given by default in JavaNNS.(,) The parameters in the xor. README file are some parameters that Fischer et al.,() used to train successfully the XOR-problem on a neural network. This XOR-problem ANN has some similarities to the one constructed in this research. Fischer et al.,() suggested the number of cycles indicated in table 2 as the ones they needed to train the XOR-problem network successfully. These parameters were not obtained with extensive studies of statistical significance, they are given in JavaNNS as hints to start training sessions.()

Table 2

Parameters values used for all models of combinations of learning functions and parameter sets

Learning function	η	d max	μ	c	Cycles
Backpropagation with the xor. README file values	2.0	0.1			2,000
Backpropagation with the default values	0.2	0.1			2,000
Backpropagation with momentum with the xor. README file values	3.0	0.1	0.8	0.1	100
Backpropagation with momentum with the default values	0.2	0.1	0.5	0.1	100

Simulations

Since there is a random component in the experiment, ten simulations are performed for each of the learning algorithms and set of parameters, comparing their results through the sum of the squared errors (SSE) of the Log and Error graph windows.() The results are compared with previous parameters and between the different trials.

Using the validation set, in the Error graph window appears simultaneously an additional line of pink color that corresponds to the error of the validation set. It is utilized the SSE, the sum of the quadratic differences between the target output and the real output for all output units in all training or validation patterns. The Log window shows during training the SSE values in the validation and training sets.() The SSE from the Log window are afterwards divided manually by the number of patterns in each set ( Table 3 ).

Table 3

Mean squared error per pattern for each one of the learning functions and sets of parameters, shown for each one of the sets of patterns. These are obtained from the sum of the squared errors shown in the Log window corresponding to the last trial and dividing by the number of patterns in each set

Learning function	MSE
	Training set	Validation set
Backpropagation with the xor. README file values	0.0	0.02760293
Backpropagation with the default values	0.0	0.01951062181
Backpropagation with momentum with the xor. README file values	0.0	0.0
Backpropagation with momentum with the default values	0.0	0.01153508821

MSE: mean squared error.

Once finished the training, in the Updating window, the training and validation patterns are passed one by one. Each pattern is visualized by colors and numerically, in all neurons of the network, to observe if the network succeeded or failed with each input pattern. The trained ANN is evaluated also by a confusion matrix.

The update mode topological order is used.() Pressing Learn all in the learning tab cycles through all PATTERNS, for the number of times (cycles) specified. For the ten trials, the buttons Init and Learn all are pressed once for each trial. The graphs accumulate in the Error graph window in different colors ( Figures 2 and 3 ). A flowchart summarizing the methods is displayed in figure 4 .

Figure 2

Ten simulations performed in Java Neural Network Simulator with the backpropagation learning function, comparing their results through the sum of the squared errors in the Error graph window. The pink line corresponds to the sum of the squared errors of the validation set during the last trial. Bottom: with the xor. README file parameter values. Top: with the default parameter values

Figure 3

Ten simulations performed in Java Neural Network Simulator with the backpropagation with momentum learning function, comparing their results through the sum of the squared errors in the Error graph window. The pink line corresponds to the sum of the squared errors of the validation set during the last trial. On the right: with the xor. README file parameter values. On the left: with the default parameter values

Figure 4

Flowchart for supervised learning in Java Neural Network Simulator

RESULTS

Backpropagation learning function

The backpropagation algorithm had the following parameters: learning parameter η, indicating the step width of the gradient descent, and dmax , corresponding to the maximum difference between a target output and an actual output which is tolerated.()

Backpropagation with momentum learning function

The backpropagation with momentum algorithm had the following parameters:() learning parameter η, as mentioned; μ, momentum term, indicating the amount of the previous weight adjustment (relative to 1) which was added to the current change;() c, flat spot elimination value, a constant added to the derivative of the activation function so the network could pass flat spots of the error surface,() and dmax, as mentioned.

Errors table and comments of the results

In figure 2 , bottom, the SSE from the training patterns disappeared in all trials before 40 cycles, well before the maximum of 2,000 cycles. The MSE of the validation set was 0.02760293, which was a very small error. At 2,000 cycles this value stayed the same, at this MSE the network performed best and was when the training should be stopped.

In figure 2 , top, the SSE decreased progressively until reaching 0.0 in all trials before 450 cycles. The pink line reached its minimum MSE, also a very small error. In comparison to figure 2 , bottom, the default values showed here a worse performance.

In figure 3 , right, the SSE was 0.0 at before ten cycles for all trials. The pink line MSE was 0.0. This backpropagation with momentum algorithm showed improvement in comparison to the backpropagation algorithm.

In figure 3 , left, the SSE decreased progressively until becoming 0.0 at 100 cycles. The pink line MSE was 0.011535088, a very small value. The performance with the default values was worse than with the xor. README file values for this backpropagation with momentum algorithm. For the default parameter values, this backpropagation with momentum algorithm showed better performance than the backpropagation algorithm.

In table 4 , it is presented the classification obtained after training for the 15 training and six validation patterns showing the successes and failures. A pattern was classified correctly into present risk of nosocomial infections if the output unit activation was ≥0.6. A pattern was classified correctly into absent risk of nosocomial infections if the output unit activation was ≤0.4.

Table 4

Classification for the 15 training and six validation patterns, obtained in the Updating tab after training with the training patterns

Learning function	Training patterns		Validation patterns
	Successes	Failures	Successes	Failures
Backpropagation with the xor. README file values	15	0	6	0
Backpropagation with the default values	15	0	6	0
Backpropagation with momentum with the xor. README file values *	15	0	6	0
Backpropagation with momentum with the default values	15	0	6	0

With these function and parameters, the error of the units was particularly small, almost nil.

There were no failures in the categorization of the patients into their corresponding risk of nosocomial infections. The backpropagation with momentum with the xor. README file values showed an almost nil error. The network performed best with the backpropagation with momentum algorithm with the xor. README file values.

Evaluation by a confusion matrix

The most likely prediction state for each pattern was then compared with the true value of the output unit activation for the particular case. The confusion matrix supplies the total number of cases in 21 situations. If the network was performing well, then the entries along the main diagonal would be large, compared to those off of it. This is observed in table 5 .

Table 5

Confusion matrix of predicted and actually occurred outcome of states for risk of nosocomial infection in 21 cases of the training and validation datasets

Risk of nosocomial infections		Predicted
		Present risk of nosocomial infections	Absent risk of nosocomial infections
Actual	Present risk of nosocomial infections	12	0
	Absent risk of nosocomial infections	0	9

DISCUSSION

The results revealed relative variations in performance for the different combinations of learning algorithms and parameter sets. The function of backpropagation with momentum showed the best results. The results were better with the xor. README file parameter values. However, as stated by Fischer et al ., () these parameters should not be cited as optimal or used in comparisons of network simulators.

The ability of this ANN to predict those likely to contract nosocomial infections is 100% accurate on the basic features given. If several attributes are included for characterization as input variables and/or numerous classes are included as output variables, it would be necessary to include a big amount of patterns. If after testing the network for its successes and failures with each of the training and validation patterns, a high percentage of successes is not obtained, then it could be necessary to add one or several layers of hidden neurons. Additionally, other kind of backpropagation learning functions could be used in JavaNNS, such as the Quickprop or the Resilient propagation algorithms.

The distribution of risk factors for nosocomial infections differs broadly according to hospital and time. Because of these variations, data from different regions may be of a diverse nature with differences in the incidence of nosocomial infections. Failure to adjust adequately for the particular region and time could lead to false conclusions. It is recommended to use multivariate analyses retrospectively to reveal the risk factors associated with the outcome under study. Float variables can be used also with JavaNNS. In fact, using continuous input data would reduce the number of input neurons and would simplify network architecture. It is recommended to use as few variables as possible.()

In this study, nosocomial infections were not classified by infection site. This research could inform researchers to be able to expand this project, and the spreadsheets could be prepared by infection site. Once the model is set within a context of real data, it should be evaluated with, at least, a validation set of patterns of real cases. This will need to be validated and tested with a sufficient number of actual patient patterns, relying on large volumes of data. In this medical context, the datasets should have hundreds or thousands of pattern samples. In the case of a very reduced dataset, a cross-validation scheme should be used for network validation. Moreover, other types of predictive methods could be tested to compare the results to the ANN. The only study found in the literature applied to a similar clinical setting, addressing some of these limitations, is the study by Chang et al.()

CONCLUSION

This article proposes a preliminary method for predicting risk of nosocomial infection at intensive care units, adopting artificial intelligence as artificial neural networks to achieve improvements. This model is used to show its design and step-by-step analyses, using a synthetic dataset derived from the Japanese Nosocomial Infection Surveillance system. While this model is still based on a synthetic dataset, the excellent performance observed with a small number of patterns suggests using higher numbers of variables and network layers, to analyze larger volumes of data, can create powerful artificial neural networks, potentially capable of precisely anticipating nosocomial infection at intensive care units.

INTRODUÇÃO

As infecções hospitalares são importante causa de morbidade e mortalidade, levando a um ônus significativo para pacientes e hospitais.()Essas complicações são associadas à internação em unidades de terapia intensiva (UTI).(–)Estudos mostram que as infecções hospitalares contraídas em UTI têm efeito considerável na mortalidade.(–)

Muitas infecções hospitalares são atualmente identificadas por meio da cultura de amostras, e isso pode levar alguns dias. Por isso, o tratamento atual é o uso excessivo de antibióticos de amplo espectro, já que nem todos os casos tratados chegam a apresentar efetivamente essas complicações, o que leva a um possível risco de desenvolvimento de cepas resistentes a antibióticos.()

A vigilância de infecções hospitalares, combinada a medidas preventivas apropriadas, pode reduzir as taxas de infecção e melhorar a segurança do paciente. É fundamental que os profissionais de controle de infecções possam prever e mensurar o risco de infecção nos hospitais e contribuir para o planejamento e a avaliação de programas de controle.()Existem programas nacionais ou regionais para auxiliar os hospitais na redução do risco de infecções hospitalares, como Japanese Nosocomial Infection Surveillance (JANIS), no Japão, e a Healthcare-Associated Infections Surveillance Network (HAI-Net), na Europa. A Organização Mundial da Saúde (OMS) recomenda que a previsão do risco de infecções hospitalares também seja promovida no âmbito dos programas hospitalares.

Se for possível criar ferramentas que revelem quem são as pessoas com maior risco de contrair infecções hospitalares, poderemos reduzir o risco de desenvolvimento de cepas resistentes, levando a uma diminuição considerável da mortalidade e das despesas com tratamento.

A previsão de infecções hospitalares é normalmente subjetiva e depende de interpretação, com grande variação na experiência dos clínicos que avaliam as condições dos pacientes. Essa dependência limita a capacidade de se obterem correlações precisas entre fatores de risco e a previsão de desfechos. Porém, a definição do valor aplicado a uma determinada situação é uma questão de experiência.()No entanto, protocolos derivados dos programas nacionais ou regionais ajudam a assegurar a padronização de definições para guiar o diagnóstico e o tratamento em UTI, complementando a orientação dos protocolos institucionais.

A aplicação de redes neurais artificiais (RNAs) na previsão de desfechos já é cada vez mais prevalente na modelagem fisiológica(,)e em diferentes áreas médicas,(,–)devido à capacidade das RNAs de aprender a se aprimorar.

As RNAs são modelos de inteligência artificial construídos com base em sistemas neurais biológicos. Essas redes constituem sistemas adaptativos, usados cada vez mais para fins de previsão e especialmente adequados para previsões de eventos de classificação.

Comparação de diferentes alternativas na literatura

O estudo de Burke et al.,()comparou as RNAs a outros métodos estatísticos para previsão de desfechos médicos e, especificamente, de sobrevida. Os autores observaram que, usando apenas as variáveis tumor-linfonodo-metástase (TNM), tanto a rede neural de retropropagação quanto a rede neural probabilística foram consideravelmente mais precisas que o sistema TNM de estadiamento patológico.()

Eftekhar et al.,()contrastaram o desempenho da RNA e modelos de regressão logística (RL) multivariada na previsão de desfechos em traumatismo craniano. Encontraram um desempenho significativamente melhor da RNA em comparação à RL nas áreas de discriminação e calibração.()DiRusso et al.,()desenvolveram uma RNA para prever a mortalidade por trauma pediátrico e a compararam com a RL. O modelo da RNA demonstrou discriminação e calibração excelentes, superiores às da RL.()Erguzel et al.,()usaram os dois métodos para criar um modelo de dicotomização de pacientes opioide-dependentes e controles. O classificador baseado em RNA teve desempenho superior à RL.()Liew et al.,()analisaram retrospectivamente a prevalência e os fatores de risco de doença da vesícula biliar usando RL e RNA em pacientes obesos. As RNAs, construídas com algoritmo de retropropagação, foram treinadas para prever o risco de doença da vesícula biliar. Elas demonstraram uma taxa de classificação média superior e menos erros tipo II quando comparadas à RL.()

O uso de RNAs nesse cenário em particular ainda não foi amplamente estudado. Alguns poucos estudos relacionados foram conduzidos com êxito em pacientes com traumatismo,(,)enquanto outros estudos recentes concentraram-se na previsão de mortalidade.(–,)

Aprendizagem supervisionada em redes neurais artificiais

O modelo formal por trás da computação neural nas RNAs é um gráfico paralelo e dirigido, no qual os nós são associados a modelos de cálculos locais, e os links representam as interconexões entres esses cálculos locais.()

A saída ( output ) de cada nó é normalmente expressa como a soma ponderada das coordenadas do input array (x), multiplicada pelas coordenadas correspondentes ao array de pesos (w), conforme Equação 1 .

O resultado dessa soma, depois, passa por uma função de decisão que produz as saídas finais yj(t) ( Equação 2 ).

Com base no caractere derivável (para calcular os novos pesos), a função sigmoide é normalmente usada como de decisão e fornece um valor de ativação dentro do intervalo [0,1]. A função local é ajustada por processos de aprendizagem. Usando uma metodologia de algoritmos conhecida como aprendizagem supervisionada, o algoritmo varia o valor dos pesos que conectam as unidades neuronais de acordo com os desvios de um conjunto de dados de treinamento, que especificam os valores de ativação das unidades de saída correspondentes a uma série de observações de entrada (dados rotulados).()Os problemas solucionados com aprendizagem supervisionada baseiam-se em classificadores numéricos adaptativos.()

Retropropagação em redes multicamadas

Essa função é especialmente adequada para a propagação do erro observado para as camadas ocultas, já que não temos disponíveis as saídas desejadas para esses neurônios ocultos. Essa RNA é treinada pela aprendizagem supervisionada do tipo retropropagação.()Dessa forma, os erros são propagados de trás para a frente.()

OBJETIVO

O objetivo dessa rede neural artificial é calcular o risco de infecção hospitalar dos pacientes da unidade de terapia intensiva avaliada. Isso é feito a partir de um modelo simulado, baseado em conjuntos de dados sintéticos derivados de um banco de dados real, para fins de demonstração. A intenção é apresentar uma rede neural artificial preliminar nesse contexto médico e demonstrar a construção e as análises passo a passo, facilitando a incorporação de quaisquer ajustes e melhorias que se façam necessários para atender às necessidades de usuários específicos. Além disso, mostramos como é possível propor e solucionar esse modelo por meio de uma rede neural artificial baseada em algoritmos de aprendizagem supervisionada. Analisamos as diferenças no comportamento dos algoritmos com a variação dos parâmetros, tentando chegar ao desenho ideal.

MÉTODOS

Seleção de fatores associados ao desenvolvimento de infecção hospitalar

A seleção dos fatores de risco para elaboração dos conjuntos de dados sintéticos baseou-se nos fatores revelados por Suka et al.,()que usaram dados adquiridos do componente de UTI do sistema JANIS. Os autores analisaram tais dados para elucidar fatores associados ao desenvolvimento de infecções hospitalares e determinar taxas de infecção para benchmarking . Esses fatores foram selecionados com base em uma análise multivariada. Foram determinadas as hazard ratios (HR) com intervalos de confiança de 95% para os diversos fatores selecionados.

A geração dos conjuntos de dados sintéticos baseou-se nos HR revelados dos fatores associados ao desenvolvimento de infecções hospitalares.()Os dados foram construídos com base nas informações fornecidas por Barraclough et al.,()com o valor binário de cada variável obtido de uma distribuição de probabilidades, de acordo com o respectivo HR, dependendo da classificação do paciente em questão. Os conjuntos de dados de treinamento e validação seguem uma distribuição realista dos valores envolvidos.

Composição das planilhas

Todos os pacientes compartilham diversos atributos que podem ser quantificados. As colunas na planilha representam esses atributos, que diferenciam os pacientes. As variáveis binárias são usadas para representar se cada paciente apresenta cada um desses atributos. Essas variáveis binárias são usadas para descrever a atividade das unidades neuronais de entrada e saída.

Nas planilhas, cada linha, ou padrão (pattern) , representa um paciente de UTI diferente. Esses dados são importados no Java Neural Network Simulator (JavaNNS)()para que sejam executadas as simulações. Esse trabalho analisa como o JavaNNS()aprende a representar e a categorizar esses pacientes com base em atributos selecionados, colocando-os nas categorias de risco de infecções hospitalares presente e ausente, ou seja, se um paciente tem risco ou não de contrair infecções hospitalares.

Diversos fatores de risco importantes relativos ao paciente e associados ao desenvolvimento de infecções hospitalares foram selecionados, para caracterização dos pacientes, conforme tabela 1 .

Tabela 1

Fatores de risco importantes relativos ao paciente e associados ao desenvolvimento de infecções hospitalares selecionados

Fator
Sexo		Masculino=1; feminino=0
Idade
	Idade 16-44	Sim=1; não=0
	Idade 45-64	Sim=1; não=0
	Idade 65-74	Sim=1; não=0
	Idade ≥75	Sim=1; não=0
Gravidade da doença, escore APACHE II
	Escore APACHE II 0-10	Sim=1; não=0
	Escore APACHE II 11-20	Sim=1; não=0
	Escore APACHE II ≥21	Sim=1; não=0
Cirurgia (tanto eletiva quanto urgente)		Sim=1; não=0
Uso de dispositivos
	Uso de ventilador	Sim=1; não=0
	Sonda urinária	Sim=1; não=0
	Acesso venoso central	Sim=1; não=0

APACHE II: Acute Physiology and Chronic Health disease Classification System II .

Como esses fatores foram selecionados com base no estudo de Suka et al.,()que utilizaram o banco de dados do JANIS, essa UTI fictícia teria as mesmas características: pacientes de 16 anos ou mais, com tempo de internação na unidade de 48 a 1.000 horas, que não tivessem sido transferidos para outra UTI, e não tivessem sido infectados nos primeiros 2 dias após a internação na unidade.()A categorização fornecida pela RNA é na seguinte unidade de saída: risco de infecções hospitalares – sim=1; não=0.

Cada linha representa um conjunto de unidades de entrada e saída. Duas planilhas diferentes foram criadas com essas características. Uma tem 15 pacientes ou padrões e foi usada para treinamento da rede.()Esse conjunto de treinamento foi escolhido de modo que tivesse um tamanho 15 vezes maior que o número de classes a serem obtidas.()A outra planilha tem seis pacientes ou padrões e foi usada para validação da rede.()Esse conjunto de validação foi escolhido de modo que tivesse um tamanho seis vezes maior que o número de classes a serem obtidas.()

Elaboração dos arquivos padrão do Java Neural Network Simulator

Para criar os arquivos padrão do JavaNNS, usou-se o programa MATLAB®, versão 7.5.0.342 (R2007b). O MATLAB® tem essa funcionalidade, que pode ser usada digitando-se o comando “xls2nns([])”. Cria-se, então, um novo arquivo, com o mesmo nome da planilha, mas com a extensão .pat. Os dois arquivos padrão criados, UTI trainingdata_NI.pat()e UTI validationdata_NI.pat,()são usados para treinamento e validação da rede, respectivamente. A validação é usada para determinar o desempenho da RNA em padrões que não sejam treinados durante a aprendizagem.()

Simulações de redes neurais

Aqui é usada uma RNA perceptron multicamadas, que é uma rede feed-forward sem conexões de atalho. No JavaNNS, em Tools/Create/Layers [Ferramentas/Criar/Camadas], a largura é alterada para 12, o número de unidades neuronais de entrada. Novamente, em Tools/Create/Layers [Ferramentas/Criar/Camadas], a largura é alterada para 1, o número de unidades de saída. Depois, a rede é conectada em feed-forward .()A rede resultante é mostrada na figura 1 .

Figura 1

A arquitetura da rede neuronal utilizada foi projetada especificamente para este problema no Java Neural Network Simulator . O estado da rede aqui mostra uma rede neural artificial treinada com previsão de saída da rede para um dos padrões de validação

A função de inicialização é definida com pesos aleatórios, e o botão Init é pressionado, definindo os pesos com valores aleatórios.()

Funções e parâmetros de aprendizagem utilizados

Entre os algoritmos de aprendizagem supervisionada, foram usados os do tipo retropropagação. Há diferentes algoritmos de retropropagação disponíveis no JavaNNS. Os algoritmos retropropagação e retropropagação com momentum ()são empregados no treinamento dessa rede.

Os valores dos parâmetros usados nas simulações são mostrados na tabela 2 . Esses valores foram obtidos com base nos valores do arquivo xor. README dos exemplos do JavaNNS e nos valores default fornecidos no JavaNNS.(,)Os parâmetros do arquivo xor. README são alguns parâmetros que Fischer et al.,()usaram para treinar, com êxito, o problema XOR em uma rede neural. A RNA do problema XOR tem algumas semelhanças com a rede construída nessa pesquisa. Fischer et al.,()sugeriram o número de ciclos indicado na tabela 2 como necessário para treinar a rede no problema XOR com êxito. Esses parâmetros não foram obtidos com grandes estudos de significância estatística, mas são fornecidos pelo JavaNNS como dicas para que se iniciem as sessões de treinamento.()

Tabela 2

Valores dos parâmetros usados para todos os modelos de combinações de funções de aprendizagem e conjuntos de parâmetros

Função de aprendizagem:	η	d max	μ	c	Ciclos
Retropropagação com valores do arquivo xor. README	2,0	0,1			2.000
Retropropagação com valores default	0,2	0,1			2.000
Retropropagação com momentum com valores do arquivo xor. README	3,0	0,1	0,8	0,1	100
Retropropagação com momentum com valores default	0,2	0,1	0,5	0,1	100

Simulações

Como existe um componente aleatório no experimento, dez simulações são realizadas para cada um dos algoritmos de aprendizagem e conjuntos de parâmetros, comparando-se os resultados por meio da soma dos erros quadráticos ( sum of squared errors, ou SSE) das janelas Log e Error graph .()Os resultados são comparados com parâmetros prévios, bem como entre as diferentes tentativas.

Usando o conjunto de validação, a janela Error graph exibe simultaneamente uma linha adicional cor-de-rosa, que corresponde ao erro do conjunto de validação. Utiliza-se a SSE, a soma das diferenças quadráticas entre a saída desejada e a real, para todas as unidades de saída em todos os padrões de treinamento ou validação. A janela de Log mostra, durante o treinamento, os valores de SSE dos conjuntos de validação e treinamento.()A SSE da janela de Log é, então, dividida pelo número de padrões em cada conjunto ( Tabela 3 ).

Tabela 3

Erro quadrático médio por padrão para cada uma das funções de aprendizagem e conjuntos de parâmetros, mostrado para cada um dos conjuntos de padrões. Os dados foram obtidos a partir da soma dos erros quadráticos mostrados na janela de Log correspondente à última tentativa e dividindo-se pelo número de padrões em cada conjunto

	MSE
Função de aprendizagem	Conjunto de treinamento	Conjunto de validação
Retropropagação com valores do arquivo xor. README	0,0	0,02760293
Retropropagação com valores default	0,0	0,01951062181
Retropropagação com momentum com valores do arquivo xor. README	0,0	0,0
Retropropagação com momentum com valores default	0,0	0,01153508821

MSE: erro médio por padrão.

Após o fim do treinamento, na janela Updating , os padrões de treinamento e validação são passados, um a um. Cada padrão é visualizado por cores e numericamente, em todos os neurônios da rede, para observar se a rede teve êxito ou falhou em cada padrão de entrada. A RNA treinada também é avaliada por uma matriz de confusão.

É usada a ordem topológica do modo de atualização.()Pressionar Learn all na guia de aprendizagem percorre todos os padrões, pelo número de vezes (ciclos) especificado.

Para as dez tentativas, os botões Init e Learn all são pressionados uma vez para cada tentativa. Os gráficos acumulam-se na janela Error graph , em cores diferentes ( Figuras 2 e 3 ). Um fluxograma com um resumo dos métodos é mostrado na figura 4 .

Figura 2

Dez simulações realizadas no Java Neural Network Simulator com a função de aprendizagem por retropapagação, comparando-se os resultados pela soma dos erros quadráticos na janela Error graph . A linha cor-de-rosa corresponde à soma dos erros quadráticos do conjunto de validação, durante a última tentativa. Parte inferior: com os valores de parâmetros do arquivo xor. README. Parte superior: com os valores de parâmetros default

Figura 3

Dez simulações realizadas no Java Neural Network Simulator com a função de aprendizagem por retropropagação com momentum , comparando-se os resultados pela soma dos erros quadráticos na janela Error graph . A linha cor-de-rosa corresponde à soma dos erros quadráticos do conjunto de validação, durante a última tentativa. À direita: com os valores de parâmetros do arquivo xor. README. À esquerda: com os valores de parâmetros default

Figura 4

Fluxograma para aprendizagem supervisionada no Java Neural Network Simulator

RESULTADOS

Função de aprendizagem por retropropagação

O algoritmo de retropropagação teve os seguintes parâmetros: parâmetro de aprendizagem η, indicando a largura do degrau da descida do gradiente, e dmax , correspondente à diferença máxima entre uma saída desejada e uma saída real que fosse tolerada.()

Função de aprendizagem por retropropagação com momentum

O algoritmo de retropropagação com momentum teve os seguintes parâmetros:()parâmetro de aprendizagem η, conforme descrito anteriormente; μ, termo de momentum , indicando a quantidade do ajuste de peso anterior (relativo a 1), adicionado à alteração atual;() c, valor de eliminação de flat spot , constante adicionada à derivada da função de ativação para que a rede pudesse passar por flat spots da superfície do erro()e dmax, conforme já descrito.

Tabela de erros e comentários dos resultados

Na figura 2 , parte inferior, a SSE dos padrões de treinamento desapareceu em todas as tentativas antes dos 40 ciclos e muito antes do máximo de 2.000 ciclos. O erro quadrático médio (MSE) do conjunto de validação foi 0,02760293, ou seja, um erro muito pequeno. Em 2.000 ciclos, o valor permaneceu o mesmo, e, nesse MSE, a rede teve seu melhor desempenho, correspondendo ao momento em que o treinamento devia ser interrompido.

Na figura 2 , parte superior, a SSE diminuiu progressivamente, até chegar a 0,0 em todas as tentativas antes dos 450 ciclos. A linha cor-de-rosa atingiu seu MSE mínimo, com erro também muito pequeno. Em comparação à parte inferior da figura 2 , os valores default aqui mostraram um desempenho inferior.

Na figura 3 , à direita, a SSE foi 0,0 antes dos dez ciclos, para todas as tentativas. O MSE da linha cor-de-rosa foi 0,0. O algoritmo retropropagação com momentum demonstrou um resultado melhor em comparação ao algoritmo retropropagação.

Na figura 3 , à esquerda, a SSE diminuiu progressivamente até chegar a 0,0, em cem ciclos. O MSE da linha cor-de-rosa foi 0,011535088, ou seja, um valor muito pequeno. O desempenho com valores default foi inferior ao de valores do arquivo xor. README para esse algoritmo retropropagação com momentum . Para os valores de parâmetros default , o algoritmo retropropagação com momentum mostrou um desempenho superior ao do algoritmo retropropagação.

Na tabela 4 , apresentamos a classificação obtida após treinamento para os 15 padrões de treinamento e os seis de validação, mostrando os êxitos e as falhas. Um padrão foi classificado corretamente como risco de infecções hospitalares presente se a ativação da unidade de saída fosse ≥0,6. Um padrão foi classificado corretamente como risco de infecções hospitalares ausente se a ativação da unidade de saída fosse ≤0,4.

Tabela 4

Classificação dos 15 padrões de treinamento e seis de validação, obtidos na aba Updating , após treinamento com os padrões de treinamento

Função de aprendizagem	Padrões de treinamento		Padrões de validação
	Êxitos	Falhas	Êxitos	Falhas
Retropropagação com valores do arquivo xor. README	15	0	6	0
Retropropagação com valores default	15	0	6	0
Retropropagação com momentum com valores do arquivo xor. README *	15	0	6	0
Retropropagação com momentum com valores default	15	0	6	0

Com essa função e esses parâmetros, o erro das unidades foi particularmente pequeno, quase inexistente.

Não houve falhas na categorização de pacientes quanto ao respectivo risco de infecções hospitalares. O algoritmo retropropagação com momentum usando valores do arquivo xor. README apresentou erro quase inexistente. A rede teve seu melhor desempenho com o algoritmo de retropropagação com momentum , usando-se os valores do arquivo xor. README.

Avaliação por matriz de confusão

O estado de previsão mais provável para cada padrão foi, então, comparado ao valor real da ativação da unidade de saída para o caso em particular. A matriz de confusão forneceu o número total de casos nas 21 situações. Caso a rede estivesse funcionando bem, então as entradas na diagonal principal seriam grandes, se comparadas às outras fora dessa diagonal. Isso é observado na tabela 5 .

Tabela 5

Matriz de confusão de desfechos previstos e efetivamente ocorridos relativos ao risco de infecção hospitalar em 21 casos dos conjuntos de dados de treinamento e validação

Risco de infecções hospitalares		Previsto
		Risco de infecções hospitalares presente	Risco de infecções hospitalares ausente
Real	Risco de infecções hospitalares presente	12	0
	Risco de infecções hospitalares ausente	0	9

DISCUSSÃO

Os resultados revelaram variações relativas no desempenho das diferentes combinações de algoritmos de aprendizagem e conjuntos de parâmetros. A função de retropropagação com momentum demonstrou os melhores resultados. Os resultados foram superiores com os valores de parâmetros do arquivo xor. README. No entanto, como descrito por Fischer et al.,()esses parâmetros não devem ser citados como ideais e nem usados em comparações de simuladores de redes.

A habilidade dessa RNA de prever quem tem maior probabilidade de contrair infecções hospitalares é 100% precisa para as características básicas fornecidas. Caso muitos atributos sejam incluídos para caracterização como variáveis de entrada e/ou muitas classes sejam incluídas como variáveis de saída, é necessário incluir uma grande quantidade de padrões. Se, após testar a rede quanto aos êxitos e falhas de cada um dos padrões de treinamento e validação, não for possível alcançar uma alta percentagem de êxitos, talvez seja necessário adicionar uma ou várias camadas de neurônios ocultos. Além disso, outros tipos de funções de aprendizagem por retropropagação podem ser usados no JavaNNS, como os algoritmos de propagação Quickprop ou Resilient.

A distribuição dos fatores de risco para infecções hospitalares difere muito, dependendo do hospital e do tempo. Devido a essas variações, dados de regiões diferentes podem ser de natureza diversa, com diferenças na incidência de infecções hospitalares. Caso não haja um ajuste adequado para a região e o tempo específicos em questão, isso pode levar a falsas conclusões. Recomendam-se usar análises multivariadas retrospectivamente para revelar os fatores de risco associados ao desfecho investigado. Variáveis do tipo float também podem ser usadas com o JavaNNS. Na verdade, o uso de dados de entrada contínuos reduz o número de neurônios de entrada e simplifica a arquitetura da rede. Recomenda-se usar o menor número possível de variáveis.()

Neste estudo, as infecções hospitalares não foram classificadas por sítio da infecção. Esta pesquisa pode servir de base aos pesquisadores para que eles possam expandir este projeto, e as planilhas podem ser preparadas com classificação por sítio da infecção. Quando o modelo for definido em um contexto de dados reais, ele deve ser avaliado com, pelo menos, um conjunto de validação de padrões de casos reais. Isso precisa ser validado e testado com um número suficiente de padrões de pacientes reais e depende de grandes volumes de dados. Nesse contexto médico, esses conjuntos de dados devem conter centenas ou milhares de amostras de padrões. No caso de um conjunto de dados muito reduzido, um esquema de validação cruzada deve ser usado para validação da rede. Além disso, outros tipos de métodos preditores podem ser testados para comparação dos resultados aos da RNA. O único estudo encontrado na literatura com um contexto clínico semelhante e que contempla algumas dessas limitações é o de Chang et al.()

CONCLUSÃO

Este artigo propõe um método preliminar para prever o risco de infecção hospitalar em unidades de terapia intensiva, adotando-se inteligência artificial e redes neurais artificiais para alcançar melhorias. Esse modelo é usado para demonstrar o desenho e as análises passo a passo, usando-se um conjunto de dados sintéticos derivado do sistema Japanese Nosocomial Infection Surveillance . Embora este modelo se baseie em um conjunto de dados sintéticos, o excelente desempenho observado com um pequeno número de padrões sugere que o uso de números maiores de variáveis e camadas de rede, para analisar volumes maiores de dados, pode criar redes neurais artificiais poderosas, possivelmente capazes de prever com precisão o risco de infecção hospitalar em unidades de terapia intensiva.