Machine learning in image analysis in ophthalmology.

Macular degeneration is the leading cause of irreversible blindness in developed countries in individuals aged over 50 years.( Aiming to better diagnose and monitor the disease, algorithms have been developed to detect lesions in optical coherence tomography (OCT). The ability of machine learning algorithms to detect OCT lesions may already be comparable to that of retina specialists.(

The theory of machine learning consists of simulating tiny synapses of a human brain. Neural networks were inspired by human synapses and are mathematical models applied in pattern classification and recognition.

As in human learning, computers must be exposed to data to learn through examples. Neural networks enable this learning and the application of knowledge in the classification of unknown images. The main features taught to the computer for image analysis are colors, shapes, location, and contrast. The neural network is trained to activate different outputs for various images presented during training. After each image presented, an internal weight is provided, which strengthens certain “synaptic connections”.

The training process includes presenting images that are randomly separated into three groups: training, validation, and verification. The training group is used to adjust the weight of connected networks. The validation group is used to determine the best moment to finish training, and the verification group is subsequently applied, defining the performance of the algorithm.(

Studies on this new interpretation of computational patterns can improve the understanding of diseases, besides increasing the confidence of physicians in the diagnosis aided by machine learning techniques.

A study developed by Xu et al., required 654 spectral domain OCT images of patients with macular degeneration to have 96% accuracy in the identification of intraretinal fluids.( Another study, developed by Chakravarthy et al., required 155 spectral domain OCT images to achieve 93% accuracy in the identification of intraretinal fluids.( The study by Kermany et al., required 207,130 OCT images to have 96.6% accuracy in the identification of drusen.( The study by Khalid et al., required 6,800 OCT images to achieve 98% accuracy in the detection of drusen( ( Table 1 ).

Table 1

Number of images needed to teach the algorithms how to automatically detect lesions in optical coherence tomography

Study	Image	Accuracy (%)
Xu et al.( 4 )	Intraretinal fluids (654)	96
Chakravarthy et al.( 5 )	Intraretinal fluids (155)	93
Kermany et al.( 6 )	Drusen (207,130)	96.6
Khalid et al.( 7 )	Drusen (6,800)	98

It is therefore understood that the algorithms required more images of drusen than of intraretinal fluid to learn the pattern. This can possibly be explained by the size, location, and contrast difference between these two groups of lesions studied in OCT images. The recognition of machine standards involves attribution techniques with as little human intervention as possible.(

Computer vision uses pattern recognition. The classification model is usually based on the availability of a set of patterns that were used in the group of training images. The algorithm learning methodology occurs with the determination of random weights for learning, using the characteristics of the objects employed in the training set. The model adjusts the weights to get a correct image rating. The weight interaction is adapted according to the principle “punishment/reward”.( This method is used in humans from birth to recognize the objects that surround us. This learning capacity has been developed over thousands of years of evolution, and has allowed humans to recognize food and predators appropriately. In the process of image recognition by the computer, an initial image segmentation occurs and, later, the extraction of the characteristics to be analyzed. In image segmentation, the object to be recognized is isolated from the rest of the image, and during the extraction of the characteristics, attribute vectors are assigned, decreasing the amount of information to classify it.( It is interesting to be able to learn from algorithms how to identify patterns that are not naturally valued by humans.

As an example of the image segmentation methodology, there is the methodology of segmenting grayscale thresholds, used to establish the limits of the image.( After the image segmentation process, algorithms begin to extract relevant resources to decrease the computational power required during the classification process. This information embedded into the process of developing vector attributes, provides the development of algorithms with less computational power to learn how to classify images.

Algorithms require a large number of images from which to be learned, requiring data from different populations, which creates a current problem in training algorithms for detecting rare diseases.(

In the unsupervised learning process, in which there is no teacher to determine whether the output response is satisfactory, it is possible to learn from algorithms, improving understanding of how the weights they provide for certain decisions are different from humans. This may be assessed by heat maps that indicate how important each image location for the algorithm classification. This technique enables visualizing the parts of the image that are most important for the classification by the deep neural network. This provides further confirmation that the algorithm is, in fact, identifying the area of the photo that is important for diagnosis ( Figure 1 ).

Figure 1

Heat maps that indicate how important is each image location for the algorithm classification

Advances in the development of algorithms for image analyses have therefore proven promising in many areas of medicine, such as ophthalmology.

A degeneração macular é a principal causa de cegueira irreversível em indivíduos com mais de 50 anos em países desenvolvidos.( Visando à melhor forma de diagnosticar e monitorar essa doença, foram desenvolvidos algoritmos para detecção de lesões de tomografia de coerência óptica (OCT - optical coherence tomography ). A capacidade dos algoritmos de aprendizado de máquina para detectar lesões de OCT já pode ser comparável a de especialistas em retina.(

A teoria do aprendizado da máquina consiste em simular pequenas sinapses de um cérebro humano. As redes neurais foram inspiradas nas sinapses humanas e são modelos matemáticos aplicados na classificação e no reconhecimento de padrões.

Assim como no aprendizado humano, os computadores devem ser expostos a dados para aprender por meio de exemplos. As redes neurais permitem esse aprendizado e a aplicação dos conhecimentos na classificação de imagens desconhecidas. Os principais fatores que são ensinados ao computador para análise de imagens são cores, formas, localização e contraste. A rede neural é treinada para ativar diferentes saídas para variadas imagens apresentadas durante o treinamento. Após cada imagem apresentada, é fornecido um peso interno, que fortalece certas “conexões sinápticas”.

O processo de treinamento inclui a apresentação de imagens que são divididas aleatoriamente em três grupos: treinamento, validação e verificação. O grupo de treinamento é usado para ajustar o peso das redes conectadas. O grupo de validação é utilizado para determinar o melhor momento para finalizar o treinamento, e, então, o grupo de verificação é aplicado, definindo o desempenho do algoritmo.(

Estudos sobre essa nova interpretação de padrões computacionais podem melhorar o entendimento das patologias, além de aumentar a confiança da classe médica no diagnóstico auxiliado por técnicas de aprendizado de máquina.

Estudo desenvolvido por Xu et al., necessitou de 654 imagens de OCT de domínio espectral de pacientes com degeneração macular para ter precisão de 96% na identificação de fluidos intrarretinais.( Outro estudo, este desenvolvido por Chakravarthy et al., necessitou de 155 imagens de OCT de domínio spectral para ter precisão de 93% na identificação de fluidos intrarretinianos.( O estudo de Kermany et al., precisou de 207.130 imagens de OCT para ter 96,6% de acurácia na identificação de drusas.( Já o estudo de Khalid et al., necessitou de 6.800 imagens de OCT para ter 98% de precisão na detecção de drusas( ( Tabela 1 ).

Tabela 1

Número de imagens necessárias para ensinar aos algoritmos como detectar lesões automaticamente em exames de tomografia de coerência óptica

Estudo	Imagem	Acurácia (%)
Xu et al.( 4 )	Líquido intrarretiniano (654)	96
Chakravarthy et al.( 5 )	Líquido intrarretiniano (155)	93
Kermany et al.( 6 )	Drusas (207.130)	96,6
Khalid et al.( 7 )	Drusas (6.800)	98

Assim, entende-se que os algoritmos exigiram mais imagens de drusas do que de líquido intrarretiniano para aprender o padrão. Isso possivelmente pode ser explicado pelo tamanho, pela localização e pela diferença de contraste entre esses dois grupos de lesões estudadas nas imagens de OCT. O reconhecimento de padrões de máquina envolve técnicas de atribuição com o mínimo de intervenção humana possível.(

A visão computacional usa o reconhecimento de padrões. O modelo de classificação geralmente é baseado na disponibilidade de um conjunto de padrões que foram usados no grupo de imagens de treinamento. A metodologia de aprendizagem do algoritmo ocorre com a determinação de pesos aleatórios para a aprendizagem, utilizando as características dos objetos empregados no conjunto de treinamento. O modelo ajusta os pesos para obter uma classificação correta da imagem. A interação dos pesos é adaptada de acordo com o princípio “punição-recompensa”.( Esse método é usado em seres humanos desde o nascimento, para reconhecer os objetos que nos rodeiam. Essa capacidade de aprendizado foi desenvolvida ao longo de milhares de anos de evolução, e permitiu aos humanos reconhecerem alimentos e predadores de maneira adequada. No processo de reconhecimento da imagem pelo computador ocorre uma segmentação inicial da imagem e, posteriormente, a extração das características a serem analisadas. Na segmentação da imagem, o objeto a ser reconhecido é isolado do restante da imagem, e, durante a extração das características, são atribuídos vetores de atributos, diminuindo a quantidade de informações para classificá-la.( É interessante poder aprender com os algoritmos como identificar padrões que não são valorizados naturalmente pelos humanos.

Como exemplo da metodologia de segmentação de imagens, tem-se a metodologia de segmentação de limiares de tons de cinza para estabelecer os limites da imagem.( Após o processo de segmentação da imagem, os algoritmos começam a extrair recursos relevantes para diminuir o poder computacional necessário durante o processo de classificação. Essas informações, incorporadas ao processo de desenvolvimento de atributos vetoriais, proporcionam o desenvolvimento de algoritmos com menor poder computacional para aprender a classificar imagens.

Os algoritmos requerem um grande número de imagens para ser aprendidas, exigindo dados de diferentes populações, o que gera um problema atual no treinamento de algoritmos para detecção de doenças raras.(

No processo de aprendizagem não supervisionado, no qual não há professor para determinar se a resposta de saída é satisfatória, é possível aprender com os algoritmos, melhorando o entendimento sobre como os pesos que eles fornecem para certas decisões são diferentes dos humanos. Isso pode ser avaliado por mapas de calor que indicam o quão importante cada localização da imagem é fundamental para a classificação do algoritmo. Essa técnica permite visualizar as partes da imagem que são mais importantes na classificação da rede neural profunda. Isso fornece mais uma confirmação de que o algoritmo está, de fato, identificando a área da foto que é importante para o diagnóstico ( Figura 1 ).

Figura 1

Mapas de calor indicam o quão importante cada localização da imagem é fundamental para a classificação do algoritmo

Dessa forma, o avanço no desenvolvimento de algoritmos de análise de imagens tem se demonstrador promissor em muitas áreas de medicina, como a oftalmologia.