Mobile device for thrombolysis decisions for telestroke.

AIM: This study compares the reliability of brain CT interpretations performed using a diagnostic workstation and a mobile tablet computer in a telestroke context.
METHODS: A factorial design with 1,452 interpretations was used. Reliability was evaluated using the Fleiss' kappa coefficient on the agreements of the interpretation results on the lesion classification, presence of imaging contraindications to the intravenous recombinant tissue-type plasminogen activator (t-PA) administration, and on the Alberta Stroke Program Early CT Score (ASPECTS).
RESULTS: The intra-observer agreements were as follows: good agreement on the overall lesion classification (κ= 0.63, p<0.001), very good agreement on hemorrhagic lesions (κ= 0.89, p<0.001), and moderate agreements on both without acute lesion classification and acute ischemic lesion classification (κ= 0.59 and κ= 0.58 respectively, p<0.001). There was good intra-observer agreement on the dichotomized-ASPECTS (κ= 0.65, p<0.001).
CONCLUSIONS: The results of our study allow us to conclude that the reliability of the mobile solution for interpreting brain CT images of patients with acute stroke was assured, which would allow efficient and low-cost telestroke services.

Introduction

Patients who arrives at emergency services with acute stroke symptoms, are diagnosed and treated using a well establish and standardized protocol, named the stroke code, for which several tasks are undertaken. One of the main outcomes for this group of patients is determine whether to treat the patient with tissue plasminogen activator (t-PA) administration or whether to perform an endovascular thrombectomy. As part of this protocol, a non-contrast brain computed tomography (CT) examination is performed , and its interpretation is achieved by experienced neuroradiologists, who in a first step must establish if there are no contraindications for the t-PA administration based on the provided images. Further, in addition to the neurologist’s expertise, the patient´s treatment is determined, which is crucial for the patient’s outcome.

In the brain CT interpretation the patient’s lesion is be classified as one of the following: hemorrhagic lesion, acute stroke, chronic stroke, or without acute lesion. A hemorrhagic lesion is a contraindication to the t-PA administration; other contraindications arrive if there are signs such as the presence of intraaxial neoplasm, intracranial neoplasm, arteriovenous malformation, aneurysm, hemorrhagic transformation of an ischemic infarct. Besides, if the patient´s Alberta Stroke Program Early CT Score (ASPECTS) , which is used for assessing the size of the infarct on brain CT scans , is less than or equal to six, the patient is not eligible to the t-PA administration , , , as there is a high risk of malignant middle cerebral artery infarction after the t-PA administration . For these reasons, interpretations of brain CT of patients with acute stroke sings in our hospital are performed by neuroradiologists with significant expertise in stroke. However, in most hospitals in our country, there are no neuroradiologists, at all. Similarly, our location, which is a Joint Commission International (JCI)-certified primary stroke center with endovascular thrombectomy capabilities, there are no enough of them to support a telestroke network. In order to increase the supply and availability of neuroradiologists, mobile solutions using tablet computers may be developed.

The aim of this study was to evaluate the reliability of brain CT scan readings performed by means of a primary diagnostic interpretation workstation and a mobile tablet computer in the context of a Colombian emergency telestroke network. According to the 2015 report of the Colombian Ministry of Health and Social Protection (MHSP) , cerebrovascular disease has a global mortality rate of 32.8/100,000, an approximate incidence of 97.4/100,000. In addition, an estimated disability-adjusted life-years (DALYs) loss of 364.5 was reported .

In order to carry out clinical assessments when a gold standard is not available, or in order to complement assessments based on a gold standard (e.g., sensitivity, specificity, PPV), a reliability analysis can be undertaken. The reliability refers to the reproducibility or agreement in measurements of the variables for each case that was rated by different observers (i.e., inter-observer agreement), or cases rated by the same observer using different methods (i.e., intra-observer agreement). The agreement assessment can be achieved using loglinear agreement models, latent trait models of agreement and kappa-type statistic, as summarized by Nelson and Pepe .

In a previous work we evaluated the reading systems from another non-conventional perspective: we investigated the effect sizes of the reading systems on the magnitude of the clinical variables and their statistical equivalence by means of generalized estimated equations , showing no-effect of the reading systems on the related variables. In contrast, in the present work we evaluated reliability in terms of interpretation agreements, using the Fleiss’ kappa coefficient over the interpretations results, which is a more suitable clinical approach to evaluate the interchangeability of the evaluated devices in a clinical context.

Although other studies have evaluated the potential equivalence between diagnostic workstations and mobile tablet computers - , the approach that we used to perform the interpretations in a more realistic environment, along with the assessment process, and the variables evaluated, are the principal differences between our study and previous the ones; which were not set to rule out brain CT contraindications prior to intravenous thrombolysis based on image contraindications or ASPECTS scores.

Materials and Methods

The Institutional Review Board (IRB) of our institution approved this retrospective study, and informed consent was not required. This study used an observational cross-sectional and retrospective setting to describe and to compare diagnostics test. A repeated measurements design with 1,452 interpretations were used (121 cases, 6 radiologists, and 2 reading systems. The cases were brain CT examinations acquired using a General Electric LightSpeed 64 slice CT scanner (General Electric Healthcare, GE Medical Systems, Milwaukee, WI, USA), and stored in a PACS system. Cases included brain CT images of adult males and females who arrived at our emergency room between 2013 and 2016, with symptoms of acute stroke, in whom the stroke code was activated, and the brain CT was performed as part of his stroke management. Cases were selected at random basis without repetition from the stroke database by a doctor who was no part of observers. Cases with image artifacts were excluded. Interpretations were performed by three neuroradiologists with more than ten years of experience, two with more than four years of experience, and one neuroradiology fellow. Interpretations were completed by all radiologists over all cases using two different reading systems:

1) the routine system for CT readings in our hospital, which consist of a medical grayscale display E-2620 BARCO (BARCO N.V, Kortrijk, Belgium), and a viewer software Agfa IMPAX 6.5 (AGFA HealthCare, Mortsel, Belgium), hereafter referred to as MEDICAL-IMPAX; and,

2) a mobile option, which consist of an Apple iPad Pro 9.7 MLMN2CL/A (Apple Inc., Cupertino, CA, USA) with a “retina” display, and a viewer software Agfa XERO Viewer 3.0 (Agfa HealthCare, Mortsel, Belgium), hereafter referred to as TABLET-XERO. The two-reading software provided image manipulation tools to adjust the window/level, the zoom, and the multiplanar reformation presentation. These tools were available for all images and could be used at the observer’s discretion to improve image interpretations. The initial display used the default image window setting (WW= 174 and WL= 55), but radiologists were free to select another window, such as a cerebral or a stroke window (WW= 80 and WL= 40 or WW= 40 and WL= 40, respectively).

We were interested in evaluating mobile solutions to be used for telestroke at the hospital. By means of real clinical scenarios that included a complete clinical background, specific neurological symptoms and the time of symptoms onset, we designed this study to perform image interpretations as closely and realistically as occur in routine clinical practice, using the first, emergency brain CT scan. We used the same radiologists who routinely read brain CT images in the hospital (i.e., neuroradiologists and neuroradiology fellows), and the same clinical information provided to radiologists in clinical practice (e.g., admission diagnosis, neurological symptoms, age and sex). In addition, the same interpretation process was conducted, in which the type of stroke (i.e., hemorrhagic lesion, acute ischemic lesion, chronic ischemic lesion, or without lesion) was classified. Furthermore, according to the selected lesion type, the radiologist classified other variables: the presence of any imaging contraindication to the t-PA administration (e.g., intraaxial neoplasm, arteriovenous malformation, aneurysm, hemorrhagic transformation of an ischemic infarct, hypodensity >1/3 of the vascular distribution of the middle cerebral artery); confidence in the presence of the hyperdense middle cerebral artery sign (HMCA); and the ASPECTS score (ranging from 0-10), which is a method for assessing the size of an infarct on CT scans in patients with acute stroke. For evaluation purposes, the ASPECTS score was dichotomized (0-6 and 7-10).

The radiologists were blinded to the patient and examination identification, to the original interpretation, and to the type of lesion. The data collection was performed using a web-based form, and interpretations were stored in a MySQL database (Oracle Corporation, Redwood City, CA, USA). This software presents the patient cases to be interpreted at random and guides the radiologists to complete the report, assuring integrity and completeness of data, therefore we have no missing data.

There were at least a five-month interval between the readings from the same patient by the same radiologist using the compared systems. This study was a counterbalanced study for the reading systems used by each radiologists and cases were presented at random.

To further evaluation of diagnostic power, by receiver operating characteristic (ROC) curves, we used the table proposed by Obuchowski , in order to determine the sample size. We adopted the following criteria: a) six observers, b) moderate variability between radiologists and high accuracy of the diagnostic examination, c) moderate differences among AUCs (i.e., 0.1) and d) a 2:1 ratio between malignant and benign cases. Using these criteria, 50 cases were required. The sample size was set at 121 cases, including all the cases available in our database in order to improve accuracy.

The readings were performed over the course of ten months in two- or four-hour sessions by each radiologist, with no time limitation for each reading.

More detailed descriptions of the sample, the observers, the reading systems and the interpretation procedures, were presented in the our previous evaluation . However, the data analysis presented in this work is completely different, as it is a reliability evaluation.

For all variables, we evaluated intra-observer agreement (i.e., agreements on interpretations when interpreting the same patient images using the two reading systems, the MEDICAL-IMPAX and TABLET-XERO), and interobserver agreement (i.e., agreements between radiologists when interpreting the same patient within a single reading system). The agreement evaluation was performed using Fleiss’ kappa coefficient . The kappa coefficients were ranked as defined by Altman : “very good”, (κ= 1 to 0.81); “good”, (κ= 0.8 to 0.61); “moderate”, (κ= 0.6 to 0.41); “fair”, (κ= 0.4 to 0.21); and “poor”, κ <0.2. For these calculations, the software STATA 13.0 (Stata Corp, College Station, TX, USA) was used.

Results

According to the routine primary diagnostic interpretation by a neuroradiologist, the distribution of lesions in the sample was as follows: patients without acute lesions (7), hemorrhagic lesions (11), acute ischemic lesions (67), and chronic ischemic lesions (36). The ages ranged from 30-97 years, with a mean age of 70.8 years (standard deviation of 15.2). There were 59 males and 62 females.

The intra-observer agreements between the Medical-IMPAX and Tablet-XERO reading systems for the pooled radiologists are presented in Table 1. The intra-observer agreements between the Medical-IMPAX and Tablet-XERO reading systems by individual radiologists are presented in Table 2. The interobserver agreements by reading system for the pooled radiologists are presented in Table 3.

Table 1

Intra-observer agreement between the Medical-IMPAX and Tablet-XERO reading systems.

Variable	Readings*	Patients	Fleiss’ Kappa†	Agreement‡
Lesion classification	1,452	121	0.63	Good
Without acute lesion			0.59	Moderate
Acute ischemic lesion			0.58	Moderate
Hemorrhagic lesion			0.89	Very Good
Presence of imaging contraindications to the t-PA administration	1,224	102	0.51	Moderate
ASPECTS classification
Dichotomized-ASPECTS (0-6; 7-10)	828	69	0.65	Good
ASPECTS 1-3			0.66	Good
ASPECTS 4-7			0.55	Moderate
ASPECTS 8-9			0.43	Moderate
ASPECTS 10			0.68	Good

* Readings were performed over two systems by six observers.

All values significant (p <0.001).

‡ As defined by Altman (18).

Table 2

Intra-observer agreement between the Medical-IMPAX and Tablet-XERO reading systems by radiologist.

Variable/Radiologist	Fleiss’ Kappa*	Agreement†
Lesion classification
Neuroradiologists	0.73	Good
Neuroradiologists	0.57	Moderate
Neuroradiologists	0.55	Moderate
Neuroradiologists	0.77	Good
Neuroradiologists	0.49	Moderate
Neuroradiology fellow	0.67	Good
Without acute lesion
Neuroradiologists	0.70	Good
Neuroradiologists	0.52	Moderate
Neuroradiologists	0.53	Moderate
Neuroradiologists	0.73	Good
Neuroradiologists	0.42	Moderate
Neuroradiology fellow	0.62	Good
Acute ischemic lesion
Neuroradiologists	0.70	Good
Neuroradiologists	0.53	Moderate
Neuroradiologists	0.47	Moderate
Neuroradiologists	0.75	Good
Neuroradiologists	0.41	Moderate
Neuroradiology fellow	0.62	Good
Hemorrhagic lesion
Neuroradiologists	0.89	Very Good
Neuroradiologists	0.89	Very Good
Neuroradiologists	0.82	Very Good
Neuroradiologists	0.95	Very Good
Neuroradiologists	0.87	Very Good
Neuroradiology fellow	0.95	Very Good

* Each agreement was calculated from 242 readings (121 cases by 2 reading systems). All values significant (p <0.001).

As defined by Altman (18).

Table 3

Interobserver agreement by reading system.

Variable	Reading system	Fleiss’ Kappa*	Agreement
Lesion classification	Medical-IMPAX	0.56	Moderate
	Tablet-XERO	0.56	Moderate
Without acute lesion	Medical-IMPAX	0.50	Moderate
	Tablet-XERO	0.52	Moderate
Acute ischemic lesion	Medical-IMPAX	0.50	Moderate
	Tablet-XERO	0.51	Moderate
Hemorrhagic lesion	Medical-IMPAX	0.90	Very Good
	Tablet-XERO	0.82	Very Good
Presence of imaging contraindications to the t-PA administration	Medical-IMPAX	0.38	Fair
	Tablet-XERO	0.33	Fair
ASPECTS classification
Dichotomized-ASPECTS (0-6;7-10)	Medical-IMPAX	0.51	Moderate
	Tablet-XERO	0.48	Moderate
ASPECTS 1-3	Medical-IMPAX	0.29	Fair
	Tablet-XERO	0.30	Fair
ASPECTS 4-7	Medical-IMPAX	0.41	Moderate
	Tablet-XERO	0.41	Moderate
ASPECTS 8-9	Medical-IMPAX	0.34	Fair
	Tablet-XERO	0.28	Fair
ASPECTS 10	Medical-IMPAX	0.57	Moderate
Tablet-XERO	0.59	Moderate

* There were 726 readings for lesion classification (121cases by 6 observers); 612 readings for the presence of imaging contraindications to the t-PA administration (102 cases by 6 observers); and 414 readings for the ASPECTS classification administration (69 cases by 6 observers). All values significant (p <0.001).

As defined by Altman (18).

Agreements on the lesion classification

There was good intra-observer agreement on the lesion classification, for the pooled group of radiologists, when each patient was interpreted using both the Medical-IMPAX and the TABLET-XERO reading systems by the same observer (κ= 0.63, p<0.001), as shown in Table 1. Marginal agreements for this variable, for the pooled group of radiologists, were very good on hemorrhagic lesion (κ= 0.89, p<0.001), and moderate on both without acute lesion classification (κ= 0.59, p<0.001) and on acute ischemic lesion classification (κ= 0.58, p<0.001).

Individual radiologist’s intra-observer agreements on the lesion classification ranged from κ= 0.49-0.77 (all p <0.001), and agreements were ranked as good or moderate, regardless the radiologists experience (Table 2).

For individual radiologists, marginal intra-observer agreements for this variable were as follows: there was very good agreements on hemorrhagic lesion for all radiologists, κ= 0.82-0.95 (all p <0.001); moderate or good agreements on the “other lesion” classifications for all radiologists (regardless of radiologist experience), κ= 0.42-0.73 (all p <0.001) and without acute lesion classifications, κ= 0.41-0.75 (all p <0.001) (Table 2).

There was moderate interobserver agreements on the lesion classification (κ= 0.56, p <0.001), on both the Medical-IMPAX and the TABLET-XERO reading systems (Table 3). Marginal agreements for this variable were very good on hemorrhagic lesion classification for both the Medical-IMPAX and the TABLET-XERO reading systems, with κ= 0.90 (p <0.001) and κ= 0.82 (p <0.001), respectively. All the other marginal interobserver agreements on lesion classification were moderate in both the Medical-IMPAX and the TABLET-XERO reading systems, and ranged from κ= 0.50-0.52.

Agreements on the ASPECTS score

Agreements on the Dichotomized-ASPECTS score

There was good intra-observer agreement on the dichotomized-ASPECTS (i.e., 0-6; 7-10), for the pooled group of radiologists, when each patient was interpreted using both the Medical-IMPAX and the TABLET-XERO reading systems (κ= 0.65, p<0.001), as shown in Table 1.

There was moderate interobserver agreement on the dichotomized-ASPECTS, on both the Medical-IMPAX and the TABLET-XERO reading systems, with κ= 0.51 (p <0.001) and κ= 0.48 (p <0.001), respectively (Table 3).

Agreements on the categorical-ASPECTS scores

To compare our results with those of a recent study published by McLaughlin et al. , in addition to the dichotomized ASPECTS, we calculated the agreements on the ASPECTS scores with the same categories defined in that study, i.e., ASPECTS scores grouped into four categories (1-3, 4-7, 8-9, and 10).

There was good intra-observer agreements on the categorical-ASPECTS scores, for the pooled group of radiologists, when each patient was interpreted using both the Medical-IMPAX and the TABLET-XERO reading systems for 1-3 and 10 categories (κ= 0.66 and κ= 0.68 respectively, both p<0.001), as shown in Table 1.

There was fair interobserver agreement on the categorical-ASPECTS scores, on both the Medical-IMPAX and the TABLET-XERO reading systems for categories 1-3 and 8-9, but there was moderate agreements on both the Medical-IMPAX and the TABLET-XERO reading systems for categories 4-7 and 10 (Table 3), having both reading systems very similar kappa values in each category.

Agreements on the presence of imaging contraindications to the t-PA administration

There was moderate intra-observer agreement on the presence of imaging contraindications to the t-PA administration, for the pooled group of radiologists, when each patient was interpreted using both the Medical-IMPAX and the TABLET-XERO reading systems (κ= 0.51, p<0.001), as shown in Table 1.

There was fair interobserver agreement on the presence of imaging contraindications to the t-PA administration, on both the Medical-IMPAX and the TABLET-XERO reading systems, with κ= 0.38 (p <0.001) and κ= 0.33 (p <0.001), respectively (Table 3).

Discussion

Good intra-observer agreement on the lesion classification was observed, with marginal agreements ranked as very good on hemorrhagic lesion and moderate on the other type of classification lesions. This suggests that when any radiologist interprets the same patient images using any of the two reading systems, the MEDICAL-IMPAX or TABLET-XERO, there are no differences in the initial patient’s outcome. This is remarkable in the detection of patients with hemorrhagic lesion for whom the t-PA administration is not appropriate. This result was independent of the radiologists’ experience. In our study, observers where all neuroradiologists with different levels of experience, and training periods, nevertheless in our hospital, all interpretation are performed only by neuroradiologists with more than four years of experience. Interobserver agreements for a single reading system (i.e., when all radiologists uses the same reading system), were the same on each classification variable (moderate or very good), suggesting that there are no-superiority of any reading system over the other.

Ours results on hemorrhagic lesions correlate with results of prior studies, in which high agreements and accuracy were found for this stroke subcategory - . This is crucial given that this is the most important contraindication for t-PA administration. In the same sense, patients with ASPECTS scores ≤6 are not considered eligible for this treatment, the reason why we evaluated the ASPECTS score in categories 0-6 and 7-10. Good intra-observer agreement on the dichotomized-ASPECTS were observed. Interobserver agreements on the dichotomized-ASPECTS score were all ranked as moderate agreement, regardless of the reading system, suggesting again that there are no-superiority of any reading system over the other on this clinical variable.

Moderate intra-observer agreement on the presence of imaging contraindications to the t-PA administration, other than hemorrhagic lesions or patients with ASPECTS ≤6, was observed. Although fair interobserver agreement was observed using the TABLET-XERO, the same result was observed for the Medical-IMPAX.

Besides, interobserver agreements on these variables (Table 3) were all ranked in the same agreement category, regardless of the reading system, suggesting again that there are no-superiority of any reading system over the other.

One limitation of this study is that reliability on the detection of the presence of a hyperdense middle cerebral artery (HMCA) was not possible to be evaluated, as the number of cases with scores assigned by the six radiologists on the two reading systems (i.e., 12 scores assigned to each case) was very low to perform a reliable analysis of this variable. Interpretations on the Medical-IMPAX system were performed using the same setup as in clinical routine interpretations, including the illumination conditions. In contrast, interpretations on the TABLET-XERO were performed using non-controlled illumination conditions; nevertheless, this is a more realistic telestroke context, in which a radiologist must to read emergency images at any place.

The study of Park et al. , found moderate intra-observer agreement (κ= 0.597) on the detection of intracranial hemorrhages, while in our study, agreement on the detection of hemorrhagic lesions was very good (κ= 0.89). In our study, we observed very good interobserver agreements on the detection of hemorrhagic lesion, with kappa values of 0.9 for the reference display and 0.82 for the tablet; however, in their study, these values were not presented. Differences in the kappa values may arise from the sample selection; in their study, subtle intracranial hemorrhages were included, while in our study, we included subarachnoid hemorrhage and intracranial hemorrhage, but not all being subtle hemorrhages. In addition, their study was based on reading of five emergency physicians, whereas in our study they were only performed by neuroradiologists.

The study of McLaughlin et al. , used the same kind of tablet as in our study. They evaluated the ASPECTS interobserver agreement for individual observers, grouping the ASPECTS scores into four categories (1-3, 4-7, 8-9, and 10). Substantial interobserver agreements were noted for the neuroradiologists and fair agreements for junior radiologists. They used two neuroradiologists in consensus to evaluate agreement using the tablet, but they did not calculate agreements for individual neuroradiologists neither on tablet, nor on the reference display. In addition, they did not calculate intra-observer agreements. To compare with this study, in addition to the dichotomized ASPECTS, we calculated the agreements on the categorical-ASPECTS scores with the same categories for the overall group of radiologists, presented in Table 1. Values for individual radiologists are not presented as with few patients by radiologist in each category, the kappa values where not reliable (all p >0.05). In our study, all intra-observer categories were ranked as good or moderate, with kappa values from 0.43 to 0.68. As in the study of McLaughlin, highest kappa values were observed for categories 1-3 and 10 and were lowest for categories 4-7 and 8-9.

Conclusion

There was no-superiority of any reading system over the other, on the agreements on the clinical variables evaluated, as was in our previous evaluation, in which all the related variables were statistically equivalent (at the selected threshold of 10%), when using both Medical-IMPAX and Tablet-XERO the reading systems. This is a relevant fact which provides evidence that the Medical-IMPAX and Tablet-XERO reading systems may be interchangeable, without a loss of reliability, when neuroradiologists uses the mobile solution for interpreting brain CT images of patients with symptoms of acute stroke. Hence, increasing efficiency, supply and availability of telestroke services to underserved populations.

In the statistical design of this study, the radiologist and the readings systems were fixed factors, as they were not selected at random; therefore, our results only apply to them. Nevertheless, as neuroradiologists are very specialized radiologists, we expect that our results may be generalized to other neuroradiologists. Similarly, the readings systems in radiology must be DICOM-compliant, which allows us to generalize our results to other reading software or medical displays. In contrast, the tablet display may be very different, and our results apply only to them using “retina” displays.

In our study, brain CT readings using a tablet were performed over a Wi-Fi connection; for a more realistic approach in our country, where public Wi-Fi is not always available, an evaluation of the cost and time for image transfer over mobile telephone networks such as the 4G network is necessary.

Introducción

Los pacientes que llegan a la sala de urgencias con síntomas de accidente cerebrovascular agudo (ACV) son diagnosticados y tratados utilizando un protocolo estandarizado y bien establecido llamado código ACV, para el cual se realizan varias tareas. Uno de los principales resultados para este grupo de pacientes es determinar si se debe tratar al paciente administrando activador del plasminógeno tisular (AP-t) o si se debe realizar una trombectomía endovascular. Como parte de este protocolo, se realiza un examen por tomografía axial computarizada (TAC) de cráneo sin contraste ,, la cual es interpretada por neurorradiólogos experimentados que, en primer lugar, deben establecer si no existen contraindicaciones para la administración de AP-t con base en las imágenes suministradas. Adicionalmente, además de la experiencia del neurólogo, se determina el tratamiento para el paciente, el cual es crucial en su evolución.

Durante la interpretación de la TAC de cráneo simple se debe clasificar la lesión del paciente como una de las siguientes: lesión hemorrágica, ACV agudo, ACV crónico o sin lesión aguda. Una lesión hemorrágica es una contraindicación para la administración de AP-t; otras contraindicaciones pueden aparecer si hay ciertas señales, como por ejemplo, la presencia de neoplasia intra-axial, neoplasia intracraneal, malformación arteriovenosa, aneurisma o transformación hemorrágica de un infarto isquémico. Adicionalmente si el Alberta Stroke Program Early CT Score (ASPECTS) del paciente, el cual se utiliza para evaluar el tamaño del infarto en las imágenes de TAC de cráneo simple, es menor que o igual a seis, el paciente no es elegible para la administración de AP-t ,,,, ya que hay un alto riesgo de infarto maligno de la arteria cerebral media después de la administración de AP-t . Por estos motivos, la interpretación de la TAC de cráneo simple de pacientes con signos de ACV agudo en nuestro hospital es realizada por neurorradiólogos con experiencia significativa en ACVs. Sin embargo, la mayoría de hospitales de nuestro país no cuenta con neurorradiólogos en absoluto. Similarmente, nuestra ubicación, que es un centro primario de ACV acreditado por la Comisión Conjunta Internacional (JCI, por sus siglas en inglés), con capacidades de trombectomía endovascular, no cuenta con suficientes neurorradiólogos para apoyar una red de teleACV. Con el fin de aumentar la oferta y disponibilidad de neurorradiólogos, se pueden desarrollar soluciones móviles utilizando computadores tableta.

El objetivo de este estudio era evaluar la confiabilidad de lecturas de imágenes de TAC de cráneo simple realizadas mediante una estación de trabajo diagnóstico principal y un computador tableta en el contexto de la red colombiana de teleACV de urgencia. Según un informe del Ministerio de Salud y Protección Social de Colombia (MSPS) publicado en el año 2015 , la enfermedad cerebrovascular tiene una tasa de mortalidad mundial de 32.8/100,000 y una incidencia aproximada de 97,4/100.000. Adicionalmente, se reportó una pérdida aproximada de años de vida ajustados por discapacidad (AVAD) de 364.5 .

Con el fin de realizar evaluaciones clínicas cuando no se cuenta con un patrón de referencia, o con el fin de complementar evaluaciones basadas en un patrón de referencia (por ejemplo, sensibilidad, especificidad, VPP), se puede realizar un análisis de confiabilidad. La confiabilidad se refiere a la reproducibilidad o concordancia en las medidas de las variables para cada caso que fue evaluado por observadores diferentes (concordancia interobservadores), o casos evaluados por el mismo observador utilizando métodos diferentes (concordancia intraobservadores). La evaluación de la concordancia se puede lograr utilizando modelos logarítmicos lineales de concordancia y estadísticos kappa, según fueron resumidos por Nelson y Pepe .

En un trabajo anterior evaluamos los sistemas de lectura desde otra perspectiva no convencional: investigamos los tamaños del efecto de los sistemas de lectura sobre la magnitud de las variables clínicas y su equivalencia estadística mediante ecuaciones de estimación generalizadas , mostrando que los sistemas de lectura no tienen efectos sobre las variables relacionadas. En contraste, en este trabajo evaluamos la confiabilidad en términos de concordancias de interpretación, utilizando el coeficiente kappa de Fleiss sobre los resultados de las interpretaciones, el cual es un acercamiento clínico más apropiado para evaluar la intercambiabilidad de los dispositivos evaluados en un contexto clínico.

Si bien otros estudios han evaluado la equivalencia potencial entre estaciones de trabajo de diagnóstico y computadores tableta -, el enfoque que utilizamos para realizar las interpretaciones en un entorno más realista, junto con el proceso de evaluación y las variables evaluadas, son las principales diferencias entre nuestro estudio y los estudios anteriores, los cuales no se realizaron para descartar contraindicaciones en TAC de cráneo simples antes de la trombólisis intravenosa con base en las contraindicaciones en las imágenes o en los puntajes ASPECTS.

Materiales y Métodos

El Comité de Ética de nuestra institución aprobó este estudio retrospectivo y no se requería de un consentimiento informado. Este estudio utilizó un ajuste transversal y retrospectivo de observación para describir y comparar pruebas diagnósticas. Se utilizó un diseño de mediciones repetidas con 1,452 interpretaciones (121 casos, 6 radiólogos y 2 sistemas de lectura). Los casos fueron exámenes de TAC de cráneo simples utilizando un TAC Genera Electric LigthSpeed de 64 rebanadas (General Electric Healthcare, GE Médico Systems, Milwaukee, WI, EE. UU.), almacenados en el sistema PACS. Los casos incluyeron imágenes de TAC de cráneo simple de hombres y mujeres adultos que llegaron a la sala de urgencias entre el 2013 y el 2016 con síntomas de ACV agudo, en quienes se activó el código ACV y se realizó el TAC de cráneo simple como parte del manejo de su ACV. Los casos fueron seleccionados aleatoriamente, sin repetición, de la base de datos de ACV por un doctor que no fue parte de los observadores. Los casos con artefactos en la imagen fueron excluidos. Tres neurorradiólogos con más de diez años de experiencia, dos con más de cuatro años de experiencia y un becario de neurorradiología realizaron las interpretaciones. Todos los radiólogos realizaron las interpretaciones de todos los casos utilizando dos sistemas de lectura diferentes:

1) el sistema de rutina para las lecturas de TAC en nuestro hospital, el cual consiste en una pantalla médica en escala de grises E-2620 BARCO (BARCO N.V, Cortrique, Bélgica) y el software de visualización Agfa IMPAX 6.5 (AGFA HealthCare, Mortsel, Bélgica), en adelante llamado MEDICAL-IMPAX y

2) una opción móvil, que consiste en un iPad Pro de Apple 9.7 MLMN2CL/A (Apple Inc., Cupertino, CA, EE. UU.) con una pantalla ‘retina’ y un software de visualización Agfa XERO Viewer 3.0 (Agfa HealthCare, Mortsel, Bélgica), en adelante llamado Tableta-XERO. Los dos softwares de lectura cuentan con herramientas de manipulación de la imagen para ajustar la ventana/nivel, el zoom y la presentación de la reconstrucción multiplanar. Estas herramientas estaban disponibles para todas las imágenes y podían ser utilizadas a discreción del observador para mejorar la interpretación de las imágenes. La visualización inicial utilizó la configuración de ventana por defecto de la imagen (WW= 174 y WL= 55), pero los radiólogos tenían la libertad de seleccionar otra ventana, como por ejemplo la ventana cerebral o de ACV (WW= 80 y WL= 40 o WW= 40 y WL= 40, respectivamente).

Estábamos interesados en evaluar las soluciones móviles a ser utilizadas para teleACV en el hospital. A través de escenarios médicos reales que incluyeron un historial médico completo, síntomas neurológicos específicos y el momento de aparición de los síntomas, diseñamos este estudio para realizar la interpretación de las imágenes tan cercana y realísticamente a como ocurren durante las prácticas clínicas de rutina, utilizando el primer TAC de cráneo simple de urgencia. Utilizamos los mismos radiólogos que, rutinariamente, leen las imágenes de TAC de cráneo simple en el hospital (neurorradiólogos y becarios en neurorradiología), y la misma información clínica suministrada a los radiólogos en la práctica clínica (diagnóstico de admisión, síntomas neurológicos, edad y género). Adicionalmente, se realizó el mismo proceso de interpretación, en el que se determina el tipo de ACV (lesión hemorrágica, lesión isquémica aguda, lesión isquémica crónica o sin lesión). Adicionalmente, dependiendo del tipo de lesión seleccionada, el radiólogo clasificó otras variables: la presencia de contraindicaciones en la imagen a la administración de AP-t (neoplasia intra-axial, malformación arteriovenosa, aneurisma, transformación hemorrágica de un infarto isquémico, hipodensidad >1/3 de la distribución vascular de la arteria cerebral media); confianza en la presencia de Arteria Cerebral Media Hiperdensa (ACMH); y el puntaje ASPECTS (de 0 a 10), el cual es un método para evaluar el tamaño de un infarto en las imágenes de la TAC de pacientes con ACV agudo. El puntaje ASPECTS fue dicotomizado con fines de evaluación (0-6 y 7-10).

Los radiólogos no tuvieron acceso a la identificación del paciente ni del examen, a la interpretación original ni al tipo de lesión. La información fue recolectada utilizando un formulario basado en la web y las interpretaciones fueron almacenadas en una base de datos MySQL (Oracle Corporation, Redwood City, CA, EE. UU.). Este software presenta los casos de pacientes a ser interpretados aleatoriamente y guía a los radiólogos en el diligenciamiento del informe, garantizando la integridad de los datos; por lo tanto, no hay datos faltantes.

Hubo un intervalo de al menos cinco meses entre las lecturas del mismo paciente por el mismo radiólogo utilizando los sistemas comparados. Este estudio fue un estudio equilibrado para los sistemas de lectura utilizados por cada uno de los radiólogos y los casos fueron presentados aleatoriamente.

Para una mayor evaluación de la potencia de diagnóstico mediante curvas de Característica Operativa del Receptor (ROC, por sus siglas en inglés), utilizamos la tabla propuesta por Obuchowski para determinar el tamaño de la muestra. Adoptamos los siguientes criterios: a) seis observadores, b) variabilidad moderada entre radiólogos y alta precisión del examen diagnóstico, c) diferencias moderadas entre AUC (0.1) y d) una relación de 2:1 entre casos malignos y benignos. fueron necesarios incluir 50 casos utilizando estos criterios. Se estableció un tamaño de muestra de 121 casos, incluyendo todos los casos disponibles en nuestra base de datos, con el fin de aumentar la precisión.

Las lecturas fueron realizadas en el curso de diez meses, en sesiones de dos o cuatro horas para cada radiólogo, sin límites de tiempo para cada lectura.

Nuestra evaluación anterior presentó descripciones más detalladas de la muestra, los observadores, los sistemas de lectura y los procedimientos de interpretación. Sin embargo, el análisis de datos presentado en este artículo es completamente diferente, ya que se trata de una evaluación de confiabilidad.

Para todas las variables evaluamos la concordancia intraobservadores (concordancias en las interpretaciones al interpretar las imágenes del mismo paciente utilizando los dos sistemas de lectura, el MEDICAL-IMPAX y el Tableta-XERO) y la concordancia interobservadores (concordancia entre los radiólogos al interpretar al mismo paciente dentro de un único sistema de lectura). La evaluación de concordancia se realizó utilizando el coeficiente kappa de Fleiss . Los coeficientes kappa fueron clasificados según lo definido por Altman : “muy bueno”, (κ= 1.0 a 0.81); “bueno”, (κ= 0.8 a 0.61); “moderado”, (κ= 0.6 a 0.41); “regular”, (κ= 0.4 a 0.21); y “pobre”, κ <0.2. Para estos cálculos se utilizó el software STATA 13.0 (Stata Corp, College Station, TX, EE. UU.).

Resultados

Según la interpretación diagnóstica primaria de rutina realizada por un neurorradiólogo, la distribución de las lesiones en la muestra fue la siguiente: pacientes sin lesiones agudas (7), lesiones hemorrágicas (11), lesiones isquémicas agudas (67) y lesiones isquémicas crónicas (36). Las edades estaban entre los 30 y los 97 años, con una edad media de 70.8 años (desviación estándar de 15,2). Había 59 hombres y 62 mujeres.

La Tabla 1 presenta las concordancias intraobservadores entre los sistemas de lectura Médico-IMPAX y Tableta-Xero para los radiólogos agrupados. La Tabla 2 presenta las concordancias intraobservadores entre los sistemas de lectura Médico-IMPAX y Tableta-XERO para los radiólogos individuales. La Tabla 3 presenta las concordancias interobservadores por sistema de lectura para los radiólogos agrupados.

Table 1

Concordancia intraobservador entre los sistemas de lectura Médico-IMPAX y Tableta-XERO.

Variable	Lecturas*	Pacientes	Fleiss Kappa†	Concordancia‡
Clasificación de la lesión	1,452	121	0.63	Buena
Sin lesiones agudas			0.59	Moderada
Lesión isquémica aguda			0.58	Moderada
Lesión hemorrágica			0.89	Muy buena
Presencia de contraindicaciones por imágenes para la para la administración de AP-t	1,224	102	0.51	Moderada
Clasificación del ASPECTS
ASPECTS dicotomizado (0-6; 7-10)	828	69	0.65	Buena
ASPECTS 1-3			0.66	Buena
ASPECTS 4-7			0.55	Moderada
ASPECTS 8-9			0.43	Moderada
ASPECTS 10			0.68	Buena

* Las lecturas fueron realizadas en dos sistemas de lectura por seis observadores.

Todos los valores fueron significativos (p < 0.001).

‡ Como lo define Altman (18).

Table 2

Concordancia intraobservador entre los sistemas de lectura Médico-IMPAX y Tableta-XERO por radiólogo.

Variable/Radiólogo	Fleiss Kappa*	Concordancia†
Clasificación de la lesión
Neurorradiólogo	0.73	Buena
Neurorradiólogo	0.57	Moderada
Neurorradiólogo	0.55	Moderada
Neurorradiólogo	0.77	Buena
Neurorradiólogo	0.49	Moderada
Fellow de neurorradiología	0.67	Buena
Sin lesiones agudas
Neurorradiólogo	0.70	Buena
Neurorradiólogo	0.52	Moderada
Neurorradiólogo	0.53	Moderada
Neurorradiólogo	0.73	Buena
Neurorradiólogo	0.42	Moderada
Fellow de neurorradiología	0.62	Buena
Lesión isquémica aguda
Neurorradiólogo	0.70	Buena
Neurorradiólogo	0.53	Moderada
Neurorradiólogo	0.47	Moderada
Neurorradiólogo	0.75	Buena
Neurorradiólogo	0.41	Moderada
Fellow de neurorradiología	0.62	Buena
Lesión hemorrágica
Neurorradiólogo	0.89	Muy buena
Neurorradiólogo	0.89	Muy buena
Neurorradiólogo	0.82	Muy buena
Neurorradiólogo	0.95	Muy buena
Neurorradiólogo	0.87	Muy buena
Fellow de neurorradiología	0.95	Muy buena

* Cada concordancia se calculó a partir de 242 lecturas (121 casos por 2 sistemas de lectura). Todos los valores fueron significativos (p <0.001).

Como lo define Altman (18).

Table 3

Concordancia interobservador por sistema de lectura.

Variable	Sistema de lectura	Fleiss Kappa*	Concordancia†
Clasificación de la lesión	Médico-IMPAX	0.56	Moderada
	Tableta-XERO	0.56	Moderada
Sin lesiones agudas	Médico-IMPAX	0.50	Moderada
	Tableta-XERO	0.52	Moderada
Lesión isquémica aguda	Médico-IMPAX	0.50	Moderada
	Tableta-XERO	0.51	Moderada
Lesión hemorrágica	Médico-IMPAX	0.90	Muy buena
	Tableta-XERO	0.82	Muy buena
Presencia de contraindicaciones por imágenes para la para la administración de AP-t	Médico-IMPAX	0.38	Regular	Tableta-XERO	0.33	Regular
	Clasificación del ASPECTS
ASPECTS dicotomizado (0-6; 7-10)	Médico-IMPAX	0.51	Moderada
	Tableta-XERO	0.48	Moderada
ASPECTS 1-3	Médico-IMPAX	0.29	Regular
	Tableta-XERO	0.30	Regular
ASPECTS 4-7	Médico-IMPAX	0.41	Moderada
	Tableta-XERO	0.41	Moderada
ASPECTS 8-9	Médico-IMPAX	0.34	Regular
	Tableta-XERO	0.28	Regular
ASPECTS 10	Médico-IMPAX	0.57	Moderada
Tableta-XERO	0.59	Moderada

* 726 lecturas para la Clasificación de la lesión (121 casos por 6 observadores); 612 lecturas para las Contraindicaciones de trombólisis por imágenes (102 casos por 6 observadores); y 414 lecturas para la Clasificación del ASPECTS (69 casos por 6 observadores). Todos los valores fueron significativos (p <0.001).

Como lo define Altman (18).

Concordancias en la clasificación de la lesión

Hubo una buena concordancia intraobservadores en la clasificación de la lesión para os radiólogos agrupados, en la que cada paciente fue interpretado utilizando tanto el sistema de lectura Médico-IMPAX como el Tableta-XERO por el mismo observador (κ= 0.63 p<0.001), tal y como se muestra en la Tabla 1. Las concordancias marginales para esta variable, para los radiólogos agrupados, fue muy buena para la lesión hemorrágica (κ= 0.89, p<0.001) y moderada para la clasificación de ausencia de lesión aguda (κ= 0.59, p<0.001) y para la clasificación de lesión isquémica aguda (κ= 0.58, p<0.001).

Las concordancias intraobservadores para los radiólogos individuales en la clasificación de la lesión varío de κ= 0.49-0.77 (todos p <0.001) y las concordancias fueron clasificadas como buenas o moderadas, independientemente de la experiencia de los radiólogos (Tabla 2).

Para los radiólogos individuales, las concordancias marginales intraobservadores para esta variable fueron las siguientes: hubo concordancias muy buenas en lesión hemorrágica para todos los radiólogos, κ= 0.82-0.95 (todos p <0.001); concordancias moderadas o buenas en las clasificaciones de “otras lesiones” para todos los radiólogos (independientemente de la experiencia del radiólogo), κ= 0.42-0.73 (todos p <0.001) y sin clasificaciones de lesiones agudas κ= 0.41-0.75 (todos p <0.001) (Tabla 2).

Hubo concordancias interobservadores moderadas en la clasificación de la lesión (κ= 0.56, p <0.001) tanto para el sistema de lectura Médico-IMPAX como para el Tableta-XERO (Tabla 3). Las concordancias marginales para esta variable fueron muy buenas en la clasificación de lesión hemorrágica tanto para el sistema de lectura Médico-IMPAX como para el Tableta-XERO, con κ= 0.90 (p <0.001) y κ= 0.82 (p <0.001), respectivamente. Todas las otras concordancias interobservadores marginales en la clasificación de la lesión fueron moderadas tanto para el sistema de lectura Médico-IMPAX como para el Tableta-XERO, y estuvieron en un rango de κ= 0.50 a 0.52.

Concordancia en el puntaje ASPECTS

Concordancia en el puntaje ASPECTS dicotomizado

Hubo una buena concordancia intraobservadores en el ASPECTS dicotomizado (0-6; 7-10) para los radiólogos agrupados, en la que cada paciente fue interpretado utilizando tanto el sistema de lectura Médico-IMPAX como el Tableta-XERO (κ= 0.65, p<0.001), tal y como se muestra en la Tabla 1.

Hubo una concordancia interobservadores moderada en el ASPECTS dicotomizado tanto para el sistema de lectura Médico-IMPAX como para el Tableta-XERO, con κ= 0.51 (p <0.001) y κ= 0.48 (p < 0.001), respectivamente (Tabla 3).

Concordancia en los puntajes ASPECTS categorizados

Para comparar nuestros resultados con los de un estudio reciente publicado por McLaughlin et al., además del ASPECTS dicotomizado, calculamos las concordancias de los puntajes ASPECTS con las mismas categorías definidas en ese estudio, es decir, puntajes ASPECTS agrupados en cuatro categorías (1-3, 4-7, 8-9 y 10).

Hubo una buena concordancia intraobservadores en los puntajes ASPECTS categorizados para los radiólogos agrupados, en el que cada paciente fue interpretado utilizando tanto el sistema de lectura Médico-IMPAX como el Tableta-XERO para las categorías 1-3 y 10 (κ= 0.66 y κ= 0.68 respectivamente, ambos p<0.001), tal y como se muestra en la Tabla 1.

Hubo una concordancia interobservadores regular en los puntajes ASPECTS categorizados tanto para el sistema de lectura Médico-IMPAX como para el Tableta-XERO para las categorías 1-3 y 8-9, pero hubo concordancias moderadas tanto para el sistema de lectura Médico-IMPAX como para el Tableta-XERO para las categorías 4-7 y 10 (Tabla 3), con ambos sistemas de lectura presentando valores kappa similares en cada categoría.

Concordancia sobre la presencia de contraindicaciones en imágenes para la administración de AP-t

Hubo una concordancia intraobservadores moderada en la presencia de contraindicaciones en imágenes para la administración de AP-t para los radiólogos agrupados, en la que cada paciente fue interpretado utilizando tanto el sistema de lectura Médico-IMPAX como el Tableta-XERO (κ= 0.51, p<0.001), tal y como se muestra en la Tabla 1.

Hubo una concordancia interobservadores regular en la presencia de contraindicaciones en imágenes para la administración de AP-t tanto para el sistema de lectura Médico-IMPAX como para el Tableta-XERO, con κ= 0.38 (p <0.001) y κ= 0.33 (p <0.001), respectivamente (Tabla 3).

Discusión

Se observó una buena concordancia intraobservadores en la clasificación de la lesión, con las concordancias marginales clasificadas como muy buenas para lesión hemorrágica y moderadas para otros tipos de clasificación de lesiones. Esto sugiere que, cuando cualquier radiólogo interpreta las imágenes del mismo paciente utilizando cualquiera de los dos sistemas de lectura, el MEDICAL-IMPAX o el Tableta-XERO, no existen diferencias en los resultados iniciales de los pacientes. Esto es notable en la detección de pacientes con lesiones hemorrágicas para quienes la administración de AP-t no es apropiada. Este resultado fue independiente de la experiencia de los radiólogos. En nuestro estudio, todos los observadores eran neurorradiólogos con diferentes niveles de experiencia y periodos de entrenamiento; no obstante, toda la interpretación en nuestro hospital es realizada únicamente por neurorradiólogos con más de cuatro años de experiencia. Las concordancias interobservadores para un único sistema de lectura (cuando todos los radiólogos utilizaron el mismo sistema de lectura) fueron las mismas en cada variable de clasificación (moderada o muy buena), lo que sugiere que no existe superioridad de un sistema por encima del otro.

Nuestros resultados en lesiones hemorrágicas se correlacionan con los resultados de estudios anteriores, en los que se encontraron altas concordancias y precisión para esta subcategoría de ACV -. Esto es crucial, dado que es la contraindicación más importante para la administración de AP-t. Del mismo modo, los pacientes con puntajes ASPECTS ≤6 no son considerados como elegibles para este tratamiento, razón por la cual evaluamos los puntajes ASPECTS en las categorías 0-6 y de 7-10. Se observó una buena concordancia intraobservadores en el ASPECTS dicotomizado. Todas las concordancias interobservadores en los ASPECTS dicotomizados fueron calificadas como concordancia moderada, independientemente del sistema de lectura, sugiriendo una vez más que no existe superioridad de uno de los sistemas de lectura sobre el otro en esta variable clínica.

Se observó una concordancia intraobservadores moderada en la presencia de contraindicaciones en imágenes para la administración de AP-t, excepto por lesiones hemorrágicas o pacientes con ASPECTS ≤6. Si bien se observó una concordancia interobservadores regular utilizando Tableta-XERO, se observó el mismo resultado para el Médico-IMPAX.

Por otra parte, las concordancias interobservadores de estas variables (Tabla 3) fueron clasificadas en la misma categoría de concordancia independientemente del sistema de lectura, lo que nuevamente sugiere que no existe superioridad de un sistema por encima del otro.

Una limitación de este estudio es que no fue posible evaluar la confiabilidad en la detección de la presencia de una arteria cerebral media hiperdensa (ACMH), dado que el número de casos con puntajes asignados por los seis radiólogos en los dos sistemas de lectura (es decir, 12 puntajes asignados en cada caso) era muy bajo para realizar un análisis confiable de esta variable. La interpretación del sistema Médico-IMPEX se realizó utilizando la misma configuración que en las interpretaciones clínicas de rutina, incluyendo las condiciones de iluminación. En contraste, las interpretaciones con Tableta-XERO fueron realizadas utilizando condiciones de iluminación no controladas; no obstante, este es un contexto más realista para teleACV, en el que un radiólogo debe leer imágenes de urgencia en cualquier lugar.

El estudio realizado por Park et al. , encontró una concordancia intraobservadores moderada (κ= 0.597) en la detección de hemorragias intracraneales, mientras que en nuestro estudio, la concordancia en la detección de lesiones hemorrágicas fue muy buena (κ= 0.89). En nuestro estudio observamos concordancias interobservadores muy buenas en la detección de lesión hemorrágica, con valores kappa de 0.90 para la imagen de referencia y 0.82 para la tableta; sin embargo, estos valores no fueron presentados en su estudio. Las diferencias en los valores kappa puede surgir en la selección de muestras; en su estudio, se incluyeron hemorragias intracraneales sutiles, mientras que nuestro estudio incluyó hemorragia subaracnoidea y hemorragia intracraneal, pero no todas eran hemorragias sutiles. Adicionalmente, su estudio estaba basado en la lectura por parte de cinco médicos de urgencias, mientras que en nuestro estudio esta fue realizada únicamente por neurorradiólogos.

El estudio de Mclaughlin et al., utilizó el mismo tipo de computador tableta que en nuestro estudio. Evaluaron la concordancia interobservadores en el ASPECTS para observadores individuales, agrupando los puntajes ASPECTS en cuatro categorías (1-3, 4-7, 8-9 y 10). Se notaron concordancias interobservadores sustanciales para los neurorradiólogos y concordancias regulares para los radiólogos junior. Utilizaron dos neurorradiólogos en consenso para evaluar la concordancia utilizando el computador tableta, pero no calcularon las concordancias para neurorradiólogos individuales ni con computador tableta ni con la imagen de referencia. Adicionalmente, no calcularon las concordancias intraobservadores. Para compararlo con este estudio, además del ASPECTS dicotomizado, calculamos las concordancias en los puntajes ASPECTS categorizados con las mismas categorías para el grupo general de radiólogos, el cual se presenta en la Tabla 1. Los valores para los radiólogos individuales no se presentan porque pocos pacientes por radiólogo en cada categoría tenían valores kappa no confiables (todos p >0.05). En nuestro estudio, todas las categorías intraobservadores fueron clasificadas como buenas o moderadas, con valores kappa de 0.43 a 0.68. Al igual que en el estudio de McLaughlin, se observaron valores kappa más altos para las categorías 1-3 que 10 y fueron más bajos para las categorías 4-7 y 8-9.

Conclusión

No se encontró superioridad de un sistema de lectura por encima del otro en las concordancias de las variables clínicas evaluadas, al igual que en nuestra evaluación anterior, en la que todas las variables relacionadas eran estadísticamente equivalentes (al umbral seleccionado de 10%), al utilizar los sistemas de lectura Médico-IMPAX y Tableta-XERO. Este es un hecho relevante que presenta evidencia de que los sistemas de lectura Médico-IMPAX y Tableta-XERO podrían ser intercambiables, sin perder confiabilidad, cuando los neurorradiólogos utilizan soluciones móviles para interpretar imágenes de TAC de cráneo simple de pacientes con síntomas de ACV agudo. Por lo tanto, esto aumenta la eficiencia, suministro y disponibilidad de servicios de teleACV para poblaciones desatendidas.

En el diseño estadístico de este estudio, el radiólogo y los sistemas de lectura eran factores fijos, ya que no fueron seleccionados aleatoriamente; por lo tanto, nuestros resultados solo aplican a ellos. No obstante, dado que los neurorradiólogos son radiólogos muy especializados, esperamos que nuestros resultados puedan ser generalizados a otros neurorradiólogos. De igual manera, los sistemas de lectura en radiología deben cumplir con DICOM, lo cual nos permite generalizar nuestros resultados a otro software de lectura u otros medios médicos de visualización. En contraste, la pantalla del computador tableta podría ser muy diferente, de manera que nuestros resultados aplican únicamente a los que utilizan pantallas “retina”.

En nuestro estudio, la lectura de la TAC de cráneo simple con un computador Tableta se realizó a través de una conexión Wi-Fi; para un enfoque más realista en nuestro país, en el que el Wi-Fi público no siempre está disponible, es necesaria una evaluación del costo y tiempo para la transferencia de la imagen por las redes de telefonía móvil, tales como una red 4G.