Evaluation of Interobserver Agreement in the Diagnosis of Posterior Pelvic Ring Lesions Using Plain Radiography.

Objective  To evaluate the interobserver agreement of a radiologist, two hip specialist orthopedists with experience in the treatment of pelvic and acetabulum fractures, two general orthopedists, two orthopedics residents and two radiology residents regarding the diagnosis of posterior pelvic ring injuries using plain radiography. Method  A cross-sectional study conducted in September 2017. The exams of 20 patients who had been treated for traumatic lesions of the posterior pelvic ring were randomly selected.. A total of nine examiners from different medical fields evaluated the plain pelvic radiographs; those were compared with computed tomography, scans, which are considered a confirmatory diagnostic criterion. Interobserver agreement was assessed using the Kappa test ( κ ) and 95% confidence intervals (95%CIs). Results  A total of 28 lesions were found by computed tomography (23%; 95%CI: 16-32%) among all of the cases evaluated. The interobserver agreement between plain radiography and computed tomography was moderate among physicians with more experience: a radiologist ( κ  = 0.461; 95%CI: 0.270-0.652), hip specialists 1 and 2 ( κ  = 0.534; 95%CI: 0.348-0.721 and κ  = 0.431; 95%CI: 0.235-0.627 respectively), and general orthopedists 1 and 2 ( κ  = 0.497; 95%CI: 0.307-0.686 and κ  = 0.449; 95%CI: 0.254-0.645 respectively). Among the orthopedics and radiology residents, the interobserver agreement was considered poor. High false negative values were found among all of the examiners, especially regarding posterior iliac fractures and sacrum fractures. Conclusion  Professionals with greater experience in the field have a better ability to identify posterior pelvic ring lesions by plain radiography, but we emphasize that plain pelvic radiography was susceptible to false negative evaluations among all of the professionals assessed.

Introduction

Plain radiographic assessment of the pelvis remains the initial diagnostic pillar for pelvic ring fractures, and it is recommended by the Advanced Trauma Life Support (ATLS), which was developed by the American College of Surgeons (ACS) Committee on Trauma (COT). However, injuries to the structures of the posterior pelvic ring (posterior portion of the iliac bone, sacroiliac joint and sacrum) are difficult to diagnose, and may cause delay and failure in the treatment of these lesions. 1

Professionals with longer experience are considered to have a greater ability to diagnose posterior pelvic ring lesions by plain radiography. 2 However, studies show a high frequency of misdiagnosis with the use of plain radiography, especially in lesions involving the posterior pelvic ring structures, and they deem an imperative the performance of computed tomography (CT) scans, which are considered the gold standard in the diagnosis of these lesions. 3 To this end, the aim of the present study was to evaluate the interobserver agreement of a radiologist, hip specialist orthopedists, general orthopedists, orthopedics residents and radiology residents regarding the diagnosis of posterior pelvic ring injuries using plain radiography.

Materials and Method

A cross-sectional study conducted in September 2017 at the Orthopedics and Traumatology Service of Hospital Cristo Redentor (HCR) – Grupo Hospitalar Conceição (GHC), in the city of Porto Alegre, Southern Brazil. The research was approved by our institution's Ethics in Research Committee (under CAAE: 72595617.7.0000.5530). Retrospective examinations of 20 patients with traumatic injuries of the posterior pelvic ring previously treated in the emergency unit were randomly selected by lot. Only cases with simultaneous plain radiographic evaluation of the anteroposterior (AP) view of the pelvis and with CT scans were included in the study; the CT scans were used as confirmatory diagnostic criteria.

Examiners and image evaluation

The nine examiners were physicians, among them a radiologist with at least ten years of experience in trauma emergency, two orthopedic specialists in hip surgery with at least ten years of professional experience and with experience in pelvic and acetabulum fracture surgery, two general orthopedists, two orthopedics residents, and two radiology residents, all with experience in emergency care.

The images were evaluated as follows: a) a room reserved for slide projections was allocated to the nine examiners; b) a chart with the pelvis design was presented, enabling the examiner to mark the lesion sites in the posterior pelvic ring regions: posterior iliac, sacroiliac joint and sacrum ( Figure 1 ) for each case presented, as well as for the absence of injury, if they so deemed it. In the present study, 120 anatomical sites were evaluated by each examiner; c) the radiographs of the selected cases were presented to the examiners through slide projections, with 30 seconds to consider each case. All of the selected cases presented an identifiable anterior pelvic ring lesion on the radiographs.

Fig. 1

Pelvic drawing sheet for the evaluation of injury sites in the regions of the posterior pelvic ring.

Data analysis

The data regarding the categorical variables were presented by frequency (%). Interobserver agreement was assessed by the Kappa test ( κ ) and 95% confidence intervals (95%CIs), and the values assumed for agreement were considered as follows: 0.20: poor; 0.21–0.40: fair; 0.41–0.60: moderate; 0.61–0.80: good; 0.81–1.00: very good. 4 5 6 The CT diagnosis was assumed as a reference evaluation. All analyses were performed using the Statistical Package for the Social Sciences (SPSS, IBM Corp., Armonk, NY, US), version 22.0 for Windows.

Results

A total of 28 lesions in the posterior pelvic ring were determined by CT from a total of 120 possible injuries (23%; 95%CI: 16%–32%), since our schematic chart enabled the identification of 6 lesion sites for each of the 20 cases. Table 1 shows the interobserver agreement between the CT and the plain radiographic evaluation. Among the most experienced examiners, the agreement was moderate: radiologist ( κ  = 0.461; 95%CI: 0.270–0.652), hip specialists 1 and 2 ( κ  = 0.534; 95%CI: 0.348–0.721 and κ  = 0.431; 95%CI: 0.235–0.627 respectively), and general orthopedists 1 and 2 ( κ  = 0.497; 95%CI: 0.307–0.686 and κ  = 0.449; 95%CI: 0.254–0.645 respectively).When comparing the CT results with the diagnoses made by the orthopedics and radiology residents, the interobserver agreement was considered poor ( Table 1 ).

Table 1

Interobserver agreement of the diagnoses (by plain radiography) of lesions in the regions of the posterior pelvic ring, compared to the CT scans

Parameters	Lesion diagnosis		CT agreement
	Negative	Positive	%	Kappa (95%CI)
CT (reference)	092 (77)	028 (23)
Radiologist	196 (80)	024 (20)	82	0.461 (0.270–0.652)
Hip specialist 1	100 (83)	020 (17)	85	0.534 (0.348–0.721)
Hip specialist 2	100 (83)	020 (17)	82	0.431 (0.235–0.627)
General orthopedist 1	198 (82)	022 (18)	83	0.497 (0.307–0.686)
General orthopedist 2	101 (84)	019 (16)	82	0.449 (0.254–0.645)
Orthopedics resident 1	101 (84)	019 (16)	81	0.397 (0.198–0.596)
Orthopedics resident 2	101 (84)	019 (16)	79	0.344 (0.143–0.545)
Radiology resident 1	198 (82)	022 (18)	78	0.346 (0.146–0.545)
Radiology resident 2	198 (81)	022 (19)	77	0.329 (0.130–0.529)

Abbreviations: 95%CI, 95% confidence interval; CT, computed tomography.

Note: Data presented as frequency (%).

High false negative values were found in the diagnoses of all of the examiners: radiologist (46%), hip specialists 1 and 2 (46% and 54% respectively), general orthopedists 1 and 2 (46% and 54% respectively), orthopedics residents 1 and 2 (57% and 61% respectively) and radiology residents 1 and 2 (57% and 57% respectively).

Figure 2 shows the 28 lesions according to their respective anatomical sites: 3 posterior iliac fractures, 10 sacroiliac joint injuries and 15 sacral fractures were found on the CT. Figure 3 shows the lesions found at each anatomical site in relation to the respective examiners.

Fig. 2

Sites evaluated on computed tomography (CT) of the regions of the posterior pelvic ring (posterior iliac, sacroiliac joint and sacrum) with or without lesions.

Fig. 3

Number of posterior pelvic ring lesions by site and examiner.

Discussion

In the present study, we identified that experienced professionals have a greater ability to diagnose posterior pelvic ring lesions by plain radiography. However, plain radiography was susceptible to a high percentage of false negative evaluations among all of the examiners when compared to the CT scans, that is, there was great difficulty in identifying posterior iliac and sacrum fractures.

Posterior pelvic ring injuries are severe and difficult to diagnose, 7 8 9 10 often requiring urgent stabilization to reestablish the polytraumatized patient from the hemodynamic point of view, 11 12 13 14 and/or subsequent surgical procedures to fix fractures or dislocations, enabling the patient to return to his or her best functional condition.

Pelvic radiography is indicated as one of the routine exams in high-energy trauma care, but in some situations this exam is insufficient for the diagnosis, classification and procedure definition. 15 16 17 18 19 The factors that make pelvic assessment difficult through isolated plain radiography are the lack of patient preparation, with the presence of artifacts such as gas, fecal content, bladder distension, and the complex three-dimensional conformation of the pelvis. 20 21 Due to the angle of inclination of the sacrum, visualization is limited in the pelvis AP. 1

The CT is often not available in non-specialized centers, 8 22 23 24 and with it the patient is subjected to a higher radiation dose. Publications have shown a high frequency of failure to diagnose pelvic lesions on radiographs, especially lesions involving the sacroiliac joint and the sacrum. 25 26 The identification of up to 30% of sacrum fractures is late, which has a negative effect on long-term outcomes. 3 27 28 Montana et al 29 found diagnosis failure in 28% of sacroiliac joint dislocations, and in 57% of iliac and sacral fractures adjacent to the sacroiliac joint, with the isolated use of plain radiography.

The present study has some limitations: a) the inferior quality of some of the selected radiographs, a usual occurrence in the emergency care context; and b) the definition of the number of selected cases, as well as of the examiners, was performed through a convenience sample.

Conclusion

Professionals with greater experience in the field have a better ability to identify posterior pelvic ring lesions by plain radiography; however, we emphasize that simple pelvic radiography was susceptible to false negative diagnoses among all of the professionals assessed, especially regarding fractures of the posterior region of the iliac and sacrum.

Introdução

A avaliação radiográfica simples da pelve se mantém o pilar diagnóstico inicial das fraturas do anel pélvico, sendo recomendada pelo programa Advanced Trauma Life Support (ATLS), do American College of Surgeons (ACS) Committee on Trauma (COT). No entanto, as lesões das estruturas constituintes do anel pélvico posterior (porção posterior do osso ilíaco, articulação sacroilíaca e sacro) são de difícil diagnóstico, podendo acarretar atraso e falha no tratamento. 1

Considera-se que os profissionais com mais experiência têm maior capacidade de diagnosticar as lesões do anel pélvico posterior por radiografia simples. 2 No entanto, estudos demonstram alta frequência de falha no diagnóstico com o uso de radiografia simples, especialmente em lesões envolvendo as estruturas posteriores do anel pélvico, considerando imperativa a realização de tomografia computadorizada (TC), exame considerado o padrão-ouro no diagnóstico dessas lesões. 3 Portanto, o objetivo deste trabalho foi avaliar a concordância interobservador de radiologista, ortopedistas especialistas em quadril, ortopedistas gerais, residentes de ortopedia, e residentes de radiologia no diagnóstico de lesões do anel pélvico posterior usando radiografia simples.

Materiais e Métodos

Estudo transversal, realizado em setembro de 2017, no Serviço de Ortopedia e Traumatologia do Hospital Cristo Redentor (HCR) - Grupo Hospitalar Conceição (GHC), Porto Alegre, RS, Brasil. Esta pesquisa teve aprovação do Comitê de Ética da nossa instituição (CAAE: 72595617.7.0000.5530). Foram selecionados retrospectivamente exames de 20 pacientes de modo aleatório, por sorteio, atendidos previamente na emergência com lesões traumáticas do anel pélvico posterior. Foram incluídos na pesquisa somente casos com avaliação simultânea por radiografia simples em incidência ântero-posterior (AP) de bacia inicial e TC, sendo as TCs, na pesquisa, utilizadas como critério confirmatório de diagnóstico.

Examinadores e avaliação das imagens

Os nove examinadores eram médicos, dentre eles um radiologista com experiência mínima de dez anos na área de emergência traumatológica, dois ortopedistas especialistas em cirurgia do quadril com experiência mínima de dez anos de profissão e com experiência em cirurgia de fraturas da pelve e do acetábulo, dois ortopedistas de formação geral, dois residentes de ortopedia, e dois residentes de radiologia, todos com atuação em emergência.

A avaliação das imagens se sucedeu da seguinte forma: a) foi alocada uma sala reservada para projeção de slides com os nove examinadores; b) foi apresentada uma ficha com o desenho da pelve, permitindo que o examinador marcasse os sítios de lesões nas regiões do anel pélvico posterior: ilíaco posterior, articulação sacroilíaca, e sacro ( Figura 1 ) para cada caso apresentado, bem como a ausência de lesão, se assim considerasse. Neste estudo, foram avaliados 120 sítios anatômicos por examinador; c) as radiografias dos casos selecionados foram apresentadas aos examinadores em projeção de slides, com tempo de 30 segundos para a apreciação de cada caso. Todos os casos selecionados apresentavam lesões do anel pélvico anterior identificáveis nas radiografias.

Fig. 1

Ficha do desenho da pelve para avaliação dos sítios de lesões nas regiões do anel pélvico posterior.

Análise dos dados

Os dados para variáveis categóricas foram apresentados por frequência (%). A concordância interobservador foi avaliada pelo teste de Kappa ( κ ), com intervalos de confiança de 95% (IC95%), e os valores assumidos para a concordância foram considerados da seguinte forma: 0.20: muito fraca; 0.21–0.40: fraca; 0.41–0.60: moderada; 0.61–0.80: boa; 0.81–1.00: muito boa. 4 5 6 Como avaliação de referência foi assumido o diagnóstico oriundo da TC. Todas as análises foram realizadas utilizando o programa Statistical Package for the Social Sciences (SPSS, IBM Corp., Armonk, NY, US), versão 22.0 para Windows.

Resultados

Foram determinadas pela TC 28 lesões no anel pélvico posterior, num total de 120 possibilidades de lesão (23%; IC95%: 16%–32%), uma vez que nossa ficha esquemática possibilitava identificação de 6 sítios de lesão para cada um dos 20 casos. A Tabela 1 , apresenta a concordância interobservador entre a TC e a avaliação por radiografia simples. Nos examinadores com maior experiência, a concordância foi moderada: radiologista ( κ   = 0,461; IC95%: 0,270–0,652), especialistas em quadril 1 e 2 ( κ  = 0,534; IC95%: 0,348–0,721; e κ  = 0,431; IC95%: 0,235–0,627, respectivamente), e ortopedistas gerais 1 e 2 ( κ  = 0,497; IC95%: 0,307–0,686; e κ  = 0,449; IC95%: 0,254–0,645, respectivamente). Quando comparado o resultado da TC com os diagnósticos dos residentes de ortopedia e radiologia, a concordância interobservador foi considerada fraca ( Tabela 1 ).

Tabela 1

Concordância interobservador dos diagnósticos (por radiografia simples) de lesões nas regiões do anel pélvico posterior, comparados à TC

Parâmetros	Diagnóstico de lesão		Concordância com a TC
	Negativo	Positivo	%	Kappa (IC95%)
TC (referência)	092 (77)	028 (23)
Radiologista	196 (80)	024 (20)	82	0,461 (0,270–0,652)
Especialista em quadril 1	100 (83)	020 (17)	85	0,534 (0,348–0,721)
Especialista em quadril 2	100 (83)	020 (17)	82	0,431 (0,235–0,627)
Ortopedista geral 1	198 (82)	022 (18)	83	0,497 (0,307–0,686)
Ortopedista geral 2	101 (84)	019 (16)	82	0,449 (0,254–0,645)
Residente de ortopedia 1	101 (84)	019 (16)	81	0,397 (0,198–0,596)
Residente de ortopedia 2	101 (84)	019 (16)	79	0,344 (0,143–0,545)
Residente de radiologia 1	198 (82)	022 (18)	78	0,346 (0,146–0.545)
Residente de radiologia 2	198 (81)	022 (19)	77	0,329 (0,130–0,529)

Abreviaturas: IC95%, intervalo de confiança de 95%; TC, tomografia computadorizada.

Nota: Dados apresentados como frequência (%).

Nos diagnósticos de todos os examinadores, foram encontrados altos valores falso-negativos: radiologista (46%), especialistas em quadril 1 e 2 (46% e 54%, respectivamente), ortopedistas gerais 1 e 2 (46% e 54%, respectivamente), residentes de ortopedia 1 e 2 (57% e 61%, respectivamente) e residentes de radiologia 1 e 2 (57% e 57%, respectivamente).

Na Figura 2 são apresentadas as 28 lesões, de acordo com seus respectivos sítios anatômicos, tendo sido encontradas na TC 3 fraturas no ilíaco posterior, 10 lesões de articulação sacroilíaca, e 15 fraturas do sacro. Na Figura 3 , são apresentadas as lesões encontradas em cada sítio anatômico estudado com relação aos respectivos examinadores.

Fig. 2

Sítios avaliados na tomografia computadorizada (TC) das regiões do anel pélvico posterior (ilíaco posterior, articulação sacroilíaca e sacro) com ou sem presença de lesões.

Fig. 3

Número de lesões do anel pélvico posterior por sítio e examinador.

Discussão

Neste estudo, identificamos que profissionais experientes apresentam uma maior capacidade de diagnosticar lesões do anel pélvico posterior por meio da radiografia simples. Entretanto, a radiografia simples esteve suscetível a um elevado percentual de avaliações falso-negativas entre todos os examinadores quando comparada com a TC, ou seja, houve grande dificuldade de identificar as fraturas do ilíaco posterior e do sacro.

As lesões do anel pélvico posterior são graves e de difícil diagnóstico, 7 8 9 10 exigindo, muitas vezes, estabilização de urgência que restabeleça, do ponto de vista hemodinâmico, o paciente politraumatizado 11 12 13 14 e/ou procedimentos cirúrgicos subsequentes com vistas à fixação de fraturas ou luxações, permitindo o retorno do paciente à sua melhor condição funcional.

A radiografia da pelve é indicada como um dos exames de rotina no atendimento em traumas de alta energia; porém, em algumas situações, este exame é insuficiente para o diagnóstico, classificação, e estabelecimento de conduta. 15 16 17 18 19 Os fatores que tornam a avaliação pélvica difícil por meio da radiografia isolada são a ausência de preparo do paciente, havendo a presença de artefatos como gás, conteúdo fecal, e globo vesical, além da complexa conformação tridimensional da pelve. 20 21 Devido ao ângulo de inclinação do sacro, apenas uma visualização limitada é permitida na radiografia em incidência AP da pelve. 1

A TC muitas vezes não está disponível em centros não especializados, 8 22 23 24 além de nela o paciente ser submetido a uma maior dose de radiação. Publicações demonstraram alta frequência de falha no diagnóstico de lesões pélvicas nas radiografias, especialmente as lesões envolvendo a articulação sacroilíaca e fraturas do sacro. 25 26 Até 30% das fraturas do sacro são identificadas tardiamente, fato este que ocasiona um efeito negativo nos desfechos de longo prazo. 3 27 28 Montana et al 29 encontraram falha no diagnóstico de 28% das disjunções da articulação sacroilíaca, e de 57% das fraturas do ilíaco e sacro adjacentes à articulação sacroilíaca, com o uso isolado de radiografia simples.

Este estudo apresenta algumas limitações: a) a qualidade inferior de algumas das radiografias selecionadas, o que é frequente no contexto de emergência; e b) a definição do número de casos selecionados, bem como dos examinadores, foi realizada por meio de amostra de conveniência.

Conclusão

Profissionais com mais experiência na área têm melhor capacidade de identificação de lesões do anel pélvico posterior por radiografia simples; porém, salienta-se que a radiografia simples de pelve esteve suscetível a avaliações falso-negativas da parte de todos os profissionais estudados, principalmente em fraturas da região posterior do ilíaco e do sacro.