Reliability of the Arthroscopic Classifications of Hip Chondral Lesions.

Objective  To evaluate the inter- and intraobserver reliability of the Outerbridge, Beck, and Haddad classifications for acetabular joint cartilage lesions through the arthroscopic procedure. Methods  A total of 60 hip arthroscopy videos were evaluated twice by 4 surgeons at 2 different times to assess the inter- and intraobserver reproducibility of the classifications, and the data was analyzed by means of the weighted Cohen Kappa index. Results  The mean weighted Kappa values in the interobserver assessment of the Outerbridge, Beck, and Haddad classifications were, respectively, 0.72, 0.78, and 0.68. The three classifications were considered as presenting good interobserver agreement. Regarding the intraobserver assessment of the Outerbridge, Beck, and Haddad classifications, the weighted Kappa values were, respectively, 0.9, 0.9, and 0.93. The three classifications were considered as presenting excellent intraobserver agreement. Conclusion  In the present series, the Outerbridge, Beck, and Haddad classifications presented good interobserver reproducibility and excellent intraobserver reproducibility when evaluating acetabular chondral lesions by the arthroscopic approach.

Introduction

Hip arthroscopy has emerged as a minimally invasive method for the diagnosis and treatment of several intra- and extra-articular hip conditions. 1 This approach provides excellent visualization of the joint surface and allows the surgeon to identify early stages of cartilage damage. 2 Hip joint cartilage lesions are caused mainly by trauma, inflammatory arthritis, acetabular dysplasia, or femoroacetabular impingement (FAI). 3

After treating young adults with idiopathic hip arthrosis, Ganz et al 4 realized that certain joint morphological characteristics resulted from the abnormal contact between the proximal femur and the acetabular ridge, the so-called FAI. Next, it was observed that this abnormal contact leads to damage patterns of the acetabular labrum and adjacent cartilage. Anterosuperior labral lesions associated with posteroinferior cartilaginous damage due to backlash in the femoral head and in the acetabular surface are associated with a Pincer-type impingement. The separation of the anterior superior labrum from the acetabular ridge and the shear or delamination of the adjacent acetabular joint cartilage are more indicative of the CAM-type impingement. 5 Patients with FAI usually present both deformities. Recent studies point to a strong association between hip osteoarthritis (OA) and FAI. 6 As such, currently there is a great interest in the treatment of hip labral and chondral lesions to assess whether these interventions can delay or even prevent the development of hip OA in these patients.

The rapid increase in FAI diagnosis and hip arthroscopy as a therapeutic access route resulted in an exponential growth of publications regarding this subject. 7 However, there is great variability in the literature on indications, outcomes, assessment methods, joint capsule and soft tissues management, as well as on rehabilitation. This variability is partially associated with the comparison of patients with labral and chondral lesions at different severity stages. The reduction of this variability requires the comparison of patients with lesions in similar stages.

Classification systems help communication, treatment planning, and prognostic assessment. An ideal classification system should be easily applicable, reliable, reproducible, include the entire lesional spectrum, be mutually exclusive, logical, and clinically useful. 8

The present study aims to evaluate the inter- and intraobserver reliability of classifications of lesions of the hip joint cartilage through the arthroscopic route, and to define which are the most reproducible classification systems based on the weighted Cohen Kappa index calculation. In the present study, we attempt to find the arthroscopic classifications that present greater reproducibility so that communication, treatment outcomes and prognostic evaluations are reliable. The hypothesis is that the three classification systems studied have moderate inter- and intraobserver reliability.

Materials and Methods

From a database of 278 hip arthroscopy videos, whose recordings were previously authorized by the patients, 70 videos were initially selected. These patients were invited to participate in the present study and signed an informed consent form. The inclusion criterion consisted of all patients submitted to hip arthroscopy for FAI. The exclusion criteria included presence of radiological arthrosis (Tonnis > 2), 9 history of previous hip surgery (either in an open or in an arthroscopic procedure), videos with poor image quality, inadequate visualization, inadequate lesion palpation, and refusal to participate in the study. The application of these criteria resulted in a final sample of 60 videos

The procedures were performed by 2 surgeons experienced in hip arthroscopy (each surgeon performed > 200 procedures) and followed the pattern already routinely used by both professionals. Arthroscopies were performed with the patient in the supine position on a traction table and used anterolateral and medialanterior portals. The intra-articular assessment of the acetabulum was made with a camera in the anterolateral portal and with a palpation instrument in the medialanterior access for inspection of the articular surface, of the labrum and of the chondrolabral junction.

One of the authors, an arthroscopy-trained hip surgeon who did not participate in the surgeries, reviewed each recording and edited them. After the edition, each recording lasted ∼ 1 minute and included the inspection of the articular surface, of the labrum, and of the chondrolabral junction. This process resulted in 60 digital recordings of hip arthroscopic procedures.

Four hip surgeons experienced in hip arthroscopy (all with at least 2 years of experience and participation in > 150 hip arthroscopy cases) contributed in the study. During a meeting, the four surgeons discussed the classification systems described for joint cartilage injuries: Outerbridge, 10 Beck et al, 11 and Konan et al 12 ( Table 1 ). After 15 days, in a new meeting, the authors practiced the use of the classification systems in videos not included in the present study. After this training, each surgeon classified separately the lesions from the videos according to the proposed systems. If there was > 1 finding, the reviewers were instructed to report only the most severe. The initial values from each reviewer were used at the interobserver analysis. In a second moment, 1 month later, the reviewers were asked to classify again the lesions from the same videos, but sorted differently. These values were matched by case and reviewer and were compared with the first results for an intraobserver analysis.

Table 1

Outerbridge, Beck and Haddad classification systems

Types	Description
Outerbridge
0	No gross cartilaginous alterations
1	Softening or edema
2	Fragmentation/lesion < 1.3 cm
3	Fragmentation/lesion > 1.3 cm
4	Bone exposure
Beck
0	No gross cartilaginous alterations
1	Malacia; superficial rugosity, fibrillation
2	Detachment; Loss of subchondral bone attachment, solid cartilage at gross examination, carpet phenomenon
3	Cleavage; Loss of subchondral bone attachment, effaced borders, cartilage thinning, flap
4	Total thickness defect
Haddad
0	No gross cartilaginous alterations
1	Wave signal; Loss of subchondral bone attachment
2	Cleavage; Obvious separation at the chondrolabral junction, but arthroscopic probing shows the joint cartilage adhered to the underlying bone with no delamination evidence
3	Delamination; Cartilage grossly detached from acetabular bone
4	Bone exposure

The statistical evaluation of the reliability of the classification systems included the percentage of agreement and the weighted Kappa values as proposed by Cohen. 13 The Kappa values were classified as described by Landis et al; 14 as such, values from 0.81 to 1.0 indicated excellent agreement; 0.61 to 0.80, good agreement; 0.41 to 0.60, moderate agreement; 0.21 to 0.40, reasonable agreement; and 0 to 0.20, weak agreement. Statistical analyzes were performed in the software programs R, version 3.3.2, and Minitab version 18 (Minitab, LLC, State College, PA, USA).

The research was previously approved by the Research Ethics Committee and complied with the Helsinki Declaration from the World Medical Association.

Results

The demographic characteristics of the participants of the study are summarized in Table 2 . The descriptive analysis of the classification of the lesions by each observer using the Outerbridge, Beck and Haddad systems at the first assessment is presented in Table 3 . These results are illustrated in Figs. 1 2 3 . These data show that the interobserver agreement using the Outerbridge classification system was moderate in one case (I and IV), good in four cases (I and II; I and III; II and IV; III and IV), and excellent in one case (II and III). The Kappa values ranged from 0.58 to 0.82, with an average value of 0.72; as such, the mean agreement between observers was considered good.

Table 2

Demographic features

Gender, n (%)
Male	32 (53%)
Female	28 (47%)
Age, mean (standard deviation)	33 years old (±7)
Deformity, n (%)
Combined (CAM and Pincer)	31 (52%)
CAM	27 (45%)
Pincer	2 (3%)

Table 3

Assessment of the three classification systems for cartilage lesions at the first moment of evaluation

Classification system			Observer
	I		II		III		IV
	n	%	n	%	n	%	n	%
Outerbridge
0	8	13.33	8	13.33	5	8.33	19	31.67
1	25	41.67	28	46.67	30	50.00	16	26.67
2	11	18.33	13	21.67	8	13.33	15	25.00
3	8	13.33	7	11.67	11	18.33	2	3.33
4	8	13.33	4	6.67	6	10.00	8	13.33
Beck et al.
0	8	13.33	6	10.00	7	11.67	14	23.33
1	22	36.67	13	21.67	12	20.00	8	13.33
2	11	18.33	19	31.67	21	35.00	15	25.00
3	10	16.67	16	26.67	14	23.33	14	23.33
4	9	15.00	6	10.00	6	10.00	9	15.00
Haddad et al.
0	10	16.67	10	16.67	13	21.67	15	25.00
1	22	36.67	15	25.00	18	30.00	5	8.33
2	10	16.67	13	21.67	9	15.00	17	28.33
3	10	16.67	16	26.67	13	21.67	15	25.00
4	8	13.33	6	10.00	7	11.67	8	13.33

n , number of observations; %, percentage.

Fig. 1

Frequency of cartilage lesions, according to the four observers, using the Outerbridge classification system.

Fig. 2

Frequency of cartilage lesions, according to the four observers, using the Beck classification system.

Fig. 3

Frequency of cartilage lesions, according to the four observers, using the Haddad classification system.

Regarding the Beck classification system, agreement was good in four cases (I and II; I and III; I and IV; II and IV), and excellent in two cases (II and III; III and IV). The Kappa values ranged from 0.74 to 0.84, with an average value of 0.78; as such, the mean agreement between observers was considered good.

The interobserver agreement of the Haddad classification system was moderate in one case (III and IV), and good in five cases (I and II; I and III; I and IV; II and III; II and IV). The Kappa values ranged from 0.60 to 0.78, with an average value of 0.68; as such, the mean agreement between observers was considered good. The interobserver assessment is summarized in Table 4 .

Table 4

Interobserver assessment with weighted Kappa values

Classification system	Kappa	Kappa classification	95%CI	Agreement rate	95%CI
Outerbridge	0.72	Good
Observer I and II	0.73	Good	0.53–0.94	0.62	0.48–0.74
Observer I and III	0.72	Good	0.52–0.92	0.58	0.45–0.71
Observer I and IV	0.58	Moderate	0.37–0.80	0.43	0.31–0.57
Observer II and III	0.82	Excellent	0.72–0.89	0.63	0.50–0.75
Observer II and IV	0.72	Good	0.60–0.87	0.52	0.39–0.65
Observer III and IV	0.73	Good	0.58–0.83	0.43	0.31–0.57
Beck	0.78	Good
Observer I and II	0.77	Good	0.64–0.90	0.57	0.43–0.69
Observer I and III	0.74	Good	0.59–0.90	0.53	0.40–0.66
Observer I and IV	0.74	Good	0.62–0.86	0.50	0.37–0.63
Observer II and III	0.84	Excellent	0.77–0.91	0.68	0.55–0.79
Observer II and IV	0.78	Good	0.66–0.91	0.62	0.48–0.74
Observer III and IV	0.82	Excellent	0.81–0.84	0.63	0.50–0.75
Haddad	0.68	Good
Observer I and II	0.68	Good	0.48–0.88	0.50	0.37–0.63
Observer I and III	0.78	Good	0.66–0.90	0.60	0.47–0.72
Observer I and IV	0.61	Good	0.39–0.82	0.42	0.29–0.55
Observer II and III	0.75	Good	0.54–0.96	0.67	0.53–0.78
Observer II and IV	0.66	Good	0.45–0.86	0.50	0.37–0.63
Observer III and IV	0.60	Moderate	0.37–0.82	0.43	0.31–0.57

Abbreviation: CI, confidence interval.

In the intraobserver evaluation, the Kappa values for the Outerbridge system ranged from 0.83 to 0.94, with an average value of 0.90, therefore, the mean agreement between observers was considered excellent. For the Beck classification system, the agreement between the four observers was considered excellent, with Kappa values ranging from 0.87 and 0.92, with an average value of 0.90. Similarly, the Haddad classification system was considered excellent, with Kappa values ranging from 0.89 and 0,97, with an average value of 0.93. The intraobserver assessment is summarized in Table 5 .

Table 5

Intraobserver assessment with weighted Kappa value

Classification system	Kappa	Kappa classification	95%CI	Agreement rate	95%CI
Outerbridge	0.90	Excellent
Observer I	0.83	Excellent	0.70–0.96	0.72	0.58–0.82
Observer II	0.90	Excellent	0.84–0.94	0.73	0.60–0.84
Observer III	0.94	Excellent	0.89–0.96	0.83	0.71–0.91
Observer IV	0.91	Excellent	0.82–0.96	0.78	0.65–0.88
Beck	0.90	Excellent
Observer I	0.90	Excellent	0.83–0.95	0.77	0.64–0.86
Observer II	0.92	Excellent	0.79–1.00	0.87	0.75–0.94
Observer III	0.87	Excellent	0.70–1.00	0.80	0.67–0.89
Observer IV	0.91	Excellent	0.80–1.00	0.87	0.75–0.94
Haddad	0.93	Excellent
Observer I	0.93	Excellent	0.87–0.97	0.80	0.67–0.89
Observer II	0.89	Excellent	0.75–1.00	0.85	0.73–0.93
Observer III	0.94	Excellent	0.88–0.98	0.85	0.73–0.93
Observer IV	0.97	Excellent	0.94–0.99	0.88	0.77–0.95

Abbreviation: CI, confidence interval.

Discussion

The present study showed that the classification systems for arthroscopic assessment of chondral acetabular lesions is reproducible both in the inter- and intraobserver level. Using weighted Kappa coefficients, the interobserver evaluation showed good agreement for the three classifications studied, whereas the intraobserver agreement was considered excellent for all systems evaluated.

Studies evaluating the reproducibility of hip chondral lesion scores have variable results. Amenabar et al, 3 when evaluating the reproducibility of the Outerbridge, Beck and Haddad classification systems in the diagnosis of arthroscopic chondral lesions, observed interobserver Kappa values of 0.28, 0.33 and 0.47, respectively. The agreement of the Outerbridge system was considered poor, while the agreement of the Beck and Haddad classifications was deemed moderate. The intraobserver Kappa values were 0.62, 0.63 and 0.68 for the Outerbridge, Beck and Haddad systems, respectively, all showing moderate agreement. In the present study, the weighted Kappa coefficient values were higher, which can be partially explained by the two previous meetings for discussion and training. In addition, Amenabar et al 3 performed a second round of assessment 4 months after the first one. In the present study, the time between assessment rounds was only 1 month; if the surgeons had classified the same lesions again after a longer time, the intraobserver reproducibility might have been possibly smaller.

In a retrospective study involving 40 videos and 4 observers, Nepple et al 15 evaluated the reproducibility of the Beck classification for labral and chondral acetabular lesions. Regarding chondral lesions, mean Kappa values of 0.65 (0.49 to 0.74) and 0.80 (0.68 to 0.86) were found for interobserver and intraobserver reproducibility, respectively. As in the present study, the interobserver agreement for the Beck classification was considered good, but the intraobserver reproducibility was also good, not excellent as in the present study. In the present study, the Beck classification had the highest interobserver reproducibility, with an average Kappa value of 0.78. Studying the Haddad classification, Konan et al 12 observed a high reproducibility with an intraclass correlation coefficient of 0.88 for the interobserver evaluation, and of 0.81 for the intraobserver assessment. In the present study, the Haddad classification presented the highest intraobserver reproducibility, with an average Kappa value of 0.93.

Lasmar et al 16 evaluated the reproducibility of the Outerbridge classification for arthroscopically diagnosed knee chondral lesions and found an interobserver Kappa value of 0.43, and an intraobserver Kappa value of 0.31, indicating moderate agreement. However, among the six observers, two residents were included, and the experience in knee surgery from another two observers was not clear. The presence of a larger interobserver Kappa value compared with the intraobserver value was unexpected. In the present study, all of the observers are hip surgeons experienced in arthroscopic procedures, which theoretically increases the likelihood of agreement among them. In another study that also evaluated the reproducibility of the Outerbridge classification for knee injuries, Cameron et al 17 found an interobserver Kappa value of 0.72, and an intraobserver Kappa value of 0.91 among physicians with > 5 years of experience. These values are very close to those observed in the present study, which also included as observers only surgeons experienced in hip arthroscopy.

The present study shows that the Outerbridge, Beck and Haddad classification systems are reproducible enough to be applied in the clinical practice. However, in addition to reproducibility, a classification should adequately describe the lesions and provide therapeutic and prognostic guidance. The Outerbridge classification was not developed to evaluate acetabular chondral lesions and does not consider the hallmark IFA lesions, such as the wave signal ( fig. 4 ) or the cartilage detachment with flap formation ( fig. 5 ). Therefore, in our view, the Beck and Haddad classification systems provide more accurate and consistent information regarding the types of acetabular lesions normally found; both can be routinely used depending on the familiarity of each surgeon.

Fig. 4

Arthroscopic image of the hip indicating an acetabular cartilage lesion through a “wave sign” (stars) and acetabular labrum lesions (yellow arrow).

Fig. 5

Arthroscopic image of the hip indicating an acetabular cartilage lesion with flap formation (stars).

The present study has some limitations. Being a retrospective study, it is subject to selection bias during the choice of the videos. Secondly, the observers included are part of the same team and attended regular meetings to discuss the topic, which may have increased the agreement rate among them. Finally, the videos were edited to last for a relatively short time compared with the total duration of the surgical procedure, so the observers had limited information for the classification of the lesions. If the observers had classified the lesions based on the complete surgical videos, the greater number of information could decrease the obtained reproducibility.

Conclusion

In our series, the Outerbridge, Beck and Haddad classification systems presented good interobserver reproducibility and excellent intraobserver reproducibility in the arthroscopic evaluation of acetabular chondral lesions.

Introdução

A artroscopia do quadril surgiu como um método minimamente invasivo para o tratamento e diagnóstico de diversas doenças intra- e extra-articulares do quadril. 1 Essa via de acesso fornece excelente visualização da superfície articular e permite que o cirurgião identifique estágios precoces de dano cartilaginoso. 2 As lesões da cartilagem articular do quadril podem ser causadas principalmente por trauma, artrites inflamatórias, displasia acetabular ou impacto femoroacetabular (IFA). 3

Após tratar jovens adultos com o diagnóstico de artrose idiopática do quadril, Ganz et al, 4 perceberam que certas características morfológicas dessa articulação resultavam de contato anormal entre o fêmur proximal e o rebordo acetabular, o chamado IFA. Posteriormente, foi observado que esse contato anormal leva a padrões característicos de dano do labrum acetabular e da cartilagem adjacente. Lesão labral anterossuperior juntamente com o dano cartilaginoso posteroinferior por contragolpe na cabeça femoral e na superfície acetabular são associados ao impacto tipo Pincer. A separação do labrum anterossuperior do rebordo acetabular e o cisalhamento ou a delaminação da cartilagem articular acetabular adjacente são mais indicativos do impacto tipo CAM. 5 Comumente, os pacientes com IFA apresentam a associação das duas deformidades. Estudos recentes apontam para uma forte associação entre a osteoartrite (OA) do quadril e o IFA. 6 Por isso, atualmente, há grande interesse no tratamento das lesões labrais e condrais no quadril com o objetivo de avaliar se essas intervenções serão capazes de retardar ou até mesmo de evitar o desenvolvimento da OA do quadril nesses pacientes.

Com o rápido crescimento do diagnóstico do IFA e da artroscopia do quadril como via de acesso para o tratamento, houve também um crescimento exponencial das publicações relacionadas a esse assunto. 7 Porém, há uma grande variabilidade na literatura a respeito das indicações, dos resultados, dos métodos de avaliação, do manuseio da cápsula articular e das partes moles, assim como da reabilitação. Parte dessa variabilidade está associada à comparação de pacientes com lesões labrais e condrais em estágios e gravidade diferentes. Com o objetivo de reduzir essa variabilidade, deve-se comparar pacientes com lesões classificadas em estágios de gravidade semelhantes.

Os sistemas de classificação ajudam na comunicação, no planejamento do tratamento e na avaliação do prognóstico. Um sistema ideal de classificação deve ser de fácil aplicabilidade, confiável, reprodutível, incluir todo espectro de lesões, ser mutuamente excludente, lógico, e clinicamente útil. 8

O objetivo do presente estudo é avaliar a confiabilidade inter- e intraobservador das classificações das lesões da cartilagem articular do quadril através da via artroscópica e, com isso, definir quais são as classificações de maior reprodutibilidade a partir do cálculo do índice Kappa de Cohen ponderado. Com o presente estudo, espera-se encontrar as classificações por via artroscópica que apresentam maior reprodutibilidade para que a comunicação, o resultado do tratamento e a avaliação do prognóstico sejam feitos de modo confiável. A hipótese é que as três classificações estudadas tenham moderada confiabilidade inter- e intraobservador.

Materiais e Métodos

A partir de uma base de dados de 278 vídeos de artroscopia do quadril, com gravação previamente autorizada pelo paciente, foram selecionados inicialmente 70 vídeos. Estes pacientes foram convidados a participar do estudo e a assinar um termo de consentimento. O critério de inclusão consistiu de todos os pacientes submetidos a artroscopia do quadril para IFA. Os critérios de exclusão incluíram presença de artrose radiológica (Tonnis > 2), 9 história de cirurgia prévia no quadril (aberta ou artroscópica), vídeos com imagem de má qualidade, visualização inadequada, palpação inadequada das lesões, e recusa a participar do estudo. Após aplicados os critérios acima, a amostra final foi de 60 vídeos.

As operações foram feitas por 2 cirurgiões experientes em artroscopia do quadril (> 200 procedimentos feitos por cada cirurgião) e seguiram um padrão já usado rotineiramente por ambos os cirurgiões. As artroscopias foram feitas com o paciente em posição supina na mesa de tração com o uso dos portais anterolateral e medioanterior. A avaliação intra-articular do acetábulo foi feita com a câmera no portal anterolateral e, com um instrumento de palpação no acesso medioanterior, foi feita a inspeção da superfície articular, do labrum e da junção condrolabral.

Um dos autores, cirurgião de quadril treinado em artroscopia, o qual não participou das cirurgias, reviu cada gravação e as editou. Após a edição, cada gravação teve duração de ∼ 1 minuto e incluiu a inspeção da superfície articular, do labrum e da junção condrolabral. Este processo resultou em 60 gravações digitais de artroscopias do quadril.

Quatro cirurgiões de quadril com experiência em artroscopia do quadril (todos com pelo menos 2 anos de experiência e participação em > 150 casos de artroscopia de quadril) participaram do estudo. Durante uma reunião, os quatro cirurgiões discutiram os esquemas de classificação descritos para as lesões da cartilagem articular: Outerbridge, 10 Beck et al 11 e Konan et al 12 ( Tabela 1 ). Após 15 dias, houve um novo encontro para a prática do uso das classificações em vídeos não incluídos no presente estudo. Após o treinamento dos médicos, cada cirurgião, separadamente, classificou as lesões encontradas nos vídeos de acordo com as classificações propostas acima. Se > 1 achado fosse encontrado, os revisores foram instruídos a relatar apenas o achado mais grave. Os valores iniciais de cada revisor foram usados para a análise interobservador. Em um segundo momento, 1 mês depois, foi solicitado aos revisores que as lesões dos mesmos vídeos fossem novamente classificadas em ordem diferente. Esses valores foram pareados por caso e revisor e foram comparados com os primeiros resultados para uma análise intraobservador.

Tabela 1

Classificações de Outerbridge, Beck e Haddad

Tipos	Descrição
Outerbridge
0	Cartilagem sem alterações macroscópicas
1	Amolecimento ou edema
2	Fragmentação/lesão < 1,3 cm
3	Fragmentação/lesão > 1,3 cm
4	Exposição óssea
Beck
0	Cartilagem sem alterações macroscópicas
1	Malacia; Rugosidade da superfície, fibrilação
2	Destacamento; Perda de fixação ao osso subcondral, cartilagem macroscopicamente sólida, fenômeno de carpete
3	Clivagem; Perda de fixação ao osso subcondral, bordas desgastadas, adelgaçamento da cartilagem, flap
4	Defeito de espessura total
Haddad
0	Cartilagem sem alterações macroscópicas
1	Sinal de onda; Perda de fixacão do osso subcondral
2	Clivagem; Óbvia separação na juncão condrolabral, mas a sondagem artroscópica da lesão mostra aderência da cartilagem articular ao osso subjacente sem evidência de delaminação
3	Delaminação; Destacamento macroscópico da cartilagem do osso acetabular
4	Osso exposto

A avaliação estatística da confiabilidade das classificações incluiu a porcentagem de concordância e os valores ponderados de Kappa propostos por Cohen. 13 Os valores Kappa foram classificados como descrito por Landis et al: 14 entre 0,81 e 1,0 indicaram excelente concordância; de 0,61 a 0,80, boa concordância; de 0,41 a 0,60, moderada concordância; de 0,21 a 0,40, razoável concordância; e de 0 a 0,20, fraca concordância. As análises estatísticas foram feitas nos programas R versão 3.3.2 e Minitab versão 18 (Minitab, LLC, State College, PA, USA).

A pesquisa foi previamente aprovada pelo Comitê de Ética em Pesquisa e feita de acordo com a Declaração de Helsinque da Associação Médica Mundial.

Resultados

As características demográficas dos participantes do estudo estão resumidas na Tabela 2 . A análise descritiva da classificação das lesões por cada observador com os sistemas de Outerbridge, Beck e Haddad observados no primeiro momento é apresentada na Tabela 3 . Esses resultados são ilustrados nas Figs. 1 , 2 , 3 . Com esses dados, ao se avaliar a concordância interobservador, observa-se que, em um caso, a concordância da classificação de Outerbridge foi moderada (I e IV), em quatro foi boa (I e II; I e III; II e IV; III e IV), e em um foi excelente (II e III). Os Kappa variaram entre 0,58 e 0,82, com um valor médio de 0,72, ou seja, a classificação média entre os observadores foi considerada boa.

Tabela 2

Características demográficas dos participantes

Gênero, n (%)
Masculino	32 (53%)
Feminino	28 (47%)
Idade, média (desvio padrão)	33 anos ( ± 7)
Deformidade, n (%)
Combinada (CAM e Pincer)	31 (52%)
CAM	27 (45%)
Pincer	2 (3%)

Tabela 3

Avaliação das três classificações para as lesões da cartilagem no primeiro momento avaliado

Classificações			Observador
	I		II		III		IV
	n	%	n	%	n	%	n	%
Outerbridge
0	8	13,33	8	13,33	5	8,33	19	31,67
1	25	41,67	28	46,67	30	50,00	16	26,67
2	11	18,33	13	21,67	8	13,33	15	25,00
3	8	13,33	7	11,67	11	18,33	2	3,33
4	8	13,33	4	6,67	6	10,00	8	13,33
Beck
0	8	13,33	6	10,00	7	11,67	14	23,33
1	22	36,67	13	21,67	12	20,00	8	13,33
2	11	18,33	19	31,67	21	35,00	15	25,00
3	10	16,67	16	26,67	14	23,33	14	23,33
4	9	15,00	6	10,00	6	10,00	9	15,00
Haddad
0	10	16,67	10	16,67	13	21,67	15	25,00
1	22	36,67	15	25,00	18	30,00	5	8,33
2	10	16,67	13	21,67	9	15,00	17	28,33
3	10	16,67	16	26,67	13	21,67	15	25,00
4	8	13,33	6	10,00	7	11,67	8	13,33

n , número de observa ç ões; %, porcentagem.

Fig. 1

Frequência das lesões da cartilagem, segundo os quatro observadores, com a classificação de Outerbridge.

Fig. 2

Frequência das lesões da cartilagem, segundo os quatro observadores, com a classificação de Beck.

Fig. 3

Frequência das lesões da cartilagem, segundo os quatro observadores, com a classificação de Haddad.

Com relação à classificação de Beck, conclui-se que em quatro casos a concordância foi boa (I e II; I e III; I e IV; II e IV) e em dois foi excelente (II e III; III e IV). Os Kappa variaram entre 0,74 e 0,84, com um valor médio de 0,78, ou seja, a classificação média entre os observadores foi considerada boa.

Os resultados da classificação de Haddad para a concordância interobservador foram moderados em um caso (III e IV), e foram bons em cinco (I e II; I e III; I e IV; II e III; II e IV). Os Kappa variaram entre 0,60 e 0,78, com um valor médio de 0,68, ou seja, a classificação média entre os observadores foi considerada boa. A Tabela 4 apresenta o resumo da avaliação interobservador.

Tabela 4

Avaliação interobservador com o Kappa ponderado

Classificação	Kappa	Classificação do Kappa	IC95%	Taxa de concordância	IC95%
Outerbridge	0,72	Boa
Observador I e II	0,73	Boa	0,53–0,94	0,62	0,48–0,74
Observador I e III	0,72	Boa	0,52–0,92	0,58	0,45–0,71
Observador I e IV	0,58	Moderada	0,37–0,80	0,43	0,31–0,57
Observador II e III	0,82	Excelente	0,72–0,89	0,63	0,50–0,75
Observador II e IV	0,72	Boa	0,60–0,87	0,52	0,39–0,65
Observador III e IV	0,73	Boa	0,58–0,83	0,43	0,31–0,57
Beck	0,78	Boa
Observador I e II	0,77	Boa	0,64–0,90	0,57	0,43–0,69
Observador I e III	0,74	Boa	0,59–0,90	0,53	0,40–0,66
Observador I e IV	0,74	Boa	0,62–0,86	0,50	0,37–0,63
Observador II e III	0,84	Excelente	0,77–0,91	0,68	0,55–0,79
Observador II e IV	0,78	Boa	0,66–0,91	0,62	0,48–0,74
Observador III e IV	0,82	Excelente	0,81–0,84	0,63	0,50–0,75
Haddad	0,68	Boa
Observador I e II	0,68	Boa	0,48–0,88	0,50	0,37–0,63
Observador I e III	0,78	Boa	0,66–0,90	0,60	0,47–0,72
Observador I e IV	0,61	Boa	0,39–0,82	0,42	0,29–0,55
Observador II e III	0,75	Boa	0,54–0,96	0,67	0,53–0,78
Observador II e IV	0,66	Boa	0,45–0,86	0,50	0,37–0,63
Observador III e IV	0,60	Moderada	0,37–0,82	0,43	0,31–0,57

Abreviação: IC, intervalo de confian ç a.

Com relação à avaliação intraobservador, a classificação de Outerbridge apresentou valores Kappa entre 0,83 e 0,94, com um valor médio de 0,90, ou seja, a classificação média entre os observadores foi considerada excelente. Os quatro observadores tiveram concordância da classificação Beck para as lesões da cartilagem classificada como excelente. Os Kappa variaram entre 0,87 e 0,92, com um valor médio de 0,90, ou seja, a classificação média entre os observadores foi considerada excelente. Da mesma forma, a classificação Haddad foi considerada excelente, com valores de Kappa entre 0,89 e 0,97, com um valor médio de 0,93. A Tabela 5 apresenta o resumo da avaliação intraobservador.

Tabela 5

Avaliação intraobservador com o Kappa ponderado

Classificação	Kappa	Classificação do Kappa	IC95%	Taxa de concordância	IC95%
Outerbridge	0,90	Excelente
Observador I	0,83	Excelente	0,70–0,96	0,72	0,58–0,82
Observador II	0,90	Excelente	0,84–0,94	0,73	0,60–0,84
Observador III	0,94	Excelente	0,89–0,96	0,83	0,71–0,91
Observador IV	0,91	Excelente	0,82–0,96	0,78	0,65–0,88
Beck	0,90	Excelente
Observador I	0,90	Excelente	0,83–0,95	0,77	0,64–0,86
Observador II	0,92	Excelente	0,79–1,00	0,87	0,75–0,94
Observador III	0,87	Excelente	0,70–1,00	0,80	0,67–0,89
Observador IV	0,91	Excelente	0,80–1,00	0,87	0,75–0,94
Haddad	0,93	Excelente
Observador I	0,93	Excelente	0,87–0,97	0,80	0,67–0,89
Observador II	0,89	Excelente	0,75–1,00	0,85	0,73–0,93
Observador III	0,94	Excelente	0,88–0,98	0,85	0,73–0,93
Observador IV	0,97	Excelente	0,94–0,99	0,88	0,77–0,95

Abreviação: IC, intervalo de confian ç a.

Discussão

O presente estudo mostrou que as classificações para avaliação das lesões condrais do acetábulo por via artroscópica são reprodutíveis tanto na avaliação inter- quanto intraobservador. Na avaliação interobservador, por meio do valor do coeficiente Kappa ponderado, foi observada boa concordância nas três classificações estudadas, e na avaliação intraobservador o coeficiente Kappa ponderado foi considerado excelente em todas as classificações avaliadas.

Os estudos que avaliaram a reprodutibilidade das classificações das lesões condrais no quadril mostram resultados com grande variação. Amenabar et al, 3 ao avaliarem a reprodutibilidade das classificações de Outerbridge, Beck e Haddad no diagnóstico das lesões condrais por via artroscópica, encontraram um valor Kappa interobservador de 0,28, 0,33 e 0,47, respectivamente. A classificação de Outerbridge foi considerada de fraca concordância, e as classificações de Beck e Haddad foram consideradas como de moderada concordância. Os valores Kappa intraobservador foram de 0,62, 0,63 e 0,68 para as classificações de Outerbridge, Beck e Haddad, respectivamente; todas apresentaram moderada concordância. No presente estudos, os valores do coeficiente Kappa ponderado encontrados foram maiores, o que pode ser explicado parcialmente pela presença de duas reuniões prévias para discussão e treinamento das classificações. Além disso, Amenabar et al 3 fizeram a segunda rodada de classificações 4 meses após a primeira. No presente estudo, o intervalo entre as rodadas de classificação foi de apenas 1 mês; talvez, se os cirurgiões as classificassem novamente após um intervalo de tempo maior, a reprodutibilidade intraobservador tivesse sido menor.

Em um estudo retrospectivo que envolveu 40 vídeos e 4 observadores, Nepple et al 15 avaliaram a reprodutibilidade da classificação de Beck para as lesões labrais e condrais do acetábulo. Com relação às lesões condrais, foram encontrados valores Kappa médios de 0,65 (de 0,49 a 0,74) e de 0,80 (de 0,68 a 0,86) para a reprodutibilidade interobservador e intraobservador, respectivamente. Assim como no presente estudo, a classificação de Beck interobservador foi considerada como de boa concordância, mas a reprodutibilidade intraobservador foi boa, e não excelente, como no presente estudo. No presente estudo, a classificação de Beck mostrou-se como a de maior reprodutibilidade interobservador, com um valor Kappa médio de 0,78. Ao estudar a classificação de Haddad, Konan et al 12 observaram uma alta reprodutibilidade com coeficiente de correlação intraclasse de 0,88 na avaliação interobservador, e de 0,81 na avaliação intraobservador. No presente estudo, a classificação de Haddad apresentou a maior reprodutibilidade intraobservador, com um valor Kappa médio de 0,93.

Lasmar et al 16 avaliaram a reprodutibilidade da classificação de Outerbridge para as lesões condrais no joelho diagnosticadas por via artroscópica, e foi encontrado um valor Kappa interobservador de 0,43, e intraobservador de 0,31, indicando concordância moderada. Porém, entre os seis observadores, foram incluídos dois residentes, e em outros dois observadores não ficou clara a experiência em cirurgia do joelho. A presença de um valor Kappa interobservador maior do que o intraobservador se mostrou inesperada. No presente estudo, todos os observadores são cirurgiões de quadril com experiência em procedimentos artroscópicos, o que teoricamente aumenta a probabilidade de concordância entre os observadores. Em outro estudo que também avaliou a reprodutibilidade da classificação de Outerbridge para lesões no joelho, Cameron et al 17 encontraram um Kappa interobservador de 0,72, e intraobservador de 0,91 entre médicos com > 5 anos de prática; valores bem próximos dos encontrados no presente estudo, o qual também incluiu como observadores apenas cirurgiões experientes em artroscopia do quadril.

O presente estudo mostra que as classificações de Outerbridge, Beck e Haddad são reprodutíveis o bastante para serem aplicadas na prática clínica. Porém, além da reprodutibilidade, uma classificação deve descrever de modo adequado as lesões e oferecer orientação para o tratamento e o prognóstico. A classificação de Outerbridge não foi desenvolvida para avaliar as lesões condrais do acetábulo e não leva em consideração lesões características produzidas pelo IFA, como o sinal da onda ( Fig. 4 ) ou a presença de destacamento da cartilagem com formação de flap ( Fig. 5 ). Portanto, a nosso ver, as classificações de Beck e de Haddad oferecem informações mais precisas e coerentes com os tipos de lesões acetabulares normalmente encontradas, e depende da familiaridade de cada cirurgião escolher entre uma delas na sua rotina.

Fig. 4

Imagem artroscópica do quadril indica lesão da cartilagem acetabular através do “sinal da onda” (estrelas) e do labrum acetabular (seta amarela)

Fig. 5

Imagem artroscópica do quadril indica lesão da cartilagem acetabular com formação de flaps (estrelas).

O presente estudo apresenta algumas limitações. Por se tratar de um estudo retrospectivo, ele está sujeito a viés de seleção na escolha dos vídeos. Em segundo lugar, os observadores incluídos fazem parte de uma mesma equipe e participam de reuniões constantes para discussão do tema, o que pode ter aumentado a taxa de concordância entre os observadores. Por último, os vídeos foram editados para durar relativamente pouco tempo quando comparados com a duração total do procedimento cirúrgico, portanto os observadores obtiveram informações limitadas para classificar as lesões. Caso os observadores classificassem as lesões com base no vídeo completo da cirurgia, a presença de um maior número de informações poderia diminuir a reprodutibilidade encontrada.

Conclusão

Na nossa série, as classificações de Outerbridge, Beck e Haddad apresentaram boa reprodutibilidade interobservador e excelente reprodutibilidade intraobservador ao avaliar lesões condrais acetabulares por via artroscópica.