[Analysis of the Rate of Discrepancy between Preliminary Reports by Radiology Residents and Final Reports by Certified Radiologists for Emergency Radiology Studies in a University Hospital].

Purpose: In the adult emergency department of a university hospital, we investigated the frequency of major discrepancies between the preliminary reports by radiology residents and the final reports by certified radiologists. Materials and
Methods: Based on CT and MRI scans obtained between December 2016 and November 2019, we selected cases with diagnoses or treatment plans that could be changed due to discrepancies between preliminary and final reports and classified them by the type of discrepancy. We also examined the distributions of the major discrepancies and stratified them by residents' working time zone, experience, and subspecialty.
Results: Based on the 72137 preliminary reports evaluated, 1348 tests (1.9%) showed major discrepancies. Most of the major discrepancies were false negatives (72.0%), followed by misdiagnosis (26.3%) and false positives (1.7%). Acute findings (87.2%) were more common than non-acute findings (12.8%). The major discrepancy rate increased toward the second half of the 24-hour shift, with the highest rate of 2.9% occurring between 2 am and 4 am. The major discrepancy rate did not vary with experience, and it varied from 0.6% to 4.5% for each subspecialty.
Conclusion: The major discrepancy rate was less than 2%, and it increased with longer working hours during a 24-hour shift. Copyrights

서론

응급실에서 영상검사 특히 전산화단층촬영(이하 CT)과 자기공명영상(이하 MRI)의 중요성은 점차 커지고 있다. 숙련된 영상의학과 의사의 정확하고 신속한 판독은 응급실에서 환자의 진단 및 치료에 큰 영향을 미친다. American College of Radiology (이하 ACR)는 응급실에서 근무하는 영상의학과 의사들을 대상으로 진료 지침을 제공하고 있다(1). 이에 따르면 응급실에서는 숙련된 영상의학과 의사가 직접 또는 원격으로 영상 판독을 시행해야 하며, 숙련된 영상의학과 의사에는 지도전문의의 감독을 받는 전공의가 포함된다. 판독은 가판독 및 최종 판독 모두 인정되며, 가판독은 최종 판독을 기다리는 것이 불필요하게 진료 지연을 야기할 때 시행할 수 있다.

가판독과 최종 판독 간의 불일치 비율은 영상의학과의 중요한 품질 지표를 반영하며, 관리의 대상이다. 본 병원에서 2006년도에 응급실 CT와 MRI에 대해 가판독과 최종 판독 간의 불일치 비율을 조사하여 보고한 바 있으나(2) 3달 동안 1300여 건의 검사를 분석한 소규모 자료라는 한계가 있고, 최근 가판독량이 당시에 비해 세 배 이상 증가한 상황으로, 가판독과 최종 판독 간의 불일치에 대해 대규모 자료로 재평가를 계획하였다. 이에, 최근 3년간 본 병원 성인응급실에서 전공의 가판독과 최종 판독 간의 불일치 발생 빈도를 조사하고, 이런 불일치 발생률에 영향을 미칠 수 있는 요인별로 세부적인 분포를 살펴보고자 한다.

대상과 방법

본 후향적 연구는 본원의 의학연구윤리심사위원회의 승인 아래 진행되었으며, 동의서는 면제되었다(IRB No. H-2004-046-1116).

응급실 판독 및 근무 실태

본 병원의 성인응급실은 영상의학과 3년차 전공의 두 명이 24시간 교대 근무(오전 9시~익일 오전 9시)를 하면서 판독을 담당한다. 전공의는 성인응급실에서 촬영된 CT와 MRI를 가능한 한 신속하게 가판독하며, 근무 시간대에 따라 그 대상은 다음과 같이 달라진다. 평일 정규시간(오전 9시~오후 6시)에는 복부, 비뇨생식기, 심장혈관 세부 분야의 영상을 제외한 영상을 담당하며, 평일 정규시간 이후 및 휴일에는 모든 세부 분야의 영상을 담당한다. 본 병원 영상의학과 3년차 전공의들은 개인별 연중 수련 계획에 따라서 1개월 단위로 응급실 수련을 하게 되는데, 연속하여 2개월 이상 응급실 수련을 하게 되는 경우는 없으며, 2~3개월간의 간격을 두고 연중 3~4회 응급실 근무를 수행한다.

전공의의 가판독을 바탕으로 영상의학과 전문의는 본인의 세부 분야에 해당하는 영상검사에 대해 최종 판독을 시행한다. 전공의 가판독과 전문의 최종 판독 간에 유의한 불일치가 있으면, ACR 지침(3)과 비슷한 방식으로 원내 이상 결과 보고 체계(critical value reporting system; 이하 CRS)를 구축하여 이를 담당 의사에게 통지하고 있다. ‘CRS 전송’이라는 문구를 포함하여 최종 판독문을 작성하여 보고하면, 보고 즉시 검사요청의, 환자 담당 전공의 및 교수 총 3명에게 판독문 확인을 요청하는 문자가 자동으로 발송된다.

자료 수집 및 분류

전공의 연차 교대를 고려하여 2016년 12월부터 2019년 11월까지 본 병원 성인응급실에서 촬영된 CT/MRI 검사 중 영상의학과 전공의가 가판독을 남기고 이후 영상의학과 전문의에 의해서 최종 판독이 시행된 총 72137건의 검사를 대상으로 하였다.

위 검사 중에서 ‘CRS 전송’ 문구가 포함된 검사를 수집하여 그 판독문을 영상의학과 4년차 전공의와 경력 12년의 응급 영상의학 전문의가 검토하여 가판독과 최종 판독이 중대한 불일치(major discrepancy)를 보이는지 다시 검토하였다. 여기서 중대한 불일치란 가판독과 최종 판독의 차이가 환자의 치료 계획이나 예후에 영향을 미칠 수 있는 경우를 의미한다(2). 이후 추가로 중대한 불일치를 보이는 검사들을 두 가지 측면으로 분류하였다.

우선 위음성(false negative), 오판(misdiagnosis), 위양성(false positive)으로 구분하였다. 위음성이란 치료 계획이나 예후에 영향을 미칠 수 있는 결정적인 소견이 가판독에 없는 경우이며, 오판은 가판독과 최종 판독에서 동일한 소견을 언급하였으나 서로 다른 진단을 내린 경우이다. 마지막으로 위양성은 가판독에서 정상 소견을 병변이라고 언급하거나 의미 없는 소견을 주요한 이상 소견이라고 언급하여 불필요한 추가 검사나 치료를 발생시킬 수 있는 것을 의미한다(2).

다른 방법으로 중대한 불일치를 급성(acute)과 비급성(non-acute)으로 분류하였다. 환자가 응급실에 내원한 주소의 원인이 되는 문제이자 즉각적인 추가 검사나 치료가 필요한 경우는 급성으로, 우연히 발견된 암성 병변과 같이 즉각적일 필요는 없으나 수 주 내에 추가적인 검사 또는 치료가 필요한 경우는 비급성으로 분류하였다.

중대한 불일치 발생률 세부 분석

중대한 불일치 발생률에 전공의 근무 시간대, 전공의 응급실 근무 경력, 세부 분야가 어떠한 영향을 미치는지 분석하였다. 상기 요인들에 따라 수집된 검사들을 세분화하고 검사 건수, CRS 활성화 건수, 중대한 불일치 발생 건수를 조사하였다. 여기서 전공의 응급실 근무 경력은 전공의 개인별로 근무 첫 달부터 네 번째 근무 달까지 월별로 나누었다.

통계학적 분석

근무 시간대별 중대한 불일치 발생률 차이는 피어슨 카이제곱 검정을 통해 분석하였다. 통계학적 분석은 SPSS 25.0 (IBM Corp., Armonk, NY, USA)을 이용하여 시행하였고, p < 0.05에 대해 통계학적으로 유의한 것으로 판단하였다.

결과

중대한 불일치 발생률

2016년 12월부터 2019년 11월까지 총 3년간 본 병원 성인응급실에서 영상의학과 전공의가 가판독을 시행한 검사는 총 72137건이었으며, CRS 활성화 건수는 총 1512건(2.1%)이었다. 이 중 중대한 불일치로 판정된 검사는 총 1348건(1.9%)이었다. 중대한 불일치 중에서 대부분은 위음성(970건, 72.0%)이었고, 오판은 355건(26.3%), 위양성은 23건(1.7%)이었다. 한편 급성 중대한 불일치는 1175건(87.2%)으로 비급성(173건, 12.8%)에 비해 대다수를 차지하였다.

상기 연구 기간을 전공의 연차 교대를 고려하여 1년 단위로 나누었을 때, 시간이 지날수록 전체 검사 건수가 증가하였고, 중대한 불일치 발생률도 1.6%, 1.9%, 2.0%로 증가 추세를 보였다. 자세한 자료는 Table 1에 기술하였다.

Table 1

CRS Activation and Major Discrepancy Rates Stratified by Years

		Total (%)	2017 (%)*	2018 (%)	2019 (%)
Total exam		72137	19888	24096	28153
CRS activation		1512 (2.1)	346 (1.7)	528 (2.2)	638 (2.3)
Major discrepancy		1348 (1.9)	327 (1.6)	457 (1.9)	564 (2.0)
	False negative	970 [72.0]	241 [73.7]	320 [70.0]	409 [72.5]
	Misdiagnosis	355 [26.3]	83 [25.4]	126 [27.6]	146 [25.9]
	False positive	23 [1.71]	3 [0.92]	11 [2.41]	9 [1.60]
	Acute	1175 [87.2]	296 [90.5]	402 [88.0]	477 [84.6]
	Nonacute	173 [12.8]	31 [9.5]	55 [12.0]	87 [15.4]

Data in parenthesis represent ratio among the total exam. Data in square bracket represent ratio among the major discrepancy.

*Each year covers the period from December of the previous year to November of this year, for example, 2017 covers from December 2016 to November 2017.

CRS = critical value reporting system

전공의 근무 시간대별 분포

검사 시간대에 따라 중대한 불일치 발생률은 차이를 보였고, 검사 시간대가 밤 또는 새벽일수록 발생률이 증가하는 경향을 보였다(Fig. 1). 중대한 불일치 발생률이 가장 낮은 시간대는 오전 10시에서 낮 12시 사이로 1.2%의 발생률을 보였고, 가장 높은 시간대는 익일 새벽 2시부터 새벽 4시로 2.9%였다. 오전 8시부터 오후 4시, 오후 4시부터 밤 12시, 밤 12시부터 익일 오전 8시까지 세 구간으로 나누었을 때 중대한 불일치 발생률은 각각 1.4%, 1.9%, 2.8%로 세 구간 사이에 유의한 차이를 보였다(p < 0.001).

Fig. 1

Hourly major discrepancy rates for preliminary reports generated by radiology residents for three years. The major discrepancy rate increases with increasing consecutive working hours.

전공의 근무경력별 중대한 불일치 분포

전공의의 근무경력에 따라 중대한 불일치 발생률은 차이를 보이지 않았다(Fig. 2). 3년 동안 총 21명의 전공의가 응급실에서 근무하였고, 이 중 12명의 전공의는 총 3개월, 9명은 총 4개월 동안 응급실 근무를 경험하였다. 첫 번째 달의 중대한 불일치 발생률 중앙값은 1.7%, 두 번째 달은 1.8%, 세 번째 달은 1.9%, 마지막 네 번째 달은 1.6%이었다. 전공의 개인 간 경력에 따른 발생률 분포도 다양한 패턴을 보였다.

Fig. 2

Major discrepancy rates for preliminary reports generated by radiology residents according to experience. Box-and-Whisker plots show no correlation between residents' experience and the major discrepancy rate. Each color plot represents the major discrepancy rate for each resident as experience in ER increases.

ER = emergency radiology

세부 분야별 중대한 불일치 분포

영상의학 세부 분야별 중대한 불일치 발생률은 0.6%에서 4.5%로 다양한 분포를 보였다(Table 2). 발생률이 작은 순서부터 나열하면 신경계(0.6%), 흉부(1.5%), 비뇨기계(2.6%), 근골격계(3.2%), 복부(4.1%), 심혈관계(4.5%) 순이었다.

Table 2

CRS Activation and Major Discrepancy Rates Stratified by Subspecialty

		Total (%)	2017 (%)*	2018 (%)	2019 (%)
Gastrointestinal
	Total exam	15592	4187	5028	6377
	CRS activation	651 (4.2)	167 (4.0)	224 (4.5)	260 (4.1)
	Major discrepancy	637 (4.1)	164 (3.9)	222 (4.4)	251 (3.9)
Chest
	Total exam	13479	3600	4376	5503
	CRS activation	332 (2.5)	44 (1.2)	119 (2.7)	169 (3.1)
	Major discrepancy	205 (1.5)	36 (1.0)	62 (1.4)	107 (1.9)
Neuro
	Total exam	34857	9707	12049	13101
	CRS activation	228 (0.7)	57 (0.6)	89 (0.7)	82 (0.6)
	Major discrepancy	213 (0.6)	53 (0.6)	80 (0.7)	80 (0.6)
Genitourinary
	Total exam	1794	440	632	722
	CRS activation	47 (2.6)	8 (1.8)	18 (2.9)	21 (2.9)
	Major discrepancy	46 (2.6)	7 (1.6)	18 (2.9)	21 (2.9)
Musculoskeletal
	Total exam	3210	1008	1022	1180
	CRS activation	104 (3.2)	23 (2.3)	37 (3.6)	44 (3.7)
	Major discrepancy	102 (3.2)	22 (2.2)	37 (3.6)	43 (3.6)
Cardiovascular
	Total exam	3205	946	989	1270
	CRS activation	150 (4.7)	47 (5.0)	41 (4.2)	62 (4.9)
	Major discrepancy	145 (4.5)	45 (4.8)	38 (3.8)	62 (4.9)

Data in parenthesis represent ratio among the total exam.

*Each year covers the period from December of the previous year to November of this year, for example, 2017 covers from December 2016 to November 2017.

CRS = critical value reporting system

고찰

본 병원 성인응급실에서 집계한 3년간 전공의 가판독과 최종 판독 간의 중대한 불일치 발생률은 1.9%로 확인되었다. 전공의 가판독의 정확성에 대한 선행연구들에서 최종 판독과 전공의 가판독 사이의 중대한 불일치가 발생하는 비율은 0.2~3.8%로 보고되었는데(2456789101112), 이에 부합하는 결과이다. 한편, 본 병원에서 2006년에 조사한 중대한 불일치 발생률은 2.5%로(2) 이번 논문에서 조사된 1.9%보다 높은데, 전공의가 가판독한 월평균 영상건수가 595건에서 2004건으로 업무량이 대폭 증가하였음에도 불구하고 중대한 불일치 발생률이 감소한 점은 흥미롭다. 최근 응급실 영상검사 시행률이 증가하고 있지만, 의미 있는 이상 소견이 발견되는 비율은 그에 미치지 못하고 정상 소견을 보이는 검사 비율이 증가하고 있는 상황인데(131415), 중대한 불일치의 대부분을 차지하는 위음성 오류가 발생할 가능성이 적은 정상 검사의 증가가 많았기 때문에 중대한 불일치 발생률이 감소하였을 것으로 해석해 볼 수 있다.

대부분의 중대한 불일치는 위음성(72.0%)으로 중요 소견을 인지하지 못하는 것에 기인하였는데, 이는 비정상을 인지하지 못하는 ‘지각 오류’가 영상의학과 의사가 가장 많이 일으킬 수 있는 실수라고 알려진 사실과 일치하는 모습이다(16171819). 한편, 대부분의 중대한 불일치는 환자가 응급실에 내원한 급성 문제와 연관된 경우가 많았지만, 비급성 문제에 관한 중대한 불일치 역시 12.8%로 의미 있게 확인되었다. 더군다나 비급성 문제의 중대한 불일치 비율은 3개년에 걸쳐 9.5%, 12.0%, 15.4%로 증가하는 경향이 나타났다. 검사 건수의 증가 및 시간당 업무량 증가로 비급성 소견을 간과하기 쉬운 환경이 조성된 것으로 추측된다.

본 병원에서 오전 9시를 기점으로 하는 24시간의 교대 근무 중 새벽 시간대로 갈수록 중대한 불일치 발생률이 증가하는 모습이 확인되었다. 펜실베이니아 대학병원에서도 전공의 가판독을 분석하여, 12시간 교대 근무 중 마지막 2시간에 유의하게 중대한 불일치가 증가함을 보고한 바 있는데, 수면 부족, 피로 누적, 하루 주기 리듬 비동기화 등을 원인으로 제시하였다(17). 한편 핀란드 중형급 대학병원 응급실에서 1년 동안 영상의학과 야간 당직 전공의의 판독 오류를 조사한 연구에서는, 오후 9시부터 다음날 오전 8시까지 3시간 간격으로 나누었을 때 중대한 불일치 발생률에 유의한 차이가 확인되지 않았다(5). 그러나 상기 병원에서는 정규 근무를 마친 영상의학과 전공의가 야간 당직을 하며, 그 시간 동안 평균적으로 10건의 CT를 판독하고 새벽 3시부터는 수면을 취할 수 있다고 한다. 이러한 상황은 동일한 시간대에 평균적으로 약 30건의 판독을 하는 본 병원의 상황과는 큰 차이 있을 것으로 보인다.

본 연구에서는 전공의의 응급실 근무 경력과 중대한 불일치 발생률 간의 상관관계는 보이지 않았다. 전공의 응급 가판독의 정확성을 평가한 선행 연구들 중 일부는 세부 분석을 통해 전공의 경력에 따라 가판독의 정확도가 변화함을 보여주었다(578920). 이들 연구에서 전공의의 연차가 1년차에서 4년차로 올라감에 따라 최종 판독과의 차이가 줄어드는 경향이 확인되었다. 그러나 3년차 전공의로만 이루어지는 본 병원 응급실 근무의 특성상 연차별 차이를 확인할 수 없었다. 이를 대신하여 응급실 근무 경험 개월 수에 따라 중대한 불일치 발생률을 살펴보았으나 이 같은 미시적인 경력의 차이는 영향을 미치지 못하는 것으로 생각된다.

영상의학 세부 분야별 중대한 불일치 발생률은 상당한 차이를 보였으나 그 해석에는 유의할 필요가 있다. 본 병원에서는 가판독과 최종 판독 사이의 환자 진료에 영향을 미칠 수 있는 유의한 불일치가 있을 때 CRS를 활성화하도록 권장하나, 판독하는 전문의마다 유의한 불일치를 정의하는 기준이 다를 수 있어 불일치 발생률에 영향을 미칠 수 있다. 그리고 응급실에서 각 분야별 영상의 특성이 다르다는 점 역시 중대한 불일치 발생률에 영향을 미칠 수 있다. 두부 CT의 경우 검사 건수는 많으나 상대적으로 정상 소견의 비율이 높은 검사로, 이는 신경계 분야의 중대한 불일치 발생률이 상대적으로 낮은 데 일부 기여했을 것으로 생각된다.

본 연구는 단일 병원 연구라는 점에서 제한점이 있다. 또한 본 병원은 1500병상 규모의 대형 대학병원으로 주로 암 또는 만성질환의 기왕력으로 이미 본 병원 또는 타 병원에 다니고 있는 환자들이 응급실에 내원하는 경우가 많기 때문에 일반적인 중대형 병원의 임상 환경을 대표한다고 볼 수 없다. 그리고 판독하는 전문의가 가판독과 최종 판독 사이의 환자 진료에 영향을 미칠 수 있는 유의한 불일치가 있다고 판단한 검사들만 후향적으로 추출하였기 때문에, 각 판독자의 선택편향이 개입하였을 수 있다. 다만 이러한 선택편향은 사소한 불일치에 좀 더 많은 영향을 미칠 것으로 보이며 임상적으로 중대한 불일치는 대부분의 판독자가 공통으로 유의한 불일치가 있다고 평가하였을 것으로 생각된다. 한편 본 연구에서 전문의 최종 판독을 기준으로 전공의 가판독의 정확성을 평가하였으나, 최종 판독 역시 오류를 내포하고 있을 수 있다는 점에서 엄밀한 정확성을 평가한 것은 아니다. 더군다나 중대한 불일치를 잠재적으로 환자의 치료 계획이나 예후에 영향을 미칠 수 있는 차이로 정의하였으나, 이러한 차이가 실제로 환자의 치료 계획이나 예후에 어떠한 영향을 미쳤는지에 대해선 확인하지 못하였다.

이러한 제한점에도 불구하고 본 연구는 연간 전공의 가판독 건수가 2만 건에 달하는 대형 대학병원 응급실 환경에서의 판독 실태를 고찰하였다는 점에 의미가 있다. 전공의 가판독과 최종 판독 사이의 중대한 불일치로 인하여 환자 진료에 영향을 미칠 수 있는 경우는 전체 가판독의 2% 미만으로 확인되었으나, 근무시간이 길어지고 새벽으로 갈수록 불일치 발생률이 유의하게 증가함이 확인되었다. 이러한 결과를 바탕으로 응급실에서 행해지는 영상의학 진료가 더욱 안전하고 정확하게 시행될 수 있는 환경을 구축할 수 있기를 희망한다.