[Usefulness of ubiquitous-based testing for evaluations in medical education].

PURPOSE: The purpose of this study was to evaluate the suitability (convenience, objectiveness, and satisfaction) of ubiquitous-based testing (UBT) as a medical education evaluation tool.
METHODS: UBT was administered using a smart pad in our medical school in May 2012. A questionnaire was given twice. The pre-UBT questionnaire examined possession of a tablet computer, skillfulness of smart devices, the convenience of UBT, and the usefulness of a medical educational assessment tool. The post-UBT questionnaire evaluated the satisfaction, convenience, and preference of UBT and the usefulness of a medical educational assessment tool, as in the pre-UBT test. The survey was measured on a 4-point scale: 1 is "strongly disagree" and 4 is "strongly agree."
RESULTS: One hundred three students (male, 55.3%) participated in the UBT. The mean age was 29.2±2.4 years. In the pre-UBT questionnaire analysis, students responded affirmatively to the items about the skillfulness of smart devices, clinical skill assessment, and achievement of educational objectives. The responses to the items on the convenience and satisfaction with the UBT were positive in the post-UBT. The factors that affected the post-UBT questionnaire were as follows: knowledge assessment (p=0.041) and achievement of educational objectives (p=0.015) were significant, based on gender, and satisfaction with the UBT (p=0.002) was significant, based on possession of a tablet computer. The relationship between the ranks of this UBT and the average ranks of the three previous semesters was statistically significant (p<0.001).
CONCLUSION: Convenience, objectiveness, knowledge assessment, and composition and completion were useful items in the UBT.

서론

컴퓨터와 통신 기술의 발달로 교육 영역에서 시험을 치르는 방식도 변화하고 있다. 과거의 지필검사는 현재도 많이 쓰이고 있기는 하나, 여러 장점을 가진 컴퓨터를 기반으로 하는 시험방식이 지필검사를 대신하여 여러 교육 분야의 평가에 활용되고 있다[1].

컴퓨터를 기반으로 한 시험에는 여러 방식이 있으며 가장 대표적인 방식은 광학식 마크 판독장치(optical mark reader, OMR)카드를 이용한 컴퓨터 활용분석(computer-using analysis)이다. 이 방식은 중‧고등학교 시험, 대학수학능력시험 및 국내에서 치르는 대부분의 국가시험에서 채택되고 있다. 이보다 좀더 진보한 방식으로 종이가 아닌 개별 컴퓨터에서 제공한 문항을 보고 답안을 작성하여 제출하는 컴퓨터바탕검사(computer-based testing, CBT)가 있으며, 이와 유사한 방식으로 온라인 서버에 접속하여 문항을 보고 답하는 인터넷바탕검사(internet-based testing, IBT)가 있다. 이 CBT나 IBT는 지필검사나 OMR카드 방식에 비해 여러 가지 장점을 가진다. 첫째, 인쇄 및 채점에 필요한 시간과 경비를 절감할 수 있고, 둘째, 멀티미디어 등의 다양한 방식을 이용한 문항 제시가 가능하여 지필검사에서 시행할 수 없거나 불충분했던 평가를 효율적으로 할 수 있다. 셋째, 신속한 피드백이 가능하여 학습능력에 대한 진단 또는 교정이 쉽고, 넷째, 검사의 시기나 장소의 유동성이 있으며, 문항과 피험자의 관리가 지속적으로 가능하다. 이러한 장점으로 인해 많은 여러 시험에서 CBT 방식을 도입하여 학습능력을 평가하고 있다.

최근 스마트기기의 보급이 급격화 되면서 이를 이용한 평가방식이 주목 받고 있는데, 이것이 유비쿼터스바탕검사(ubiquitous-based testing, UBT)이다. 이 방식은 기존 컴퓨터나 노트북대신 스마트폰, 스마트패드 등 정보기술기반 장비를 활용하여 시험 진행, 채점, 성적관리 등이 이루어지는 새로운 시험방식이다. 이러한 스마트기기를 이용한 UBT는 시험 운영기관 측면에서 여러 가지 장점을 가진다. 인쇄비용, 관리비용의 감소뿐만 아니라 초기의 인프라 구축 시에도 기존 CBT에 비해 효과적인 공간 활용 등의 월등한 이점이 있다. 이동성이 뛰어나 언제 어디서나 시험을 볼 수 있으며, 채점 및 결과 통보도 쉽게 가능하다. 교수자 측면에서도 다양한 형식의 문제 출제와 결과 분석 및 피드백을 편리하게 할 수 있다는 점에서 CBT보다는 편리한 장점이 있다. 그러나 UBT가 장점만을 가진 것은 아니다. CBT와 유사하게 초기의 투자비용이 상당 부분 발생하며, 기존 시험방식을 완전히 대체할 수 있는 방법이라고 하기에는 아직까지 동등성과 타당성의 근거가 부족한 것이 현실이다. 기존 지필검사 방식에 적응되어 있는 수험자 입장에서는 새로운 도구가 익숙하지 않을 수도 있다. 그럼에도 불구하고 UBT는 기존 지필고사 방식의 약점을 보완할 수 있는 새로운 도구임에 틀림이 없다. 국내에서는 제2회 국제통역번역 시험에서 스마트폰을 이용하여 평가한 예가 있으며[2], 2011년 11월에는 제1회 임상병리사 모의시험을 UBT 방식으로 시행한 바 있다[3].

저자들이 속한 경희대학교 의학전문대학원에서는 2012년 4월 26일 국내 의학교육기관 중 최초로 UBT를 도입하였고, 같은 해 5월 1일에 4학년 학생을 대상으로 스마트패드를 이용하여 200문항의 임상의학종합평가를 180분간 시행하였다. 따라서 저자들은 이 UBT 시행 전후에 피험자를 대상으로 편리성, 객관성, 만족도, 기존 시험방식과의 차이 등을 묻는 설문조사를 시행하여 UBT가 의학교육 평가도구로서 어느 정도 유용한지 알아보고자 하였다.

대상 및 방법

1. 연구 대상 및 설계

2012년 4월 26일에 경희대학교 의과대학/의학전문대학원에서는 국내 의학교육기관 최초로 엔에스데블(NSdevil)사가 개발한 시스템(아이패드 기반)을 도입하였다. 이 시스템을 기반으로 2012년 5월 1일 오전 9시부터 4학년 학생들에게 제1차 UBT를 이용한 임상의학종합평가를 시행하였다. 시험 문항은 총 200문항(A형 183문항, R형 17문항)으로 구성되었으며 수험시간은 180분이었다. 시험에 응시한 학생 수는 총 104명(남자 57명, 여자 47명)이었으며 결시자는 1명이었다.

2. UBT 전후의 설문조사

피험자들은 UBT 시작 20분 전과 종료 직후 20분 동안 각 한 차례씩 미리 준비된 설문에 응답하였다. 시험 시행 전 설문의 문항은 피험자의 스마트폰 및 태블릿컴퓨터 보유 여부(기종 포함), 피험자의 스마트기기 사용 능숙도, UBT의 편리성, 의학교육 평가도구로서의 UBT의 유용성(지식 평가, 임상 술기 평가, 학습 목표 달성, 객관성)으로 구성하였고, 시험 시행 후의 설문 문항은 UBT 피험 소감(편리성, 완성도, 선호도), 기존 시험방식과 UBT와의 비교(UBT 시행 전 유용성 설문과 동일)로 구성하였다. 각 설문 문항에 대한 평가는 4단계 척도(‘매우 그렇다’, ‘그렇다’, ‘그렇지 않다’, ‘결코 아니다’)를 사용하였다.

3. 자료 분석

조사한 자료는 PASW version 21.0 (SPSS Inc., Chicago, USA)를 이용하여 분석하였다. 설문타당성 분석은 Cronbach α 신뢰도 계수를 구하였다. 설문 문항의 사전과 사후 간에 유의한 차이가 있는지를 알아보기 위해서 McNemar 검정을 이용하였고, 설문조사 결과에 영향을 준 요인 분석은 Fisher의 정확한 검정을 이용하였다. 기존 시험 성적과 UBT 성적 간의 분석은 Pearson 상관분석을 사용하여 통계적 유의성을 검증 하였다. 유의수준은 p값이 0.05 미만일 때로 정하였다.

결과

1. 대상자의 특성

전체 피험자의 99%인 103명이 이 시험을 완료하였다. 대상자들의 평균 연령은 29.2±2.4세였으며, 남자가 57명(55.3%)이었다. 스마트폰을 보유한 대상자는 96.2% (n=100)으로 조사되어 대부분의 학생이 스마트폰을 보유하고 있었고, 태블릿컴퓨터 보유율은 21.2% (n=22)였다(Table 1). 보유 기종은 스마트폰은 안드로이드 기종(62.0%)이 다수를 차지하였고, 태블릿컴퓨터는 애플사의 스마트패드(86.4%)가 대부분이었다(Table 1).

Table 1.

General Characteristics of Medical Students

Characteristic	No. (%)
Gender, male	57 (55.3)
Age, mean±SD (yr)	29.2±2.4
Students have a smartphone	100 (96.2)
Male : female	54 (94.7) : 46 (95.5)
Android-type	62 (62)
iOS-type	37 (37)
Others	1 (1)
Students have a tablet computer	22 (21.2)
Male : female	13 (22.8) : 9 (19.1)
Android-type	2 (9.1)
iOS-type	19 (86.4)
Others	1 (4.5)

SD: Standard deviation.

2. UBT 시행 전후의 설문조사 분석

시험 전후에 시행한 설문조사는 103명이 모두 참여하였고, 각각의 설문조사 신뢰도는 Cronbach α로 측정하였으며, 각각 시험 전 0.870, 시험 후 0.935로 조사되었다.

1) UBT 시행 전 설문 조사

‘각종 스마트기기 사용에 능숙한가?’에 대한 질문에는 ‘매우 그렇다’가 13.6%, ‘그렇다’가 64.1%로 조사되어 다수의 학생이 각종 스마트기기 사용에 익숙하다고 응답하였다. UBT 방식에 대한 편리성을 묻는 ‘UBT가 기존 시험보다 쉽게 시험을 볼 수 있을까?’ 문항에서는 부정적인 답변(‘그렇지 않다’ 51.5%, ‘결코 아니다’ 17.5%)이 더 많아 기존 시험 형식을 선호하였으며, ‘UBT가 기존 시험방식보다 지식 평가에 도움이 될까?’ 문항에서는 긍정적인 답변(49.6%)과 부정적인 답변(50.4%)이 비슷한 수준이었다. 임상 술기 평가에의 도움을 묻는 설문 문항에서는 ‘매우 그렇다’ 4.9%, ‘그렇다’가 59.2%로 긍정 답변(64.1%)이 비교적 많았으며, ‘UBT가 학습 목표 달성에 도움이 되는가?’에 대한 문항도 긍정적인 답변(64.1%)이 더욱 많았다. 마지막으로 ‘UBT가 객관적인 평가에 도움이 될까?’ 문항에서는 긍정적인 답변이 51.4%, 부정적인 답변이 48.6%로 나와 의견이 어느 한쪽으로 치우치지 않았다(Table 2).

Table 2.

Analysis of the Pre-Ubiquitous-Based Testing Questionnaire

Question	Strongly agree (%)	Agree (%)	Disagree (%)	Strongly disagree (%)
Are you skillful with smart devices?	13.6	64.1	18.4	3.9
Do you think UBT is more convenient compared with paper-pencil tests?	4.9	26.2	51.5	17.5
Do you think UBT is helpful for knowledge assessment compared with paper-pencil tests?	4.9	44.7	38.8	11.7
Do you think UBT is helpful for clinical skills assessment compared with paper-pencil tests?	4.9	59.2	25.2	10.7
Do you think UBT is helpful for achieving educational objectives compared with paper-pencil tests?	4.9	59.2	25.2	10.7
Do you think UBT is an objective assessment tool compared with paper-pencil tests?	5.8	45.6	38.8	9.7

UBT: Ubiquitous-based testing.

2) UBT 시행 후 설문 조사

UBT가 편리하다고 응답한 대상자들의 비율은 73.9% (‘매우 그렇다’ 10.9%, ‘그렇다’ 63.0%)였으며, ‘UBT 전반적 구성과 완성도에 만족하는가?’에 대한 답변 또한 긍정적인 답변(67.7%)이 더 많았다. ‘기존 시험보다 UBT를 선호하는가?’에서는 ‘그렇지 않다’가 52.2%, ‘결코 아니다’가 13.0%로 나타나 UBT 선호도는 부정적인 것으로 조사되었다(Table 3).

Table 3.

Analysis of the Post-Ubiquitous-Based Testing Questionnaire

Question	Strongly agree (%)	Agree (%)	Disagree (%)	Strongly disagree (%)
Is the smart device convenient in this test?	10.9	63.0	22.8	3.3
Are you satisfied with the composition and completion in this test?	8.7	59.8	28.3	3.3
Do you prefer UBT to paper-pencil tests?	9.8	25.0	52.2	13.0
Do you think UBT is helpful for knowledge assessment compared with paper-pencil tests?	9.7	54.4	30.1	5.8
Do you think UBT is helpful for clinical skills assessment compared with paper-pencil tests?	11.7	55.3	27.2	5.8
Do you think UBT is helpful in achieving educational objectives compared with paper-pencil tests?	9.7	52.4	32.0	5.8
Do you think UBT is an objective assessment tool compared with paper-pencil tests?	9.7	60.2	25.2	4.9

UBT: Ubiquitous-based testing.

의학교육 평가도구로서의 UBT의 유용성(지식 평가, 임상 술기 평가, 학습 목표 달성, 객관성)에 대한 긍정적인 답변의 변화를 알아보기 위해 UBT 시행 전후 설문조사 간의 비교를 시행하였다. 위에 기술한 유용성 4가지 항목 모두에서 시행 후 긍정 답변이 증가하였으며, 이 중 지식 평가 항목(p=0.006)과 객관성(p<0.001) 항목의 긍정 답변이 사전 설문조사에 비해 통계적으로 유의하게 증가한 것으로 조사되었다(Table 4).

Table 4.

Analysis of the Differences between the Pre- and Post-Ubiquitous-Based Testing Questionnaire

Variable	Pre-UBT (%)	Post-UBT (%)	p-value[a)]
Knowledge assessment	49.6	64.1	0.006
Clinical skills assessment	64.1	67.0	0.664
Achievement of educational objectives	55.4	62.1	0.248
Objective assessment	51.4	69.9	<0.001

UBT: Ubiquitous-based testing.

p-value was calculated by McNemar test.

3. 설문조사 결과에 영향을 준 요인 분석

설문조사에 영향을 준 요인을 성별, 태블릿컴퓨터 보유 여부, UBT 석차에 따라 각각 분석을 시행하였다. 먼저 성별에 따라 분석한 결과, 사전 설문에서는 학습 목표 달성(p=0.006), 사후 설문에서는 지식 평가(p=0.041)와 학습 목표 달성(p=0.015)이 유의한 요인으로 분석되었다. 성별에 따른 태블릿컴퓨터 보유 여부, 능숙도, UBT 만족도, UBT 객관성 등은 유의한 차이가 없었다. 태블릿컴퓨터 보유 여부에 따라 분석한 결과 중 사전 설문에서는 스마트기기 능숙도(p=0.029)가, 사후 설문에서는 UBT 만족도(p=0.002)가 유의한 요인이었다. 피험자의 UBT 석차를 삼분위수(tertile)로 나누어 분석을 시행한 결과에서는 사전, 사후 설문 모두에서 유의한 요인이 없었다(Table 5).

Table 5.

Factors Affecting the Ubiquitous-Based Testing Questionnaire

Factor	Pre-UBT	p-value	Post-UBT	p-value[a)]
By gender	Possession of tablet computer	0.347	Satisfaction of UBT	0.502
	Skillfulness with smart devices	0.817	Preference of UBT	0.279
	Knowledge assessment	0.115	Knowledge assessment	0.041
	Clinical skills assessment	0.103	Clinical skills assessment	0.400
	Achievement of educational objectives	0.006	Achievement of educational objectives	0.015
	Objective assessment	0.116	Objective assessment	0.519
By possession of tablet computer	-	-	Satisfaction with UBT	0.002
	Skillfulness with smart devices	0.023	Preference of UBT	1.000
	Knowledge assessment	0.230	Knowledge assessment	0.323
	Clinical skills assessment	0.622	Clinical skills assessment	0.074
	Achievement of educational objectives	1.000	Achievement of educational objectives	0.462
	Objective assessment	0.632	Objective assessment	1.000
By rank in this UBT	Possession of tablet computer	0.573	Satisfaction of UBT	0.441
	Skillfulness with smart devices	0.956	Preference of UBT	0.926
	Knowledge assessment	0.776	Knowledge assessment	0.487
	Clinical skills assessment	0.967	Clinical skills assessment	0.965
	Achievement of educational objectives	0.800	Achievement of educational objectives	0.876
	Objective assessment	0.568	Objective assessment	1.000

UBT: Ubiquitous-based testing.

p-value was calculated by Fisher exact test.

4. UBT와 기존 시험 성적 간의 상관분석

UBT를 이용하여 평가한 대상자들의 석차는 UBT 직전 3개 학기 동안의 평균 석차와 통계적으로 유의한 상관관계를 보였다(r=0.504, p<0.001) (Fig. 1).

Fig. 1.

Relationship between the Ranks of Ubiquitous-Based Testing and Previous Three Semester Average Ranks of Medical Students

고찰

과학 기술의 발전은 사회적, 인간중심적으로 발전하고 있으며, 이러한 발전은 우리 생활뿐만 아니라 교육 영역에도 영향을 미치고 있다[4]. 과거 지필검사를 대신하는 컴퓨터를 이용한 시험방식은 20세기 중반 OMR 방식을 첫 시작으로 개인용 컴퓨터의 보급이 원활해지고 인터넷이 발달하면서 CBT와 같은 방식이 소개되었다. 이는 지필검사에 소요되는 많은 준비 시간과 비용, 노력, 그리고 채점 시에 발생할 수 있는 오류를 줄일 수 있다는 장점 등으로 인하여 다양한 평가 분야에서 활용되고 있으며, 국내 여러 평가뿐만 아니라 미국과 캐나다의 의사국가시험 역시 CBT로 시행하고 있다[5,6]. 컴퓨터 기술의 발전은 스마트기기(스마트폰, 스마트패드 등)를 탄생시켰고, 이 기기는 일상생활뿐만 아니라 교육 영역에서도 많은 일을 편리하게 할 수 있게 하였다. 이러한 스마트기기가 상용화되면서 컴퓨터를 이용한 평가방식에서 진일보한 대표적인 것이 유비쿼터스바탕검사라고 할 수 있다. ‘유비쿼터스’의 단어 자체는 ‘어디에나 존재하는’, ‘아주 흔한’ 등의 뜻을 가지며, 일반적인 의미는 ‘어디에나 존재하는 과학기술을 항상 사용할 수 있다’는 의미를 내포하고 있다[7]. Weiser [8]는 ‘ubiquitous computing’의 용어를 처음으로 제시하면서, 이것은 기계 안으로 인간이 들어오는 개념이 아닌, 기계가 인간의 환경을 적합하게 하는 것으로 정의하고 있다.

이 연구는 국내 의학교육 분야에서 처음으로 스마트기기를 이용한 UBT에 관한 연구이다. 스마트기기 보급률 등으로 인해 UBT에 관한 국내외 연구는 많지 않다. 따라서 이번 연구에서는 학생들의 스마트기기 보유 또는 능숙도 여부와 UBT 간의 관계, 편리성, 객관성, 지식 평가 도구로서의 유용성 등을 알아보고자 하였다. 이번 UBT를 치른 의학전문대학원 학생의 스마트폰 보유율은 96.2%로 조사되었다. 국내 조사 결과에 따르면 20대의 스마트폰 보유율은 99.2%로 조사되었는데 이는 이번 연구와 유사한 수준이었으며[9], 미국 성인의 같은 연령대의 58%에 비하여 월등히 높은 수치를 보였다[10]. 또한 스마트패드 보유율은 같은 국내 조사 결과인 4.8%보다 높은 21.2%를 보였다[9]. 의학전문대학원 학생들의 높은 스마트기기의 보유율은 사전 설문에서 조사한 스마트기기 사용의 능숙도에 대한 높은 긍정적인 답변과 상당한 연관성을 가진 것으로 생각되며, UBT 방식의 시험을 치르는 데 있어 상당한 장점으로 작용할 것으로 보인다. 향후 스마트기기의 보급이 더욱 증가한다면 UBT 시행에 있어서 장비 이용에 따른 어려움은 크게 없을 것이다. 스마트기기 능숙도의 긍정 답변에 비해 사전 설문의 UBT에 대한 편리성은 부정적인 의견이 더 많았다. 이러한 이유는 일상적인 생활에서의 스마트기기에는 익숙하지만 시험을 치르는 방식으로서의 스마트기기의 사용은 학생들에게 생소하게 느껴졌을 것이고, 시험 결과에도 영향을 미칠 수 있다는 부담으로 작용했을 것이다. 그러나 사후 설문조사 결과에서 기존 평가방식보다 편리하다고 답한 학생이 많았고, 전반적인 구성과 완성도도 만족하는 것으로 조사되었다. 또한 기존 성적과 UBT 성적이 유의한 상관성을 보여 UBT가 기존 시험방식을 대체할 수 있는 좋은 도구라는 것을 반증한다. 앞으로 여러 번의 경험을 통하여 UBT에 익숙해진다면, 교수자나 학생들이 좀더 편리하고 친숙하게 UBT를 준비, 시행하고 시험을 치를 수 있을 것이며, 하나의 시험 방식으로 정착할 수 있을 것이다.

UBT의 유용성을 묻는 설문에서는 임상 술기 평가와 학습 목표 달성에 대한 항목에서 사전, 사후 모두 긍정적으로 조사되었다. 이는 UBT 방식의 평가가 기존 지필검사에 비해 동영상 등 다양한 매체를 이용한 평가를 할 수 있기 때문에 이러한 답변이 나왔을 것이라 추측된다. 특히 UBT의 지식 평가, 임상 술기 평가, 학습 목표 달성에 대한 사후 설문조사가 모두 긍정적으로 조사되었고, 특히 지식 평가 측면이나 객관성은 사전 설문에 비해 유의하게 긍정적으로 조사되었다. 그러나 임상 술기 평가에 대한 측면은 임상종합평가가 UBT를 기반으로 만들어진 평가가 아니고 기존 지필검사를 기반으로 제작되었기 때문에 정확한 의도 파악이 어려웠을 것이다. 향후 멀티미디어 등을 이용한 다양한 문제 형식의 평가를 진행한다면 임상 술기나 학습 목표 달성의 측면에서 정확한 분석이 가능할 것이다. 시험 전 UBT 평가의 객관성을 묻는 질문에서는 긍정적 답변과 부정적 답변의 차이가 없어 기존의 시험방식의 객관성에 대한 큰 차이가 없을 것으로 조사되었으나, 사후 설문에서 긍정적인 답변이 유의하게 증가하여 피험자 입장에서는 UBT가 더 객관적일 것이라고 하였다. UBT에 대한 만족도도 사후 설문에서 높게 조사되어 UBT의 유용성을 뒷받침하였다. 그러나 이러한 편리성과 완성도에도 불구하고 기존 시험을 선호한다는 의견이 많은 것으로 나타났는데, 이에 대한 추가 설문이 없어 선호하지 않는 이유에 대한 명확한 분석을 시행할 수는 없었다. 아마 새로운 시험방식보다는 기존 방식을 고수하려는 학생들의 의지가 반영된 것으로 보인다. 추후 UBT를 다시 시행한다면 이에 대한 보충 연구가 필요할 것이다.

설문조사에 영향을 준 요인 분석 중 태블릿컴퓨터 보유 여부에 따른 분석과 UBT 성적에 따른 분석에서 모두 유의한 항목이 없었다. 태블릿컴퓨터 보유 여부, UBT 성적 모두 설문 조사에는 영향을 주지 않아, UBT가 의학교육 평가도구로 유용하게 쓰일 수 있겠다. 비록 1회의 평가였지만 앞서 언급했듯이 기존 시험 석차와 UBT 성적 간의 연관성은 유의한 것으로 조사되어 기존의 평가도구로서의 역할을 충분히 대신할 수 있을 것이다. 조사 내용을 종합해볼 때, UBT는 편리성, 만족도, 지식의 객관적 평가 측면에서 장점을 가지는 것이 분명하다.

이번 연구의 한계점은 몇 가지가 있다. 첫째, 일회성의 UBT 평가로만 이루어진 설문조사로서 기존의 교육 평가를 대체할 수 있는 충분한 자료가 되기에는 그 근거가 조금 미약하다고 할 수 있다. 둘째, 일개 의학전문대학원의 일개 학년의 평가이므로 UBT에 대한 일반화된 연구라고 하기 힘들다. 추후 여러 학교와 다양한 학년이 참여하는 UBT 평가가 시행된다면 좋은 결과를 얻을 수 있지 않을까 생각한다. 셋째, 위에도 언급했듯이 UBT에 적합한 평가 문제가 아닌 기존의 임상종합평가를 스마트기기를 이용하여 시행한 것이므로 UBT의 여러 장점을 평가하지 못한 측면이 있다. 이 또한 새로운 문제 개발, 다양한 멀티미디어의 활용을 통한 새로운 문제로 평가한다면 좀더 객관성 있는 결과가 나올 수 있을 것이다.

이러한 한계점에도 불구하고, 본 연구는 의학교육에서 첫 번째 이루어진 UBT 평가를 대상으로 시행한 연구이다. 기존 평가방식에 비해 편리성, 만족도, 평가도구로서의 유용성의 장점을 가지고 있어 UBT가 기존 의학교육 평가체계 개선을 위한 효과적 수단으로 활용될 수 있음을 시사한다. 한계점을 보완하여 일회성이 아닌 다양한 피험자, 다양한 평가 문제가 뒷받침된 UBT를 이용한 후속 연구가 필요하겠다.