[Research and development of evaluation criteria for premedical curriculum].

PURPOSE: The purpose of this study was to develop criteria to evaluate a premedical curriculum to ultimately improve the quality of premedical education.
METHODS: The first draft of the evaluation criteria was developed through a literature review and expert consultation. The Delphi survey was conducted to ensure the validity of the draft.
RESULTS: The final premedical curriculum criteria consisted of three evaluation areas (curriculum development, curriculum implementation, and curriculum outcome), five evaluation items (educational objective, organization of curriculum, instructional method, class management,and educational outcome), and 18 evaluation indicators.
CONCLUSION: There should be further discussion on the evaluation questionnaire and the content for each evaluation indicator with regard to its practical application. Also, a concrete evaluation system, including evaluation standards and rating scales, should be developed.

서론

의예과 교육은 학생들이 의사로서 갖추어야 할 기본적인 자질 외에 인성 함양을 위한 인문사회학적 교육이 선행되어야 하고, 본격적인 의학교육을 받기에 앞서 이를 수학할 수 있을 정도의 기초 자질 개발이 요구된다는 측면에서 그 필요성이 강조되어 시작되었다. 우리나라에서 의예과 학생 모집이 처음으로 시작된 것은 1924년부터이며, 의예과가 정규 교육과정으로 편성된 것은 경성제국대학(현 서울대학교의 전신)에 의학부 교육이 시작되고 예과가 을류(乙類) 3에 속한 1926년이다. 처음에는 2년제로 시작되었으나 1934년부터 1940년까지 3년제로 한시적으로 운영되다가 이후 일본의 제2차 세계대전 참전으로 인한 전시체제 인력동원 방침에 의해 다시 2년제로 전환되어 현재까지 그 체제가 지속되고 있다. 1954년 이후 미국 의과대학에서 수학하고 돌아온 의과대학 교수들이 귀국하면서 국내 의학교육에 많은 변화와 발전이 있었으나 정작 의예과 교육과정에는 의과대학, 자연과학대학(구 문리과대학) 모두 큰 관심을 두지 않았다[1,2].

우리나라 근현대사에서 의학교육학제는 크게 세 번의 변화과정을 거쳤는데, 첫 번째 변화는 경성제국대학이 1924년 예과 학생 모집을 시작하면서 기존의 4년제 의학전문학교 체제와 새로운 6년제 의사양성체제를 병행한 것이다. 이후 1946년 국립서울대학교가 개교하면서 의예과 2년, 의학과 4년의 학제가 확립되었고 60년 만인 2005년 ‘4+4’ 학제인 의학전문대학원 체제가 도입되었으나[3,4], 2010년 41개 의과대학 중 5개 대학을 제외한 나머지 36개 대학은 2015년 혹은 2017년에 ‘2+4’ 학제인 의과대학 체제로 유지 및 전환이 확정됨으로써 의학전문대학원은 사실상 폐기의 단계를 밟게 되었다[5]. 결국 기존에 의과대학-의학전문대학원 체제를 병행하고 있던 12개 대학 중 11개 대학과 의학전문대학원 체제였던 15개 대학 중 11개 대학은 의과대학 체제로 전환될 예정이다.

의예과 과정은 본격적인 의학 지식 습득이 이루어지기에 앞서 이를 수학하기 위한 기초자질을 개발하고 미래 의사로서의 태도 및 가치관을 형성하는 단계이다. 그러나 지금까지의 의예과 교육과정은 자연과학 교과목에 지나치게 편중되어 운영되어 왔으며, 이로 인해 예비 의학도로서 갖추어야 할 태도나 가치관이 제대로 확립되지 못하고 학생들의 비인간화를 자초하였다는 비판을 받기에 이르렀다[2,6]. 이는 현대 사회가 요구하는 의사의 전문성 향상과 의학 발전에 기여할 수 있는 높은 수준의 의사양성체제가 지향하는 방향과는 상충되는 부분이다. 미국에서는 1970년대부터 의예과 교육과정에 대한 변화의 목소리가 있었으며, 자연과학적 지식 습득뿐만 아니라 학생들의 인문사회학적 안목을 키울 수 있도록 하는 의예과 교육과정 개선을 주장하였다[2].

이전보다 한층 더 높은 수준의 의예과 교육과정 개발 필요성에 대해서는 충분한 공감대가 형성되었으나 국내외적으로 의예과 교육과정에 관해 공식적으로 합의된 기준이나 방향성이 존재하지 않아 현대 사회에서 지향하는 전문성 있는 의사 양성을 위한 수준 높은 교육과정을 개발하는 데 어려움이 있다. 의학과 교육과정의 경우, 한국 의학교육 평가인증제도를 통해 교육과정에 대한 최소 수준의 질 관리가 이루어지고 있으나 의예과 교육과정에 대해서는 이러한 평가인증제도나 별도의 기준이 존재하지 않는 상황이다.

이에 따라 본 연구에서는 의사 양성과정의 첫 단계인 의예과 교육과정의 변천과정, 특징 등을 전제로 의예과 교육과정의 특성을 반영한 평가준거를 개발하고자 한다. 본 연구에서 최종적으로 개발된 평가준거는 의예과 교육과정 개발 및 개선, 효과성 검증의 준거로서 활용될 수 있고, 더 나아가 의예과 교육의 질 관리 및 향상에 기여할 수 있을 것으로 기대한다.

대상 및 방법

1. 연구 방법

본 연구는 크게 평가준거 구안 단계, 타당화 단계로 구분된다. 평가준거 구안 단계에서는 문헌 연구와 전문가 협의를 실시하였으며, 타당화 단계에서는 델파이 조사를 2차에 걸쳐 실시하였다.

1) 문헌 연구

교육과정, 교육과정 평가, 의예과 교육과정 등에 대한 기본 개념을 비롯하여 평가준거, 평가영역, 평가지표 등의 특성, 목적 등을 규명하고 평가준거 구안 단계에서 필요한 이론적 배경과 실제 교육과정 평가준거 사례 등을 위하여 문헌 연구를 실시하였다. 문헌 연구 결과를 토대로 의예과 교육과정 평가준거 초안을 개발하였다.

2) 전문가 협의

문헌 연구를 통해 도출된 의예과 교육과정 평가준거 초안의 타당성 확보를 위하여 의학교육 분야에 종사하는 전문가 중 교육학 전공자 1명, 의학교육학 전공자 1명, 의학 전공자 1명의 전문가 검증을 실시하였다. 전문가 협의에서는 평가준거들 간의 개념적 대등성, 내용 중복 여부, 용어 및 표현의 적절성, 정확성, 평가준거에 미반영된 부분에 대한 추가 의견 등을 검토하였다. 이를 토대로 최종적인 의예과 교육과정 평가준거 초안을 도출하였다.

3) 델파이 조사

a. 델파이 패널 구성

본 연구에서는 전문성 영역을 교육학, 의학교육학, 의학 전공자와 의학교육 혹은 비의학교육 분야 종사자로 구분하여 교육학 전공자/비의학교육 분야 종사자, 교육학 전공자/의학교육 분야 종사자, 의학교육학 전공자/의학교육 분야 종사자, 의학 전공자/의학교육 분야 종사자 총 4가지 영역으로 구분하여 패널 선정을 하였으며, 패널들은 평균 11.8년의 재직 경력을 가진 박사학위 소지자였다. 전화 혹은 문자 메시지를 통해 본 연구의 패널 참여 의사를 확인하였으며, 최종적으로 1차에서 21명, 2차에서 20명의 패널이 응답하였다(Table 1).

Table 1.

Delphi Response Personnel according to Its Area of Specialization

Area of specialization	Delphi response personnel
	1st round	2nd round
1. Education major, nonmedical education field practician	2	2
2. Education major, medical education field practician	5	4
3. Medical education major, medical education field practician	1	1
4. Medical major, medical education field practician	13	13
Total	21	20

b. 델파이 조사 도구 개발

문헌 연구와 전문가 협의를 거쳐 마련된 평가준거 초안을 기반으로 각각의 평가항목 및 평가지표에 대한 중요도, 타당성, 상대적 중요도 등을 측정 및 산정하는 델파이 조사 도구를 작성하였다. 1차 델파이 조사 도구는 문헌연구와 전문가 협의를 거쳐 완성된 평가영역, 평가항목, 평가지표 각각의 중요도 및 타당성에 대하여 응답하도록 제작하였으며, 2차 델파이 조사 도구에는 1차 델파이 결과가 반영된 평가영역, 평가항목, 평가지표와 함께 각각의 중위수(median), 사분범위(quartile range)를 제시하여 수정된 각 요소의 타당성에 대하여 다시 응답하도록 하였다. 또한, 응답이 중앙값과 사분범위를 벗어나는 경우, 그 이유를 밝히도록 하였다.

2. 자료 분석

델파이 조사를 통해 수집된 결과로 MS-Excel 2010 (Microsoft Corp., Redmond, USA)을 통해 평균, 표준편차, 최빈값, 중앙값, 사분범위 등 기술통계와 집중경향치를 도출하였고, 평가준거 각 요소들의 타당도 분석을 위하여 내용타당도 비율(content validity ratio, CVR)을 구하였다.

(N: 응답자 수, Ne: 리커트 4-‘타당함’ 또는 리커트 5-‘매우 타당함’ 응답 빈도 수)

결과

1. 의예과 교육과정 평가준거 초안 개발

1) 평가영역 개발

Medley et al. [7]이 제시한 방법에 따라 선행 연구에서 제시하고 있는 교육과정 평가영역들을 추출하여 공통적으로 강조하고 있는 평가영역을 최종적으로 선정하였다. 평가영역은 평가준거 요소 중 가장 상위 단계에 위치하는 요소로 의예과 교육과정 평가준거 개발의 첫 단계에 해당한다. Park [8]은 교육과정 평가준거와 관련된 여러 선행 연구에서 교육과정 평가영역을 연구자별로 추출하여 제시하였으며, 이를 토대로 고등교육과정과 관련된 평가영역을 추가적으로 추출하여 종합적으로 제시하였다. 해당 연구에서 제시한 연구자별 교육과정 평가영역에 고등교육과정에 관한 선행 연구의 평가영역을 추가하였다. 교육과정 평가영역 개발에 있어 개발(계획/설계), 운영, 성과(결과) 영역을 관련 선행 연구에서 공통적으로 선정하고 있는 것으로 나타났다. 이에 따라 본 연구에서는 의예과 교육과정 평가영역을 교육과정의 진행과정에 따라 개발, 운영, 성과 영역으로 구분하였다.

2) 평가영역별 평가항목, 평가지표 구안

각 평가영역에 포함될 평가항목 선정을 위하여 교육과정 평가준거와 관련된 선행 연구 중 본 연구에서의 평가항목 위계 수준과 일치하는 항목들을 분석하였다. 선행 연구 분석 결과를 토대로 두 명 이상의 연구자가 제시하였거나 앞서 논의한 의예과 교육과정의 특성이 반영될 수 있는 것들을 평가항목으로 추출하였으며, 전문가 협의를 거쳐 7개 평가항목을 선정하였다. 의예과 교육과정 평가준거 초안으로 선정된 7개 평가항목은 교육목적, 교육과정, 수업 운영, 학사관리, 교육성과, 자체평가, 만족도이다.

각 평가항목에 포함되는 평가지표 선정을 위하여 교육과정 평가준거와 관련된 선행 연구 중 본 연구에서의 평가지표 위계 수준과 일치하는 항목들을 분석하였다. 9개 연구[8,9,10,11,12,13,14,15,16]의 평가지표를 분석하여 ‘개발 평가’ 영역에 포함될 10개의 평가지표를 도출하였다. 8개 연구[8,9,10,11,12,14,15,16]의 평가지표를 분석하여 ‘운영 평가’ 영역에 포함될 11개의 평가지표를 도출하였으며, 6개 연구[8,10,12,13,14,15]의 평가지표를 분석하여 ‘성과 평가’ 영역에 포함될 5개의 평가지표를 도출하였다. 문헌 연구, 전문가 협의를 통해 개발된 의예과 교육과정 평가준거 초안은 평가영역 3개, 평가항목 7개, 평가지표 26개로 구성되었다(Table 2).

Table 2.

The First Draft of Evaluation Criteria for Premedical Curriculum

Evaluation area	Evaluation item	Evaluation indicator
Evaluation on development	1. Educational goal	1.1 The clarity of educational goal/objective
		1.2 The appropriacy of educational goal/objective
		1.3 The rational setting method for educational goal/objective
		1.4 The cognition for educational goal/objective
	2. Curriculum	2.1 The validity of contents on curriculum
		2.2 The appropriacy of curriculum organization
		2.3 The organization of general curriculum
		2.4 The organization of major curriculum
		2.5 The organization of basic medical sciences before acquirement of medical knowledge
		2.6 The organization of general curriculum for cultivation of character
Evaluation on implementation	3. Class management	3.1 The development of teaching ability
		3.2 The diversification of teaching method
		3.3 The suitability of teaching method
		3.4 The suitability of learning evaluation method
	4. Education management	4.1 The systemicity of lesson plan
		4.2 The appropriacy of class instruction unit
		4.3 The class management
		4.4 The content and process of lecture evaluation
		4.5 The utilization of lecture evaluation
		4.6 The management of students with superior grade and academic probation
		4.7 The curriculum steering and management committee
Evaluation on outcome	5. Educational outcome	5.1 The decision on attainment of educational goal/objective
		5.2 The entrance rate of medical school
		5.3 The rate of academic interruption
	6. Self-evaluation	6.1 The self-evaluation of curriculum
	7. Satisfaction	7.1 The satisfaction on education

2. 의예과 교육과정 평가준거 타당성 분석

문헌 연구, 전문가 협의를 통해 개발된 의예과 교육과정 평가준거 초안은 총 두 차례에 걸친 델파이 조사를 통해 수정․보완되었으며, 조사 결과에 대한 CVR 산출을 통해 평가준거 각 요소별 타당성 분석이 이루어졌다.

1) 1차 델파이 조사 결과

평가영역에 대한 1차 델파이 조사 결과, 3개 평가영역 모두 5점 척도에서 평균 4점 이상인 것으로 나타났으며, 표준편차는 동일하게 0.58이었다. CVR은 1차 델파이 조사에 참여한 전문가 패널 수가 21명인 것을 감안할 때 그 값이 0.40 이상인 경우 내용 타당한 것으로 간주하는데, 모든 영역이 0.90인 것으로 보아 내용타당성이 충족되었다고 할 수 있다(Table 3). 전반적인 용어 사용에 있어 모든 평가영역에 ‘평가’라는 용어가 들어가는 것은 의미 중복에 해당된다는 의견에 따라 각 영역의 명칭은 ‘교육과정 개발’, ‘교육과정 운영’, ‘교육과정 성과’로 수정되었다. 그 외 요구사항 중 패널 2명 이상이 지적한 사항에 대해서는 연구자가 재검토하여 수정 여부를 결정하였다.

Table 3.

The Result of the First Delphi Survey on Educational Areas

Educational area	Descriptive statistics		Central tendency			CVR[a)]
	Mean	SD	Mode	Median	IQR
Evaluation on development	4.38	0.58	4	4	4–5	0.90
Evaluation on implementation	4.43	0.58	5	4	4–5	0.90
Evaluation on outcome	4.43	0.58	5	4	4–5	0.90

Validity scale: 1-strongly disagree, 2-disagree, 3-neither agree or disagree, 4-agree, 5-strongly agree.

SD: Standard deviation, IQR: Interquartile range, CVR: Content validity ratio.

CVR over 0.40 is valid if the number of panel is 21 [20].

평가항목에 대한 1차 델파이 조사 결과, 7개 평가항목 중 평균 4점 이상인 항목이 5개였으며, 나머지 ‘6. 자체평가’, ‘7. 만족도’ 항목은 각각 3.71, 3.86점이었다. 또한 ‘2. 교육과정’, ‘4. 학사관리’ 항목을 제외한 나머지 항목은 0.80 미만의 표준편차를 보였다. ‘6. 자체평가’ 항목의 CVR이 0.33으로 나타나 타당하지 않은 것으로 나타났다(Table 4). 각 항목의 명칭은 교육학용어사전에 의거하여 선정되어야 한다는 의견이 있었으며, ‘6. 자체평가’, ‘7. 만족도’ 항목은 연구자의 의도에 따라 항목 구분에 대해 재검토할 필요가 있다는 의견이 제시되었다.

Table 4.

The Result of the First Delphi Survey on Educational Items

Educational area	Educational item	Descriptive statistics		Central tendency			CVR[a)]
		Mean	SD	Mode	Median	IQR
Evaluation on development	1. Educational goal	4.48	0.66	5	5	4–5	0.81
	2. Curriculum	4.24	0.87	4	4	4–5	0.81
Evaluation on implementation	3. Class management	4.10	0.68	4	4	4–5	0.62
	4. Education management	4.19	0.85	5	4	4–5	0.62
Evaluation on outcome	5. Educational outcome	4.14	0.71	4	4	4–5	0.62
	6. Self-evaluation	3.71	0.70	4	4	3–4	0.33
	7. Satisfaction	3.86	0.77	4	4	3–4	0.43

Validity scale: 1-strongly disagree, 2-disagree, 3-neither agree or disagree, 4-agree, 5-strongly agree.

SD: Standard deviation, IQR: Interquartile range, CVR: Content validity ratio.

CVR over 0.40 is valid if the number of panel is 21 [20].

평가지표에 대한 1차 델파이 조사 결과, ‘1. 교육목적’ 항목에 포함된 4개의 평가지표 모두 5점 척도에서 평균 4점 이상이었으며, 표준편차는 0.70~0.94 범위에 포함되었다. ‘2. 교육과정’ 항목에 포함된 6개의 평가지표 중 지표 2.2, 2.5의 평균 점수가 각각 3.95, 3.76으로 4점 이하였으며, 표준편차는 각각 1.13, 0.81이었으며, 지표 2.5의 CVR은 0.24로 기준에 미치지 못하였다. ‘3. 수업 운영’ 항목에 포함된 4개 평가지표 중 지표 3.2를 제외한 나머지 3개 지표의 평균 점수는 4점 이상으로 나타났으며, 모든 평가지표의 CVR은 기준을 충족시켰다. ‘4. 학사관리’ 항목에 포함된 7개 평가지표 중 지표 4.1, 4.2, 4.6은 평균 점수가 각각 4점 이하였으며, 그 중 지표 4.2, 4.6은 CVR이 각각 0.14, 0.33으로 타당성 기준에 부합하지 않았다. ‘5. 교육성과’ 항목에 포함된 3개 지표 중 지표 5.2, 5.3은 평균 점수가 각각 3.71, 3.57이었으며, CVR은 0.24, -0.14로 타당성 기준에 부합하지 못하는 것으로 나타났다. ‘6. 자체평가’ 항목에 포함된 지표 6.1은 평균 점수가 3.95이나 CVR은 0.43으로 타당성 기준에 부합하는 것으로 나타났다. 전체 26개 평가지표 중 평균 4점 이하인 지표는 9개였으며, 전문가 패널이 21명일 때 CVR이 0.40 이상이어야 하는 기준에 미치지 못하는 지표는 5개였다(Table 5). CVR이 0.40 이하인 지표 2.5, 4.2, 4.6, 5.2, 5.3과 다른 지표와 의미상 중복된다는 의견이 제시된 지표 2.2, 6.1은 삭제되었고, 지표 3.2와 4.5는 각각 지표 3.3, 4.4에 통합되었으며, 지표 3.4는 학습 성과 측면에서 ‘5. 교육성과’ 영역에 포함되어야 한다는 의견에 따라 지표 5.2로 이동하였다. 또한 새롭게 추가되어야 할 평가지표에 대한 의견 수렴 결과, ‘1.5 의학과 교육목표와의 연계성’, ‘4.5 학업성취 지원체계의 적절성’, ‘4.6 수업운영 지원체계의 적절성’, ‘5.3 교육과정 개정의 적절성’ 총 4개 지표가 추가되었다. 평가지표 간의 상호배타성 유지와 관련된 수정사항이 있었으며, 지표 명칭에서 ‘적합성’, ‘타당성’ 등과 같이 가치판단에 관한 용어 사용 유무를 통일시켜야 한다는 의견에 따라 전반적으로 명칭을 그에 맞게 수정하였다. 그밖에 각 평가지표의 평가내용, 평가질문에 관한 요구사항은 연구자가 재검토하여 수정 여부를 결정하였다.

Table 5.

The Result of the First Delphi Survey on Educational Indicators

Educational area	Educational item	Educational indicator	Descriptive statistics		Central tendency			CVR[a)]
			Mean	SD	Mode	Median	IQR
Evaluation on development	1. Educational goal	1.1. The clarity of educational goal/objective	4.36	0.94	5	5	4–5	0.81
		1.2. The appropriacy of educational goal/objective	4.38	0.79	5	5	4–5	0.62
		1.3. The rational setting method for educational goal/objective	4.29	0.70	5	4	4–5	0.71
		1.4. The cognition for educational goal/objective	4.10	0.75	4	4	4–5	0.71
	2. Curriculum	2.1. The validity of contents on curriculum	4.38	0.84	5	5	4–5	0.71
		2.2. The appropriacy of curriculum organization	3.95	1.13	4	4	4–5	0.62
		2.3. The organization of general curriculum	4.24	0.68	4	4	4–5	0.71
		2.4. The organization of major curriculum	4.10	0.81	5	4	3–5	0.43
		2.5. The organization of basic medical sciences before acquirement of medical knowledge	3.76	0.81	4	4	3–4	0.24
		2.6. The organization of general curriculum for cultivation of character	4.00	0.76	4	4	4	0.62
Evaluation on implementation	3. Class management	3.1. The development of teaching ability	4.00	1.02	4	4	4–5	0.62
		3.2. The diversification of teaching method	3.90	1.02	4	4	4–5	0.52
		3.3. The suitability of teaching method	4.00	0.87	4	4	4–5	0.62
		3.4. The suitability of learning evaluation method	4.38	0.58	4	4	4–5	0.90
	4. Education management	4.1. The systemicity of lesson plan	3.95	1.05	4	4	4–5	0.52
		4.2. The appropriacy of class instruction unit	3.76	1.11	3	4	3–5	0.14
		4.3. The class management	4.10	0.87	4	4	4–5	0.52
		4.4. The content and process of lecture evaluation	4.24	0.81	5	4	4–5	0.71
		4.5. The utilization of lecture evaluation	4.19	0.91	4	4	4–5	0.71
		4.6. The management of students with superior grade and academic probation	3.95	0.90	5	4	3–5	0.33
		4.7. The curriculum steering and management committee	4.00	0.76	4	4	4	0.62
Evaluation on outcome	5. Educational outcome	5.1. The decision on attainment of educational goal/objective	4.38	0.58	4	4	4–5	0.90
		5.2. The entrance rate of medical school	3.71	1.03	4	4	3–4	0.24
		5.3. The rate of academic interruption	3.57	0.95	3	3	3–4	-0.14
	6. Self-evaluation	6.1. The self-evaluation of curriculum	3.95	0.95	4	4	3–5	0.43
	7. Satisfaction	7.1. The satisfaction on education	4.19	0.73	4	4	4–5	0.62

Validity scale: 1-strongly disagree, 2-disagree, 3-neither agree or disagree, 4-agree, 5-strongly agree.

SD: Standard deviation, IQR: Interquartile range, CVR: Content validity ratio.

CVR over 0.40 is valid if the number of panel is 21 [20].

2) 2차 델파이 조사 결과

평가영역에 대한 2차 델파이 조사 결과, 3개 평가영역은 5점 척도에서 각각 평균 4.40, 4.60, 4.50으로 나타났으며, 표준편차는 모두 0.50 이하였다. CVR은 2차 델파이 조사에 참여한 전문가 패널 수가 20명인 것을 감안할 때 그 값이 0.42 이상인 경우 내용 타당한 것으로 간주하는데, 모든 영역이 1.00인 것으로 보아 내용타당성이 충족되었다고 할 수 있다(Table 6). 1차 델파이 결과와 비교해보면 3개 평가영역 모두 평균이 증가하였고, 표준편차는 감소하였다. 또한, CVR이 1차 델파이에 비해 모두 0.10 증가한 1.00인 것으로 볼 때 모든 패널이 3개 평가영역에 대해 타당하다고 응답한 것으로 나타났다. 이는 두 차례의 델파이 조사를 통해 평가영역에 관한 패널들의 의견 일치도가 높아진 것을 유추할 수 있다.

Table 6.

The Result of the Second Delphi Survey on Educational Areas

Educational area	Descriptive statistics		Central tendency			CVR[a)]
	Mean	SD	Mode	Median	IQR
Curriculum development	4.40	0.49	4	4	4–5	1.00
Curriculum implementation	4.60	0.49	5	5	4–5	1.00
Curriculum outcome	4.50	0.50	4	4.5	4–5	1.00

Validity scale: 1-strongly disagree, 2-disagree, 3-neither agree or disagree, 4-agree, 5-strongly agree.

SD: Standard deviation, IQR: Interquartile range, CVR: Content validity ratio.

CVR over 0.42 is valid if the number of panel is 20 [20].

평가항목에 대한 2차 델파이 조사 결과, 6개 평가항목 중 ‘6. 교육과정 만족도’를 제외한 나머지 항목은 모두 평균 4점 이상이었으며, 표준편차는 0.46~0.67 범위 내에 포함되어있었다. ‘6. 교육과정 만족도’의 CVR이 0.30으로 나타나 타당하지 않으며, 이를 제외한 나머지 5개 항목은 타당한 것으로 나타났다(Table 7). 1차 델파이 결과와 비교해보면 6개 평가항목 중 ‘4. 수업관리’, ‘6. 교육과정 만족도’를 제외한 나머지 항목들의 평균은 증가하였으며, 모든 6개 항목의 표준편차는 감소하였다. 또한, CVR이 최소 기준에 미치지 못한 ‘6. 교육과정 만족도’ 항목을 제외한 5개 항목은 그 값이 1차 델파이에 비해 모두 증가하였다. 두 차례의 델파이 조사를 통해 일부 평가항목에 관한 패널들의 의견 일치도는 높아졌으며, 특정 항목은 CVR 기준에 의거하여 삭제되었다.

Table 7.

The Result of the Second Delphi Survey on Educational Items

Educational area	Educational item	Descriptive statistics		Central tendency			CVR[a)]
		Mean	SD	Mode	Median	IQR
Curriculum development	1. Educational objective	4.70	0.46	5	5	4–5	1.00
	2. Organization of curriculum	4.45	0.50	4	4	4–5	1.00
Curriculum implementation	3. Instructional method	4.25	0.54	4	4	4–5	0.90
	4. Class management	4.05	0.67	4	4	4	0.80
Curriculum outcome	5. Educational outcome	4.35	0.48	4	4	4–5	1.00
	6. Curriculum satisfaction	3.65	0.48	4	4	3–4	0.30

Validity scale: 1-strongly disagree, 2-disagree, 3-neither agree or disagree, 4-agree, 5-strongly agree.

SD: Standard deviation, IQR: Interquartile range, CVR: Content validity ratio.

CVR over 0.42 is valid if the number of panel is 20 [20].

평가지표에 대한 2차 델파이 조사 결과, ‘1. 교육목표’, ‘2. 교육과정 편성’, ‘3. 교육방법’에 포함된 평가지표 모두 5점 척도에서 평균 4점 이상이었고, 지표 4.1, 4.4, 4.5, 4.6, 5.3, 6.1, 6.2는 평균 4점 이하인 것으로 나타났다. 또한, 모든 평가지표의 표준편차는 1.00 이하였으며, CVR은 지표 4.5, 5.3, 6.2이 각각 0.20, 0.10, 0.40으로 기준에 미치지 못하였다(Table 8). 2차 델파이에서 CVR이 최소 기준인 0.42에 미치지 못한 지표 3개와 1차 델파이 패널 의견에 의해 새롭게 추가된 4개 지표, 지표 5.1을 제외한 나머지 지표의 CVR은 1차 델파이 결과에 비해 모두 증가하였다. 두 차례의 델파이 조사 결과, 1개 지표를 제외한 나머지 지표의 내용타당도가 증가하였음을 유추할 수 있다.

Table 8.

The Result of the Second Delphi Survey on Educational Indicators

Educational area	Educational item	Educational indicator	Descriptive statistics		Central tendency			CVR[a)]
			Mean	SD	Mode	Median	IQR
Curriculum development	1. Educational objective	1.1. The clarity of educational objectives	4.60	0.92	5	5	4.75–5	0.90
		1.2. The appropriacy of educational objective	4.50	0.92	5	5	4–5	0.90
		1.3. The rationality of setting method for educational objective	4.05	0.38	4	4	4	0.90
		1.4. The degree of cognition for educational objective	4.05	0.22	4	4	4	1.00
		1.5. The association with educational objectives of basic medical education	4.18	0.51	4	4	4	0.60
	2. Organization of curriculum	2.1. The validity of educational contents	4.70	0.46	5	5	4–5	1.00
		2.2. The appropriacy of general curriculum organization	4.30	0.46	4	4	4–5	1.00
		2.3. The appropriacy of major curriculum organization	4.25	0.62	4	4	4–5	0.80
		2.4. The appropriacy of curriculum organization for cultivation of character	4.05	0.38	4	4	4	0.90
Curriculum implementation	3. Instructional method	3.1. The appropriacy of support for developing teaching ability	4.1	0.44	4	4	4	0.90
		3.2. The appropriacy of instructional method	4.2	0.51	4	4	4–4.25	0.90
	4. Class management	4.1. The scrupulosity of lesson plan	3.95	0.59	4	4	4	0.80
		4.2. The exactness in class management	4.20	0.40	4	4	4	1.00
		4.3. The appropriacy of lecture evaluation	4.20	0.40	4	4	4	1.00
		4.4. The effectiveness of curriculum steering committee	3.84	0.67	4	4	4	0.80
		4.5. The appropriacy of academic achievement supporting system	3.56	0.76	4	4	3–4	0.20
		4.6. The appropriacy of class operation supporting system	3.80	0.80	4	4	4	0.42
Curriculum outcome	5. Educational outcome	5.1. The appropriacy of educational objective achievement criteria	4.00	0.45	4	4	4	0.80
		5.2. The appropriacy of learning evaluation method	4.15	0.48	4	4	4	0.90
		5.3. The appropriacy of curriculum reform	3.50	0.69	4	4	3–4	0.10
	6. Curriculum satisfaction	6.1. The satisfaction of student	3.89	0.31	4	4	4	0.60
		6.2. The satisfaction of faculty	3.78	0.42	4	4	4	0.40

Validity scale: 1-strongly disagree, 2-disagree, 3-neither agree or disagree, 4-agree, 5-strongly agree.

SD: Standard deviation, IQR: Interquartile range, CVR: Content validity ratio.

CVR over 0.42 is valid if the number of panel is 20 [20].

3) 평가준거 확정

문헌 연구와 전문가 협의를 통해 도출된 의예과 교육과정 평가준거 초안은 평가영역 5개, 평가항목 7개, 평가지표 26개였으나 2차에 걸친 델파이 조사 결과 평가영역 3개, 평가항목 5개, 평가지표 18개로 확정되었다. 1차 델파이 조사 결과 평가항목 1개, 평가지표 9개가 탈락하였고, 평가지표 4개가 추가되었으며, 2차 델파이 조사 결과 평가항목 1개, 평가지표 4개가 탈락하였다(Table 9).

Table 9.

The Final Confirmation of Premedical Curriculum Criteria

Educational area	Educational item	Educational indicator
Curriculum development	1. Educational objective	1.1. The clarity of educational objectives
		1.2. The appropriacy of educational objective
		1.3. The rationality of setting method for educational objective
		1.4. The degree of cognition for educational objective
		1.5. The association with educational objectives of basic medical education
	2. Organization of curriculum	2.1. The validity of educational contents
		2.2. The appropriacy of general curriculum organization
		2.3. The appropriacy of major curriculum organization
		2.4. The appropriacy of curriculum organization for cultivation of character
Curriculum implementation	3. Instructional method	3.1. The appropriacy of support for developing teaching ability
		3.2. The appropriacy of instructional method
	4. Class management	4.1. The scrupulosity of lesson plan
		4.2. The exactness in class management
		4.3. The appropriacy of lecture evaluation
		4.4. The effectiveness of curriculum steering committee
		4.5. The appropriacy of class operation supporting system
Curriculum outcome	5. Educational outcome	5.1. The appropriacy of educational objective achievement criteria
		5.2. The appropriacy of learning evaluation method

고찰

의예과 교육과정은 인문교양 및 기초과학에 대한 대학 학부 수준의 지식을 쌓고 본격적인 의학교육과정을 이수하기에 앞서 그에 필요한 사전 지식, 태도 등을 준비하는 시기에 해당한다. 이에 의예과 교육과정은 지속적으로 제기되어온 문제점인 의학과 교육과정과의 연계성 부족, 자연과학 위주의 교과과정 편성, 의예과 학생들의 학습동기 부여 및 소속감 결여[17,18,19] 등을 극복하고, 의학전문대학원 체제 이후 재도입되는 의예과 교육에 관한 높아진 의사에 관한 사회적 요구와 기대를 충족시키는 의사의 질적 향상 및 의학 발전을 위한 교육과정 개발이 필요하다. 이를 위하여 도출된 본 연구의 결과에 대해 구체적인 논의를 하면 다음과 같다.

첫째, 본 연구를 통해 도출된 평가준거의 실제 적용을 위해서는 각 평가지표의 평가질문, 평가내용에 대한 협의가 추가적으로 이루어져야 하며, 각 평가지표별 평가기준, 평가척도 등 구체적인 평가도구가 마련되어야 한다. 또한, 앞서 연구의 제한점으로 언급한 바와 같이 평가준거를 활용하여 실제 평가를 실시하기 위해 필요한 평가자, 평가시기, 평가절차, 평가자료 등의 구체적인 평가체계가 후속연구를 통해 개발되어야 한다.

둘째, 델파이 조사를 통해 최종적으로 탈락된 평가준거 요소들에 관한 추가적인 논의가 필요하다. 조사 도구에 활용된 용어들의 정의를 규명하고, 전공별, 종사 분야별 집단 간 응답 결과 비교를 토대로 평가준거 전반에 대한 집단 간 논의가 이루어져야 한다. 이는 본 연구를 통해 도출된 평가준거에 관한 타당성 검증 과정으로서 수반되어야 하는 부분이다.

13개의 평가지표가 탈락한 것에 대한 첫 번째 근거는 CVR 산정 기준에서 찾을 수 있다. 각 평가준거 요소들의 타당성에 대한 평균값이 ‘보통’에 해당하는 3점 이상이어도 CVR 산출 공식에 대입하는 타당하다고 응답한 빈도 수(리커트 4-‘타당함’ 또는 리커트 5-‘매우 타당함’)가 적어 Lawshe [20]가 제시하는 CVR 기준값을 충족하지 못할 수 있다. 실제 탈락된 평가지표 13개의 평균값은 3.58이고, 그 중에서도 평가지표 2개의 경우 평균값이 각각 4.19인 것으로 볼 때 평균값과 CVR 기준 이상인 값이 항상 비례하지 않는 것을 알 수 있다. CVR 기준은 해당 분야의 전문가 대다수가 동의할 수 있는 일반적이고 보편타당한 수준의 평가준거 개발에 활용될 수 있으나 평가 대상의 특성이 반영된 특수하고 다양한 측면에서의 평가준거 개발에는 어려움이 존재한다. 두 번째 근거는 본 연구에서 평가준거를 의미의 포괄성에 따라 평가영역, 평가항목, 평가지표의 위계적인 구조로 정의한 것에서 찾을 수 있다. 델파이 조사 결과, 2개의 평가항목이 탈락하였고, 이로 인해 탈락한 평가항목의 하위 요소로 포함되어있던 평가지표들이 동시에 탈락하였다. 이는 평가준거 요소 간의 위계적인 구조에서 기인한 것으로 볼 수 있으며, 상위 요소가 탈락하면 그 하위에 포함된 요소도 탈락하게 되는 한계성을 내포한다. 이러한 특성을 감안하여 전문가들은 탈락된 평가지표들에 관한 추가적인 논의를 통해 탈락한 원인을 먼저 분석하고, 해당 특성으로 인해 탈락한 경우 이를 평가지표로서 다시 채택할 것인지에 대해 합의점을 찾는 과정이 필요하다.

셋째, 문헌 연구 결과 의예과 교육과정의 특성은 크게 의학 지식 습득 전 갖추어야 하는 기초의과학 지식의 습득과 예비의학도로서 갖추어야 할 인성 함양을 위한 교양교육으로 구분되었다. 해당 특성은 문헌연구와 전문가 협의를 통해 도출된 평가준거 초안에서 평가지표 2.5, 2.6으로 구성되었으나 델파이 조사 결과 ‘2.5 의학 지식 습득 전 기초의과학 교육과정 편성’은 CVR이 기준에 미치지 못하여 내용 타당도가 없는 것으로 간주하여 삭제되었으며, ‘2.6 인성 함양을 위한 교양교육과정 편성’은 기준을 충족하여 평가지표로 최종 선정되었다. 이에 따라 예비 의학도로서 갖추어야 하는 바람직한 인성 함양을 위한 교과목이 개설되어 있는지 여부는 의예과 교육과정에 관한 중요한 평가준거로 작용하나 의학 지식 습득 전 갖추어야 할 기초의과학 교과목이 개설되어 있는지 여부는 평가준거로서 활용될 수 없다. 인성 함양을 위한 교양교육과정 편성의 경우, 최근 사회적으로 강조되고 있는 인성 함양 측면에서 의사의 전문성만을 중시하는 것이 아닌 전문성과 함께 인성을 겸비한 의사를 양성하는 것이 궁극적으로 사회적 요구와 부합한다는 인식에서 비롯된 결과라고 할 수 있다.

넷째, 본 연구 결과를 토대로 의예과 교육과정의 방향성에 관한 합의가 함께 이루어져야 한다. 이는 의예과 과정을 운영하는 모든 대학의 참여를 전제로 하며, 합의를 도출하는 과정에서 의예과 과정을 2년제가 아닌 1년제 혹은 3학기제로 운영하는 대학과 의예과를 폐지하고 의학과를 6년제로 통합한 대학들의 상황과 여건 등 현재 각 대학별로 운영하고 있는 의예과 교육과정의 다양성이 고려되어야 한다.