[Development of a portfolio for competency-based assessment in a clinical clerkship curriculum].

The purpose of this report was to describe our experience in planning and developing a portfolio for a clinical clerkship curriculum. We have developed a portfolio for assessing student competency since 2007. During an annual workshop on clinical clerkship curricula, clerkship directors from five Paik hospitals of Inje University met to improve the assessment of the portfolio. We generated templates for students to record their activities and reflection and receive feedback. We uploaded these templates to our school's website for students to download freely. Annually, we have held a faculty development seminar and a workshop for portfolio assessment and feedback. Also, we established an orientation program on how to construct a learning portfolio for students. Future actions include creating a ubiquitous portfolio system, extending the portfolio to the entire curriculum, setting up an advisor system, and managing the quality of the portfolio. This study could be helpful for medical schools that plan to improve their portfolio assessment with an outcome-based approach.

서론

교육에서 포트폴리오는 학습 결과물을 일정 기간 동안 체계적으로 모은 누적물로, 선다형 객관식 위주였던 기존의 평가방식의 한계를 보완할 수 있는 평가방법이다[1]. 포트폴리오는 에세이, 보고서, 각종 평가 피드백, 동영상 등의 결과물로 구성할 수 있다[2]. 포트폴리오는 학생의 지식을 향상시키고 자기이해를 촉진하며 성찰과 자기주도학습을 격려하는 효과를 가지는 것으로 보고되고 있다[3]. 반면 수행평가이자 주관평가인 포트폴리오의 특성상 평가의 신뢰도에 대한 불신이 문제점으로 지적되고 있다[1].

포트폴리오는 학습성과와 학생의 성장 발달, 그리고 자기조절, 책임감 등 전문직업성을 평가할 수 있는 좋은 방법으로 알려져 있다[2]. 외국에서 포트폴리오는 임상실습 교육과정[4], 문제바탕학습 교육과정[5] 또는 전체 교육과정[2]에서 통합적으로 이루어지고 있다. 우리나라에서 포트폴리오를 의학과 학생에게 시행한 보고는 임상의학 입문 강좌[6]에서 한 것이 유일한 보고이다. 그외 의예과 학생들을 대상으로 하는 리더십 강좌에서 시행했다는 보고가 있다[7,8]. 그러나 국내 임상실습 교육과정에서 포트폴리오를 시행했다는 보고는 아직 없다.

인제대학교 의과대학은 2007년부터 임상실습 교육과정에서 포트폴리오 평가를 시행해오고 있다. 이는 역량바탕 및 임상표현 교육과정을 도입하면서 시작한 것으로[9,10], 포트폴리오 평가가 역량에 바탕을 둔 평가를 하기에 가장 적합한 방법이라고 판단하였기 때문이다. 저자들은 본 대학이 역량 평가를 목적으로 포트폴리오 평가를 설계하고 개발한 과정을 소개하고 향후 개선점을 간략히 보고하고자 한다.

사례 보고

1. 포트폴리오 개발

2007년부터 교육과정위원회가 졸업역량과 시기성과를 개발하면서 핵심 임상실습 과의 학습성과를 졸업역량별로 개발하였다(Table 1). 임상실습의 평가방법으로 포트폴리오 평가를 선택하였다. 필수 실습으로 이루어지는 내과, 외과, 산부인과, 소아청소년과, 정신건강의학과, 신경과, 가정의학과, 영상의학과 등 총 8개 핵심 및 지원 과 실습에서 포트폴리오 평가를 도입하기로 하였다. 그 이유는 그동안 주로 이루어져왔던 지필평가와 실기시험이 총괄평가여서 학습과정이 도외시되며, 졸업역량의 모든 영역을 평가하기에 적합하지 못하다는 반성이 있었기 때문이다. 물론 그동안 형성평가 목적으로 다양한 관찰평가와 피드백이 있어 왔으나, 이 또한 분절적이어서 역량과 성과의 전체적인 시각으로 학생의 학습을 파악할 수 없었다. 더 나아가 그동안 이루어진 평가내용과 방법이 졸업역량과 학습성과에 초점을 맞추어 체계적으로 잘 조직된 것은 아니었다는 성찰도 있었다.

Table 1.

Learning Outcomes according to Competency: Example of Emergency Medicine

Competencies	Course outcomes
Patient care	History taking and physical examination to patients with emergent clinical presentations
	Assessing diagnosis and making diagnostic and therapeutic plans
	Performing common emergent procedures
Problem solving & critical thinking	Considering critical conditions first during differential diagnosis
Effective communication	Communicating effectively with medical team members
Leadership	Understanding the each role of self and team members in the emergency department
Professionalism	Disclosing the errors that students do or observe
Self-regulated, lifelong learning & reflection	Making a self directed learning plan
Using basic science in the practice of medicine	Interpretation of findings & application of basic medical science
Understanding & application of scientific methods	Evidence-based practice

이번에 개발한 포트폴리오의 목적은 학습에 초점을 맞춘 것으로, 졸업역량별로 학생들이 학습을 해나가면서 형성평가를 지속적으로 받을 수 있도록 하는 틀을 제공하고자 함이다. 우리 대학의 임상실습은 서울, 일산, 부산에 위치한 5개 병원에서 이루어진다. 이에 포트폴리오를 통해 임상실습의 표준화를 꾀하려는 의도도 있다.

우리 대학의 5개 병원 해당 과의 주임교수와 실습책임교수가 참여하여 포트폴리오 평가내용을 개발하였다. 2007년부터 시작하여 매년 1회 1박 2일 워크숍을 진행하였다. 매년 이 워크숍에 참여하는 실습책임교수의 수는 45명 내외이다. 이 때 학습성과에 따른 포트폴리오 내용과 방법을 개발하고 이에 따라 기록지와 평가지도 개발하였다. 이 작업을 매년 되풀이하면서 포트폴리오 평가의 내용과 방법을 개선하고 있다.

포트폴리오는 학습성과에 따라 학생들이 수집할 결과물 목록으로 설계하였다(Table 2). 결과물의 기본 틀은 우리대학의 의학교육실에서 개발하여 교육과정위원회의 검토를 거쳤다. 그 기본 틀을 각 과에서 검토하여 과의 특성에 맞는 결과물을 선택하고 학습성과에 맞추어 수정하였다. 결과물은 주간 단위로 작성하고 형성평가를 받도록 하였으며, 그 중 최고 성과를 거둔 것을 최종 총합평가를 위해 사용하도록 하였다.

Table 2.

Portfolio Contents according to Competency: Example of Internal Medicine

Competencies	Portfolio contents
Patient care	Preliminary patient encounter at outpatient department
	Patient reporting at ward
	Direct observation of procedural skills
	Orders written
Problem solving & critical thinking	Medical recording
	Case discussion
Effective communication	Multisource feedback
Leadership	Multisource feedback
Professionalism	Medical ethics discussion
	Patient safety report
Self-regulated, lifelong learning & reflection	Reflective journal
	Learning plan
Using basic science in the practice of medicine	Case specific schema
	Journal discussion
Understanding & application of scientific methods	Problem-based learning

우리 대학의 졸업역량은 총 8개로, 진료능력, 비판적 사고 및 문제해결능력, 의사소통능력, 자기주도적 평생학습 및 성찰, 전문직업성, 리더십, 임상진료에서 과학적 지식 활용, 과학적 방법의 이해와 활용 등이다. 이 중 진료능력을 평가하기 위해 예진기록, 병동회진 시 환자상태보고기록, 술기수행, 처치명령 작성 등을, 비판적 사고 및 문제해결능력을 평가하기 위해 의무기록, 사례토의 기록 등을, 의사소통능력을 평가하기 위해 환자, 간호사, 전공의, 교수 등으로부터 받는 360도 평가를 결과물로 선택하였다. 또한 리더십을 평가하기 위해 동료 및 교수 평가를, 전문직업성 평가를 위해 의료윤리 토의보고서와 환자안전보고서를, 자기주도적 평생학습 및 성찰을 평가하기 위해 성찰일기와 학습계획서를 포함하였다. 임상진료에서 과학적 지식 활용을 평가하기 위해 스키마 추론연습을 결과물로 선택하였으며, 과학적 방법의 이해와 활용을 평가하기 위해 문제바탕학습과 관련한 학습사항 등을 결과물로 포함하였다.

학생들이 제출한 결과물을 평가하고 피드백할 용도로 평가지를 개발하였다. 예진 평가지, 의무기록 평가지, 술기 평가지(Appendix 1), 처치명령 평가지, 환자안전보고서 평가지, 스키마 평가지, 증례발표 평가지 등이다. 360도 평가지는 평가자별로 각각 만들었다. 또한 포트폴리오 전체를 질적 평가하기 위한 포트폴리오 평가지도 개발하였다(Appendix 2). 각각의 평가지에는 평가목적에 맞게 구체적인 평가항목을 기술하였고 평가기준을 설명하였다. 교수의 피드백을 적을 공간을 마련하였고 학생이 피드백에 대한 개선 계획을 작성하도록 구성하였다.

2. 지원시스템 구축

학생들이 포트폴리오 작성을 원활하게 하도록 하기 위해 모든 포트폴리오 기록지와 평가지를 홈페이지에 게시하여 언제든지 다운로드 받아 인쇄할 수 있도록 하였다(Fig. 1).

Fig. 1.

Website for Portfolio Free Download and Printing

(A) The home page of Inje University College of Medicine. (B) Download page from the website.

매년 개최하는 전체 교수 대상 교수개발 세미나 때 포트폴리오에 대해 소개하는 시간을 가졌다. 별도로 개최하는 임상실습 교수학습 워크숍에서 각 과별 임상실습에 참여하는 교수들을 대상으로 포트폴리오 평가에 대해 3시간, 피드백 기술에 대해 3시간 정도 실습해보는 시간을 가졌다. 포트폴리오 개발에 참여하는 교수들은 포트폴리오가 학생들로 하여금 자기 성찰을 하게 하고 개인별 맞춤형 피드백을 줄 수 있다는 점에서 아주 유용하게 생각하였다. 반면 포트폴리오 개발에는 참여하지 않았지만 평가를 해야 하는 교수들의 경우 주관 평가에 따른 어려움, 시간 소요, 피드백 공간에 어떤 말을 써야 하는지에 대한 애로사항을 많이 호소하였다.

매년 1학기 초 임상실습을 시작하는 시기에 3, 4학년을 대상으로 각각 포트폴리오 작성법에 대해 오리엔테이션을 하는 시간을 2시간 정도 가졌다. 역량바탕교육의 의미와 목적, 그리고 임상실습에서 학생 참여의 중요성을 설명하였고 포트폴리오 작성 요령에 대해 구체적으로 소개하였다. 포트폴리오를 통해 학습에 유용하게 활용하였다는 학생들도 있는 반면, 포트폴리오의 양이 너무 많으며, 교수의 피드백을 받기가 쉽지 않다고 호소하는 학생들도 있었다.

3. 향후 개발계획

우리 대학은 향후 크게 4가지의 개발할 사항을 계획하고 있다.

첫째, 유비쿼터스 포트폴리오 시스템이다. 그 동안 우리 대학은 종이로 포트폴리오를 작성하고 바인더에 이를 정리하여 학교에 제출하도록 하고 있었다. 그러나, 그 양이 많아짐에 따라 학생들이 포트폴리오를 들고 다니거나 보관하기가 힘들었다. 우리 대학은 2013년부터 유비쿼터스 포트폴리오 시스템을 설계하고 있으며, 2015년 현재 2개 과에서 예비연구 중에 있다. 우리의 계획은 학생들이 휴대폰이나 태블릿 컴퓨터를 이용하여 언제 어디서나 포트폴리오 앱에 접속하여 평가받고 마이페이지에서 자신의 포트폴리오를 관리할 수 있도록 하는 것이다.

둘째, 전체 교육과정으로 포트폴리오 평가를 확대하는 것이다. 우리 대학은 성과바탕교육으로 교육과정을 개편하였기에 1, 2학년 과정에서도 역량바탕평가가 필요하다. 그 준비과정으로 우선 문제바탕학습, 의사과학자과정이나 이태석기념과정 등 일부 강좌에서 부분적으로 포트폴리오 평가를 시도해보고 있다. 이러한 경험들이 쌓이면 향후 이를 확대하여 전면적인 포트폴리오 평가를 시행할 때 훨씬 수월할 것으로 예측하고 있다. 전체 교육과정에서 포트폴리오 평가가 이루어질 때 학생의 발달 정도와 전문직업성 등에 대해 제대로된 평가가 이루어질 것으로 생각한다. 또한 그 시점에 이르러야 진급이나 졸업사정에 포트폴리오를 활용할 수 있을 것으로 판단한다.

셋째, 포트폴리오 지도교수 시스템이다. 아직까지는 강좌나 실습 과에서 교육에 관심이 많은 교수들이 중심이 되어 포트폴리오를 지도하고 평가하고 있다. 하지만 전체 교육과정으로 포트폴리오 평가가 확대될 경우, 훨씬 더 많은 교수가 참여해야 한다. 따라서 이 시점에는 졸업역량의 성장을 지속적으로 모니터링하면서 학생의 발달을 지원할 지도교수 시스템이 필요하다. 이 지도교수는 각 강좌에서 이루어지는 교수의 피드백과는 별도로 졸업역량을 전체적으로 아우르면서 학생의 성장을 돕는 역할을 수행하게 된다. 이는 전체 교육과정으로 포트폴리오 평가를 확대하는 단계에서 함께 이루어질 예정이다.

넷째, 포트폴리오의 질 관리이다. 임상실습개선 워크숍에서 교수와 학생으로부터 포트폴리오 개선사항에 대해 듣고 개선하는 과정을 거치고 있다. 그러나, 포트폴리오가 평가 목적을 달성하고 있는지에 관련한 타당도나 신뢰도에 대한 연구는 아직 체계적으로 이루어지지 못하고 있다. 또한 학생들이 작성한 포트폴리오의 완성도나 교수들의 교육현장에서의 애로사항도 충분히 검토하지는 못한 상태이다. 이 작업은 전체 교육과정 개편과 지도교수 체제의 확립을 이루는 과정에서 함께 병행할 것이다.

고찰

우리 대학의 포트폴리오 평가는 성과바탕교육이라는 교육원칙에 맞추어 교육과정과 평가를 일관성 있게 구성한 것이 강점이다. 또한 포트폴리오의 원활한 진행을 위해 교수개발과 학생개발에 역점을 둔 것도 강점이라고 하겠다. 장기간에 걸쳐 꾸준히 개선해 간 것도 특징이라고 하겠다. 우리 대학의 포트폴리오는 모든 학습활동에 기본 틀을 제공하였고 성과별로 구체적인 평가기준까지 마련하여 상당히 구조화된 체계를 가진다. 향후 역량바탕교육과 평가를 교육과정에서 시행하고자 하는 다른 대학에 우리의 경험이 도움이 될 것으로 생각한다.

향후 유비쿼터스 포트폴리오 시스템, 포트폴리오의 전체 교육과정으로 확대, 지도교수 시스템, 포트폴리오의 질 관리 시스템 등이 갖추기 위한 장기 계획을 가지고 있으며 이것들을 구축하여야 원활한 포트폴리오 평가가 이루어질 것으로 예상한다.