Course Embedded Assessment 기반 간호교육 프로그램학습성과 평가체제 개발

Development of a Program Outcomes Assessment System based on Course Embedded Assessment for Nursing Education

Article information

J Korean Acad Soc Nurs Educ. 2017;23(2):135-145
1)Professor, Department of Nursing, Koje College
Nam Soung Mi1)
1)거제대학교 간호학과 조교수
Nam, Soung Mi Department of Nursing, Koje College 91, Majeon 1-gil, Geoje-si, Gyeongsangnam-do, 53325, Korea Tel: 82-55-680-1581 Fax: 82-55-731-1246 E-mail: ge30101@koje.ac.kr
Received 2016 December 06; Revised 2017 February 14; Accepted 2017 February 17.

Trans Abstract

Purpose

The purpose of this study was to develop a program outcomes assessment system based on Course Embedded Assessment for nursing education.

Methods

This study was conducted in accordance with the procedures of the developmental research method.

Results

The major results are as follows. 1) The program outcomes were measured according to the Analytic Hierarchy Process. 2) The Course Embedded Assessment matrix was made according to program outcomes' weight, the curriculum-organizing principle, and achievement levels. 3) The Course Embedded Assessment rubric was developed in logical process, and consisted of a performance criterion, and rating scale. The content validity index of the Course Embedded Assessment rubric was 0.85. 4) An evaluation guideline and 12 documents were developed to facilitate the performance of the assessment system. 5) The average content validity index of the Course Embedded Assessment-based program outcomes assessment system was as high as 0.89.

Conclusion

A Course Embedded Assessment-based program outcomes assessment system is more suitable for accreditation of nursing education than previous studies. Because this system evaluates the process of achievement as well as program outcomes, the results can also serve as immediate feedback to improve the educational process. Above all, this system facilitates that students check their achievements and strive to acquire core competencies in nursing.

서 론

연구의 필요성

지식기반 사회에서의 교육은 지식을 실제 상황에 적용하고 활용하는 핵심역량 개념이 키워드로 부각되었다. 한국간호교육평가원에서는 간호사핵심역량을 기반으로 한 프로그램학습성과를 제시하여 성과기반 교육체제를 구축하는 동시에 프로그램의 지속적인 개선체제를 마련할 것을 강조하고 있다(Korean Accreditation Board of Nursing Education [KABONE], 2014). 학습성과 기반 교육에서 중요한 부분 중 하나는 평가와 관련된 사항이며 궁극적으로 목표로 삼은 역량을 얼마만큼 길렀는가를 판단하는 것이 필요하다. 학습성과의 개념에서는 모든 학생이 학습성과를 어떤 수준으로 도달하였는지에 관심을 두는 질적인 평가를 선호한다. 따라서 최종적인 종합평가보다는 학생의 수행수준을 확인하고 피드백을 제공해주는 형성평가를 더 중요하게 다루고 있다(Kim, 2012).

그러나 실제적인 측면에서 간호교육인증평가에서 요구하는 프로그램학습성과 평가가 본연의 취지를 충족시키고 있다고 보기 어려운 실정이다. 간호교육인증평가 설명회에서 발표된 인증 대학의 사례에서는 대부분 4학년을 대상으로 졸업시험, 설문조사, 실기시험, 실습과목평점, 문제해결체크리스트, 보고서 등의 방법을 통해 평가를 실시한 결과를 제시하고 있다(KABONE, 2014). 이와 같은 방법을 적용할 경우, 졸업학년이 아닌 학생의 학습성과 관리와 개선은 누락될 우려가 있다.

연구 측면에서 그동안 수행되어 온 간호교육 프로그램학습성과 평가 관련 연구에는 Kim과 Kim (2014), Yang과 Hwang (2014)의 연구 외에는 찾아보기 어려운 실정이다. Kim과 Kim (2014)은 ‘언어적, 비언어적 상호작용을 통한 치료적 의사소통술을 적용한다’는 학습성과에 대해 절대평가 기준을 활용한 준거지향 평가체계를 개발하였다. 그러나 이 연구는 1개의 학습성과에 대한 평가체계를 개발하였고 수행준거와 수행수준 설정의 구체적인 과정을 제시하지 않고 있다. Yang과 Hwang (2014)은 4개의 학습성과에 대해 실습지침서와 시뮬레이션 교육 안내서를 바탕으로 평가 루브릭을 구성하고 전문가 내용타당도 지수를 산출하였다. 그러나 상, 중, 하의 척도 기준을 구분한 근거를 제시하지 않고 있다는 점을 한계로 지적할 수 있다.

프로그램학습성과 평가와 관련한 내용은 간호교육인증평가에 앞서 실시된 공학인증평가 관련 논문에서 찾아 볼 수 있다. Kim, Yoon, Kim과 Chung (2007)은 투입 및 실행, 측정, 분석평가, 개선으로, Kim과 Park (2008)은 수행준거, 달성목표, 평가도구, 측정, 분석, 피드백, 개선으로 체제를 구성하여 졸업학년을 대상으로 평가하였으나, 수행준거와 척도에 대한 개발과정은 제시되어있지 않다. 평가도구의 타당도와 신뢰도를 높이기 위해서는 루브릭을 개발하여 측정해야 하나(Kim, 2007), 루브릭을 논리적 절차에 따라 개발한 과정을 제시한 선행연구는 찾아보기 어렵다는 점 역시 선행연구가 가진 한계라 할 수 있다.

Kim과 Park (2008)은 프로그램학습성과 평가의 문제점으로 평가체계의 복잡성으로 인한 실제적 운영의 어려움, 수행준거 별 수행수준과 평가도구별 채점기준의 미 수립으로 인한 계량적 평가의 곤란 등을 제시한 바 있다. Han (2009)은 프로그램학습성과 평가의 어려움을 극복하기 위해, 학습성과를 교과목과 연계하고 해당 교과목의 시험과 보고서에 근거하여 학습성과를 정량적으로 평가하는 평가체계를 제시하였다. Kim (2007)은 교과목 평가와 프로그램학습성과 평가는 결코 구분될 수 없으며 교과목 개선과 프로그램 우수성은 결국 학생들의 학업성취도에 영향을 주게 된다고 하였다. Shin, Kim과 Kang (2008)도 졸업생들의 학습성과 평가 시 프로그램학습성과와 교과목 내 학습성과 성취도는 분리할 수 없으므로 졸업시점 학생의 프로그램학습성과 평가 결과는 재학 중 매학기 교과목 내 학습성과 성취도를 통해 예측할 수 있고 그 결과는 신뢰할 수 있다고 하였다.

한국공학교육인증원은 프로그램학습성과 평가체계를 교과목을 통한 학습성과 평가체계로 전환하여, 기존의 졸업시험, 종합설계, 학생포트폴리오 등의 특정 평가도구 중심의 평가에서 교과목 중심의 교과기반 평가를 권장하고 있다(Accreditation Board for Engineering Education of Korea [ABEEK], 2015).

교과기반평가(Course Embedded Assessment [CEA])는 교수ㆍ학습과정에서 코스 목적, 목표 및 학생들의 수행결과를 프로그램학습성과에 대응시켜 평가하는 것으로(Han, 2009), 미국의 각 대학이나 프로그램에서 많이 활용되고 있는 방법이다. CEA는 시험문제나 수행과제와 같은 평가도구를 활용하여 개별 학생들의 평가를 실시한다는 점에서 기존 수업평가와 동일하나, 위 결과를 근거로 학생집단의 학습성과 성취수준을 평가하는 이차적 과정이 추가된다는 점에서 차이가 있다(Gerretson & Golson, 2004; Han, 2009).

CEA는 프로그램의 상황을 반영할 수 있을 뿐만 아니라, 교수・학습 과정 중에 이루어지므로 학생으로 하여금 자신의 성취정도를 확인하고 능동적으로 학습과정에 참여하게 한다. 교수는 평가결과를 분석하여 역량성취를 위한 교육내용 선정, 다양한 교육방법의 적용, 평가도구 개선 등에 즉각적인 환류를 할 수 있다. 그러므로 CEA는 학습성과 평가뿐만 아니라 교육활동 중의 다양한 상호작용을 촉진하고 교육개선을 위한 정보수집 및 분석이 용이하여 교육의 질 관리에 적합한 평가체계라 할 수 있다.

CEA를 위해서는 개발과정, 학습성과, 평가결과에 일관성이 유지되고, 타당도가 확인된 루브릭을 사용해야 한다(Ammons & Mills, 2005; Gerretson & Golson, 2004). 그러나 국내에서는 CEA가 도입 초기인 탓에 모든 프로그램학습성과에 적용하는 것이 어려워 일부 프로그램학습성과에만 적용하고 있는 실정이다(Kim, 2014; Lee, 2014).

이에 본 연구는 간호교육 프로그램학습성과 평가를 위해 표준화된 루브릭을 갖춘 CEA 기반 프로그램학습성과 평가체계를 논리적 절차에 따라 개발하고자 실시되었다.

연구 문제

본 연구에서는 간호교육 프로그램학습성과 평가를 위한 CEA 기반 평가체계를 개발하기 위해 다음과 같이 연구문제를 설정하였다.

• 첫째, CEA 기반 프로그램학습성과 평가체계를 어떻게 구성할 것인가?

• 둘째, 개발된 CEA 기반 프로그램학습성과 평가체계 실행을 위한 개선사항과 관련 서식은 무엇인가?

• 셋째, 개발된 CEA 기반 프로그램학습성과 평가체계는 타당하고 신뢰할만한가?

연구 방법

연구 설계

본 연구는 CEA를 적용한 간호교육 프로그램학습성과 평가체계를 개발하는 방법론적 연구이다. 본 연구는 Reeves (2000)의 개발연구 방법(Developmental Research Method)에 근거하여 설계되었다. 개발연구는 실천중심의 연구이며 연구 설계가 고정된 접근으로 연구 절차 및 방법이 재설계 되지 않으며, 프로그램의 적용에 초점을 맞춘 연구방법이다(Kang & Lee, 2011). 본 연구의 절차는 Figure 1과 같으며, 실제문제 분석, 해결책 개발, 실행평가, 타당도검정 및 문서화 순으로 진행되었다.

<Figure 1>

Research process based on developmental research method.

연구 절차

본 연구는 개발연구방법의 절차로 진행되었으며 각 단계별 연구방법은 다음과 같다.

● 실제문제 분석

• CEA에 대한 문헌연구

CEA 기반 간호교육 프로그램학습성과 평가체계를 개발하기 위해 먼저 CEA에 대한 문헌연구를 실시하였다. 먼저 한국간호교육 인증평가기준을 확인하여 CEA의 적용가능성을 탐색하고 다음으로 CEA에 대한 선행연구와 사례를 고찰하였다. 이를 위해 ‘Course Embedded Assessment’를 키워드로 학술연구정보서비스, 한국학술정보, 누리미디어에서 제공하는 온라인 데이터베이스를 활용하여 검색한 결과, 총 7편의 국내 논문과 15편의 해외학술지논문이 검색되었다. CEA는 국내에서는 공학교육인증평가에서 연차별로 적용을 확대하고 있는 단계여서 해당 논문의 수가 적은 것으로 생각된다. 검색된 해외학술지 논문은 1999년부터 2014년까지 발표된 것으로 이중에서 동일한 저자가 같은 주제로 여러 학술지에 논문을 게재한 경우 하나의 논문만을 선정하였다. 논문제목, 키워드, 초록, 원문을 읽은 후 본 연구의 목적을 만족하는 논문 9편을 선정하였고, 이들 논문의 참고문헌에 있는 3편의 논문을 추가하였다. 또한 CEA를 실시하고 있는 것으로 언급되고 있는 미국 대학 홈페이지의 Office of assessment에 제시된 자료를 살펴보았다. 따라서 본 연구의 분석 대상은 국내논문 7편, 해외논문 12편과 8개 대학의 Office of assessment의 자료이다. 이상의 문헌고찰을 통해 CEA의 개념, 장ㆍ단점, 실행방법, 주의사항 등을 확인하였다.

● 해결책 개발

• Analytic Hierarchy Process [AHP] 방법에 의한 프로그램 학습성과 가중치 산정

CEA체제는 학습성과를 교육과정에 연계하여 평가는 방법이다. 한국간호교육평가원(KABONE, 2014)이 제시하고 있는 12개 프로그램학습성과는 내용면에서 상호연관이 있으며 수행수준이 지식, 이해, 적용 등으로 동일하지 않다. 본 연구의 프로그램학습성과 10개는 연구자가 재직하고 있는 대학의 것으로 이는 한국간호교육평가원 보다 개수만 2개 줄었을 뿐 내용은 거의 유사하다. 따라서 프로그램학습성과의 교과목 연계와 졸업 시점 학생들의 학습성과 달성도 산출을 위해 요인들을 쌍대 비교하여 상대적 중요도를 파악하는 AHP (Saaty, 1994)방법으로 프로그램학습성과의 가중치를 산정하였다.

AHP 분석을 위해 10개의 프로그램학습성과를 2개씩 동등에서 중요의 9점 척도로 비교하는 쌍대비교 설문지를 작성하여 간호학교수 7인, 임상실습현장지도자 5인, 8년~10년차 경력간호사 3인, 총 15인으로 구성된 전문가 집단을 대상으로 프로그램학습성과의 상대적 중요도를 조사하였다. 2014년 5월 13일에서 5월 22일까지 연구자가 대상자를 직접 방문, 조사의 목적을 설명, 동의를 구한 후 조사를 실시하였다. 또한 대상자의 이해를 돕기 위해 문헌연구와 전문가 의견 수렴을 거쳐 설정된 각 프로그램학습성과의 개념정의를 제시하였다. 수집된 자료는 Microsoft Excel 2010을 이용하여 분석하였다. 각 설문지의 쌍대비교 행렬표를 바탕으로 계산된 일관성지수(Consistency Index [CI])와 Saaty (1994)가 제시한 쌍대비교행렬의 차원 n에 의한 확률지수(Random Indices [RI])로 일관성비율(Consistency Ratio [CR])을 계산하였다. 일관성지수(Consistency Index [CI])는 평가자 응답의 고유벡터 최대값인 λmax가 n과 근접할수록 일관성이 양호한 것이며, CI와 CR은 다음과 같이 표현된다. CI=λmax-nn-1CR=CIRI

AHP 분석에서는 응답의 일관성이 확보되어야 그 타당성을 인정받을 수 있으며 일관성 비율 CR이 0.1이상이면 쌍대비교 행렬의 일관성이 없다고 판정하므로(Saaty, 1994), 본 연구에서는 CR이 0.1 미만인 13명의 자료를 분석하였다.

• CEA 루브릭 개발

CEA의 핵심은 학습성과를 측정할 수 있는 표준화된 루브릭이다(Gerretson & Golson, 2004). 본 연구에서는 Goodrich (2000), Mertler (2001), Moskal (2000), Zimmaro (2004) 등이 공통으로 제안한 절차로 루브릭을 개발하였다. 루브릭의 유형은 인증평가의 목적인 지속적인 교육의 질 향상에 적합한 총체적 루브릭으로 하였다. 총체적 루브릭은 학습성과의 전체적인 질에 초점을 두고 학생의 수행정도에 대한 종합적인 평가와 성과에 대한 개관을 제공한다(Mertler, 2001; Zimmaro, 2004). 본 연구의 루브릭 개발과정은 프로그램학습성과의 조작적 정의, 수행준거 설정, 평가척도 결정, 수행준거의 수행수준 기술, 내용타당도 검정 순서로 진행되었다.

먼저 프로그램학습성과에 대한 조작적 정의를 설정하기 위해 간호사핵심역량에 대한 선행연구 3편과 프로그램학습성과 항목에 대한 국내연구 16편, 2014년 한국간호대학(과)장 협의회 및 2014년 하반기 간호교육인증평가 설명회 자료, American Association of Colleges of Nursing [AACN], 2008)의 간호학사학위 과정의 필수요소를 고찰 하였다. 문헌고찰을 근거로 1차 조작적 정의를 작성하고 간호학 교수 3인의 의견 수렴을 거쳐 조작적 정의를 완성하였다. 완성된 프로그램학습성과에 대한 정의를 바탕으로 수행준거를 설정하고, 간호학 교수 3인의 내용타당성 검토를 거쳐 수행준거를 완성하였다. 평가척도에 대해 Moskal (2000)은 수준을 명확하게 구분할 수 있도록 3~5개의 척도를 추천하였으며, CEA 선행연구에서도 3~4개의 척도를 사용하고 있어(Gerretson & Golson, 2004), 본 연구의 평가척도는 상, 중, 하, 3개로 정하였다. 프로그램학습성과의 정의와 수행준거를 바탕으로 ‘상’ 수준의 준거를 기술하고 다음으로 ‘하’ 수준에 대한 준거를 기술하였다. 수행준거의 ‘중’ 수준은 프로그램 기준의 수용 가능한 최저 수준임을 고려하여 ‘상’ 수준과 ‘하’ 수준의 대비를 통해 ‘중’ 수준의 수행준거를 기술하였다.

평가척도의 기준 점수는 집단 구성원의 평균적인 성취업적을 기준으로(Bae, 2008) 하고자 연구자가 재직하고 있는 대학의 2014학년 1학기의 7개 교과목에 연계된 프로그램학습성과 1, 2, 4, 5(가중치 70%)의 평균과 표준편차를 분석하였다. 분석 결과, 이론과목의 평균은 75~79점 표준편차는 8.7~11점으로 나타났으며 실습과목의 평균은 86~92, 표준편차는 2.3~11점의 분포를 나타냈다. 전체적으로 실습과목의 평균이 이론과목보다 평균 11.75점 높았으며, 출석점수를 10점으로 산정하고 있었다. CEA는 프로그램학습성과 자체를 평가하는 것이므로 출석점수를 제외한 원점수의 평균과 표준편차를 고려하여 ‘중’수준을 이론과목은 65~79점, 실습과목은 75~89로 산정하였다. 따라서 이론과목의 ‘상’은 80점 이상, ‘하’는 64점 이하이며, 실습과목의 ‘상’은 90점 이상, ‘하’는 74점 이하로 산정되었다.

개발된 루브릭의 내용 타당도 검정을 위해 메타 루브릭(Moskal & Leydens, 2000; Soung, 2012)을 이용하여 간호학교수 3인, 교육학교수 1인, 총 4명의 전문가를 대상으로 내용타당도를 검정하였다. 내용, 명확성, 실용성, 신뢰성 4개 범주별 내용타당도지수는 .815~.875 이었으며, 전체 내용타당도지수는 .85로 CEA 루브릭의 내용타당도는 높은 것으로 나타났다. 또한 척도수준 내용타당도(Scale level content validity index, average [S-CVI/Ave])와 항목수준 내용타당도(Item level content validity index [I-CVI])를 확인한 결과 S-CVI/Ave와 I-CVI 모두 1.0으로 나타나 타당도 기준을 충족하였다. Polit과 Beck(2006)은 S-CVI/Ave는 .90이상, I-CVI는 5명이하인 경우, 1.00, 6명~10명인 경우, .78이상이면 우수한 내용타당도라고 하였다.

• 전문가 협의회를 통한 CEA Matrix작성

프로그램학습성과의 교과목 연계에 대한 CEA Matrix 작성을 위해 다음과 같은 원칙에 따라 간호학 교수 4인으로 구성된 전문가 협의회를 4회 실시하였다. 첫째, 학습성과의 성취수준을 달리하여 교육과정을 구성해야하므로 3단계의 성취수준을 정하였다. L1(기본)은 기초적인 이론 및 실무를 인식하는 수준, L2(발전)는 간호학의 이론 및 실무를 이해하고 설명하는 수준, L3(심화)는 대상자의 건강문제 해결을 위해 간호학 이론과 실무에 대한 지식을 적용하는 수준으로 정의하였다. 둘째, 프로그램학습성과와 교과목의 관련성 및 가중치를 고려하여 학년에 따라 점차적으로 성취수준을 높이도록 연계하였다. 셋째, 프로그램학습성과 가중치는 상대적 비교에 의한 중요도를 나타내는 수치이므로, 계량적 환산 보다 간호사 핵심역량 성취의 맥락에서 계열적 통합적으로 교육과정에 연계하였다. 넷째, 가중치가 높은 프로그램학습성과는 전공과목에 계속적, 계열적, 통합적으로 연계하여 졸업시점에는 L3(심화)수준을 성취하도록 연계하였다. 다섯째, 가중치가 낮으면서 수행수준이 지식수준인 프로그램학습성과의 최종 성취수준은 기본 또는 발전 단계로 하였다.

● 실행평가

개발된 CEA 기반 평가체계의 실행평가를 위해 연구자가 재직하고 있는 대학의 2014학년도 1, 2학기에 성과기반 교육과정을 실시한 교과목 CQI 보고서를 근거로 CEA를 적용하여 프로그램학습성과 평가를 실시하였다. 1학기에는 2, 3, 4학년의 7개 교과목에 연계된 1, 2, 4, 5의 프로그램학습성과를, 2학기에는 1, 2, 3, 4학년의 16개 교과목에 연계된 프로그램학습성과 1, 2, 3, 4, 5를 평가하였다. 또한 2014학년도 4학년 1, 2학기 프로그램학습성과 평가 결과를 토대로 졸업학년의 프로그램학습성과를 평가하였다. 결과분석에는 빈도와 백분율을 이용하였다.

● 타당도 검정 및 문서화

개발된 평가체계의 타당도를 검정하기 위해 Kim, Kim, Seo와 Yang (2009)의 교육프로그램의 메타평가 기준을 활용하였다. Kim 등(2009)은 메타평가 기준을 활용할 때 목적과 상황에 따라 기준을 선정, 보완, 해석할 필요가 있다고 하였다. 이에 간호학 교수 3인에게 메타평가 기준에 대한 자문을 받아, 교육주체의 교육지향성 2항목, 교육방법의 적절성 3항목, 교육성과의 본질성 4항목과 목적부합성, 실행적합성, 정보정확성 각 1항목, 보고충실성 2항목, 총 14개 항목, Likert식 4점 척도로 설문지를 구성하였다. 평가체계의 타당도 검정을 위한 평가자는 내부인사 5명과 외부인사 5명으로 구성되었으며, 이들은 간호교육인증평가 업무를 담당하고 있거나 경험이 있는 간호학 교수 8명과 교육학 교수 2명이다. 조사방법은 내부인사는 연구자가 방문조사 하였으며, 외부인사는 사전에 조사의 목적을 설명하고 동의를 구한 후 개발된 평가체계와 질문지를 이메일로 발송하였다. 이후 전화로 평가체계에 대해 설명하였으며 이메일을 통해 결과를 회신 받았다. 타당도는 Polit과 Beck (2006)이 제시한 I-CVI와 S-CVI/Ave를 기준으로 검정하였다. 또한 실행평가 결과 분석을 토대로 개선사항을 확인하기 위해 간호학과 교수 4인으로 구성된 전문가 협의회를 실시하였다.

연구 결과

CEA 기반 프로그램학습성과 평가체계

CEA 평가체계는 학습성과를 교과목에 연계하고 해당 교과목의 평가결과를 근거로 학습성과를 정량적으로 평가하는 것이다. CEA 평가체계의 핵심요소는 프로그램학습성과의 가중치, 교과목 연계 CEA Matrix, CEA Rubric이다.

● 프로그램학습성과 가중치

AHP로 분석한 프로그램학습성과의 가중치와 우선순위는 Table 1과 같다. Program Outcome [PO]1. 다양한 교양지식과 전공지식에 근거한 간호술을 통합적으로 실무에 적용한다(0.277), PO2. 대상자의 간호 상황에 따른 핵심기본간호술을 선택하여 실행한다(0.214), PO5. 비판적 사고에 근거한 간호과정을 적용하고 임상적 추론을 실행한다(0.124)의 순으로 상대적 중요도가 나타났다.

Weight of Program Outcomes

● 교과목 연계 CEA Matrix

프로그램학습성과를 교과목에 연계하고 평가하기 위해 성취수준과 교육과정 구성 원리인 계속성, 계열성, 반복성을 고려하여 CEA Matrix를 작성하였다. 프로그램학습성과의 가중치가 높은 PO1(28%), PO2(21%), PO5(12%), PO3(11%)는 1학년부터 4학년까지 모든 간호학 전공교과목에서 기본, 발전, 심화단계로 지속적으로 연계되었다. PO4(9%)는 상대적 중요도가 중간정도이나 수행수준이 이해수준이므로 발전단계로 하였다. 그 외 가중치가 낮은 PO6(6%), PO7(5%)과 PO8(3%), PO9(3%)는 발전단계, 수행수준이 지식수준이면서 가중치가 2%인 PO10의 성취수준은 기본단계로 정하였다. 프로그램학습성과와 교과목을 연계한 CEA Matrix는 Table 2와 같다.

Course Embedded Assessment Matrix

● CEA 루브릭

CEA 루브릭은 간호교육인증평가의 목적인 ‘지속적인 교육의 질관리’에 적합한 총체적 루브릭으로 하였다. 루브릭은 프로그램학습성과, 수행준거, 평가척도, 척도별 수행수준으로 구성되었다. 개발된 루브릭은 Table 3과 같다.

Course Embedded Assessment Rubric

CEA 기반 프로그램학습성과 평가체계 개선사항 및 관련 서식

CEA 기반 프로그램학습성과 평가체계를 2014학년도에 적용한 실행평가 결과, 1학기 7개 교과목에 연계된 PO1, 2, 4, 5의 달성도는 80~100%로 나타났다. 2학기 16개 교과목에 연계된 PO1, 2, 3, 4, 5 또한 모든 과목에서 ‘중’ 이상이 80%이상으로 나타났다. 2014학년도 1, 2학기 프로그램학습성과 평가 결과를 토대로 졸업학년의 PO1, 2, 3, 4, 5를 평가한 결과 PO1, 5는 96.2%, PO2, 3, 4는 100%로 나타났으며, 가중치를 적용한 목표 달성도는 79.4%로 나타났다.

개발된 평가체계의 실행평가 결과 도출된 CEA 개선사항은 다음과 같다. CEA를 위해 교수자는 강의계획 시 연계된 프로그램학습성과의 평가방법과 도구를 고려해야 하고 타당도와 신뢰도에 대한 지속적인 자기 점검이 필요한 것으로 나타났다. PO2에 해당하는 핵심기본간호술에 대한 인증평가기준은 프로그램학습성과와 교육성과 두 항목에 해당하며, 특히 임상에서의 수행능력을 갖추어야 하므로 핵심기본간호술의 임상실습 연계 matrix작성과 누적평가 체제를 보완하였다. 그 외 PO5의 반복적 통합적 연계, 교과목 연계만으로는 역량성취에 한계가 있는 PO8의 교과 외 활동 운영의 필요성 등이 확인되었다.

이와 같은 개선사항을 반영하여 학생, 교수자, 관련 업무 담당자별 서식과 핵심기본간호술 연계 matrix, 교육과정 개선을 위한 Continuous Quality Improvement (CQI) 보고서 분석서식 등 총 12개의 관련서식과 CEA 기반 프로그램학습성과 평가지침이 개발되었다.

CEA 기반 평가체계의 타당도

CEA 기반 평가체계의 내용타당도 지수는 .825~ .975로 높게 나타났다. 메타평가 기준 14개 항목별로 살펴보면, 평가목적을 분명하게 제시하는 평가 항목이 .975로 가장 높게 나타났으며, 현재수준에 만족하지 않고 최선을 다하려는 노력을 유도하는 항목과 교수ㆍ학습과정에서의 상호작용촉진, 평가결과 제안사항 기술 항목이 .90~ .925로 나타났다. 교수가 교육활동에 대해 긍정적인 태도를 지니게 하는 평가 항목이 .825로 가장 낮았으며, 교수의 전문성 신장, 학생의 학습에 대한 긍정적 태도, 학생수준에 맞는 교육방법 활용이 .85로 나타났다. I-CVI는 모든 항목이 .90~1.0이었으며, S-CVI/Ave는 .986으로 나타나 Polit과 Beck (2006)의 기준을 충족하였다.

논 의

간호교육인증평가의 목적은 성과기반 교육체제를 바탕으로 지속적인 프로그램 개선을 통해 교육의 질을 향상하는 것이다(KABONE, 2014). 본 연구는 프로그램학습성과 평가뿐만 아니라 교육과정 개선과 교육의 질 관리를 효과적으로 하고자 CEA 기반 프로그램학습성과 평가체계를 개발하였다. CEA는 프로그램학습성과를 교육과정에 연계하고 교수ㆍ학습활동과 평가를 통합하여 수업 환경 내에서 학생들의 학업성취 결과물을 근거로 프로그램학습성과를 평가하는 것이다. 개발된 CEA 기반 프로그램학습성과 평가체계는 프로그램학습성과의 가중치, CEA Matrix, CEA Rubric 및 12개의 관련서식과 평가지침으로 구성되었으며, 타당도는 높은 것으로 나타났다.

프로그램학습성과는 졸업시점 학생들이 성취해야할 역량이므로 1학년부터 졸업시점까지 역량성취에 과정에 대해 형성적, 지속적으로 평가하는 체계가 적합하다고 사료된다. CEA는 교수ㆍ학습활동과 평가활동을 통합하여 실시하며 연계된 교과목에서 프로그램학습성과 달성도를 평가하므로 평가내용과 방법 측면에서 다양한 평가가 가능하다. 학습자는 평가 대상이면서 동시에 평가자로서의 능동적 역할을 담당한다. 본 연구에서는 실행평가 결과를 반영하여 매 학기말 학생 스스로 자신의 학습성과 달성도를 확인하고 부족한 영역에 대한 학습을 촉진하기 위해 학생용 CQI 개발하여 사용하였다.

본 연구에서 AHP방법으로 측정한 학습성과 가중치는 다양한 교양지식과 전공지식에 근거한 간호술을 통합적으로 실무에 적용(PO1), 대상자의 간호 상황에 따른 핵심기본간호술 적용(PO2), 비판적 사고에 근거한 간호과정 적용(PO5)이 상위순위로 나타났으며, 이는 Yoon (2013)의 간호학 전공분야별 학습성과 분류에 대한 델파이 조사결과와 일치한다. 그러므로 이들 프로그램학습성과는 성과기반 교육과정에서 중요한 핵심영역으로 고려되어야 할 것으로 생각된다.

CEA에 대한 선행연구에서는 대표교과목 1~2개에 학습성과를 연계하거나(Han, 2009; Kim, 2014; Lee, 2014), 수월성의 관점에서 학습성과 별로 연관성이 높은 특정 교과목에 연계하도록 하고 있다(ABEEK, 2015). 그러나 본 연구에서는 전문가집단 협의회를 거쳐 성취수준, 학습성과의 가중치, 교육과정 구성 원리 등을 고려하고 학년에 따라 단계별로 졸업시점까지 평가하므로 지속적 교육과정 개선 및 간호사 핵심역량 성취과정에 평가가 가능하다.

루브릭 개발 과정에 대한 이론적 근거를 제시하고 있는 선행연구는 찾아보기 어려우나(Kim & Park, 2008; Kim & Kim, 2014; Yang & Hwang, 2014), 본 연구에서는 Goodrich (2000), Mertler (2001), Moskal (2000), Zimmaro (2004)가 제안한 논리적 절차에 따라 루브릭을 개발하였다. CEA 도입방법으로 성취수준별 수행준거 대신 정량적 측정이 가능한 하나의 수행준거를 설정하는데(Kim, 2014), 본 연구에서는 10개의 프로그램학습성과에 대한 조작적 정의를 토대로 각각의 수행준거를 설정하였다. Ammons와 Mills (2005)는 루브릭을 제시한 CEA 결과 교수ㆍ학습 과정과 평가를 일목요연하게 연결할 수 있어 학생의 기능통합역량과 교육 개선의 효과가 있었다고 하였다. 본 연구에서는 개발된 평가체계의 실행평가 시 각 교과목의 강의계획서를 통해 연계된 프로그램학습성과의 루브릭과 평가방법을 공지하였고 학기말 자신의 프로그램학습성과 달성도를 확인하여 학생용 CQI를 작성하게 하여 능동적으로 학습에 임하게 하였다.

교육과정 상의 누적된 분석결과를 활용할 수 있는 것은 CEA의 장점이다(Gerretson & Golson, 2004). 본 연구의 평가체계도 CEA matrix에 따라 교과목에 프로그램학습성과를 연계하여 평가하므로 학기별, 학년별 평가결과와 단계별 프로그램학습성과 달성도를 한 눈에 알 수 있으며, 수행준거에 따라 평가하므로 학생의 지식과 수행능력을 직접 평가할 수 있다.

CEA 기반 평가체계 개발은 학습성과 가중치 설정, 루브릭 개발과 교과목 연계, 평가지침 및 관련 서식 개발 등의 과정으로 진행되어 많은 시간이 소요되었다. 그러나 평가체계가 완성된 뒤에는 각 교수별로 제출한 CQI와 과목별 학습성과 결과만으로도 학년별 학기별 학습성과 달성도를 빠르고 쉽게 분석할 수 있었다. Whitfield (2003)Gerretson과 Golson (2004)도 기존의 방법은 평가자료 수집에 많은 시간이 걸렸으나, CEA는 평가방법에 따라 교수자는 점수 산정 시 연계된 학습성과를 고려하기만 하면 되므로 시간이 절약되는 효과가 있다고 하였다.

개발된 평가체계의 전체 내용 타당도 지수는 .89로 높았으나, 교육활동에 긍정적인 태도를 지니게 하는 평가인가는 항목이 .825로 상대적으로 낮게 나타났다. 이는 간호교육인증평가에 대한 교수의 부담감이 반영된 결과라 생각된다. 그러므로 평가체계의 확립을 위해서는 평가요소별 업무분장, 원만한 교수위원회의 활성화, 평가를 용이하게 할 수 있는 서식개발 및 보완 등이 계속되어야 할 것으로 사료된다.

본 연구의 의의를 학생과 교수 측면에서 살펴보면 다음과 같다. 학생은 매학기 자신의 달성도를 확인하고 학생용 CQI를 작성하는 과정을 통해 간호사 핵심역량을 갖추도록 스스로 노력한다. 교수는 교수ㆍ학습 과정 중에 학습성과에 대한 평가가 이루어지므로 교수ㆍ학습방법의 강점과 약점, 평가방법 및 평가도구의 적절성을 검토하여 교육과정 개선에 즉시 피드백 할 수 있다. 또한 이러한 과정을 통해 학생과 교수의 상호작용이 촉진되는 효과도 있다.

교육과정 운영 실무 측면에서는 표준화된 루브릭을 사용하므로 학생들에게 학습방향을 명확하게 제시할 수 있고, 평가결과에 대한 즉각적인 피드백을 제공할 수 있다. 또한 실무자는 CEA Matrix에 따라 프로그램학습성과를 평가하므로 평가업무의 부담을 줄일 수 있으며 간호사 핵심역량 성취과정에 대한 정성평가 결과를 효율적으로 도출할 수 있다.

결론 및 제언

본 연구는 지속적인 교육 개선과 평가가 용이한 CEA 기반 프로그램학습성과 평가체계를 개발하기 위한 목적으로 시행되었다. 간호교육인증평가 담당자인 연구자가 교육현장의 문제를 해결하기 위해 실제적 맥락 안에서 논리적 절차에 따라 평가체계를 개발하였다. 실행평가와 성찰로 평가체계의 개선사항을 확인하고 보완하였으며 적용이 용이하도록 관련 지침과 서식도 개발하였다. 이후 전문가 집단으로부터 Polit와 Beck (2006)이 제시한 항목수준과 척도수준의 내용타당도를 검정 받았으며, 타당도는 높은 것으로 확인되었다. 본 연구에서 개발된 CEA 기반 평가체계는 프로그램학습성과의 가중치, CEA Matrix, CEA Rubric 및 12개의 관련서식과 평가지침으로 구성되었다.

본 연구는 한국간호교육평가원의 프로그램학습성과를 준용하였으나, 일 대학을 대상으로 하였으므로 적용에 제한점이 있다. 본 연구를 통해 다음을 제언한다. 첫째, CEA 루브릭의 수행준거와 기준점수는 교육과정과 대상자의 특성을 반영하여 계속적으로 개선한다. 둘째, 기준점수 산정에 Angoff나 Hofstee 등의 다양한 방법을 활용할 것을 제안한다. 셋째, 효율적인 평가를 위해 CEA적용 Web-based 평가시스템을 개발할 필요가 있다. 넷째, 교과목 연계로는 학습성과 달성에 한계가 있는 프로그램학습성과는 교과 외 활동을 함께 운영하고 그 결과를 학생포트폴리오 같은 간접적인 평가방법으로 보완할 필요가 있다. 다섯째, 4년간의 교과목 내 학습성과 성취도와 졸업학년 프로그램학습성과 평가 간의 관계 및 CEA 기반 프로그램학습성과 평가체제 적용의 효과를 다양한 지표를 통해 확인하는 후속 연구를 제안한다.

Acknowledgements

* This manuscript is a condensed form of the first author’s doctoral dissertation from Kyungnam University.

* 이 논문은 남성미의 박사학위 논문 축약 본임. (학위취득. 2015. 6.)

References

1.

Accreditation Board for Engineering Education of Korea. (2015, January). Standard of Accreditation Engineering Education (KEC2015). Retrieved January 6, 2015, from the Accreditation Board for Engineering Education of Korea Web site: http://www.abeek.or.kr/intro/stendard

. Accreditation Board for Engineering Education of Korea. 2015. January. Standard of Accreditation Engineering Education (KEC2015) Retrieved January 6, 2015. from. the Accreditation Board for Engineering Education of Korea. Web site: http://www.abeek.or.kr/intro/stendard.
2.

American Association of Colleges of Nursing. (2008, October). The Essential of Baccalaureate Education for Professional Nursing Practice. Retrieved July 6, 2014, from the American Association of Colleges of Nursing Web site: http://www.aacn.nche.edu/education-resources/BaccEssentials08.pdf

. American Association of Colleges of Nursing. 2008. October. The Essential of Baccalaureate Education for Professional Nursing Practice Retrieved July 6, 2014. from. the American Association of Colleges of Nursing. Web site: http://www.aacn.nche.edu/education-resources/BaccEssentials08.pdf.
3.

Ammons, J. L., & Mills, S. K. (2005). Course Embedded Assessments for evaluating cross-functional integration and improving the teaching-learning process. Issues in Accounting Education, 20(1), 1-19.

Ammons J. L., et al, Mills S. K.. 2005;Course Embedded Assessments for evaluating cross-functional integration and improving the teaching-learning process. Issues in Accounting Education 20(1):1–19. 10.2308/iace.2005.20.1.1.
4.

Bae, H. S. (2008). Theory-driven educational program evaluation. Seoul: Wonmisa.

Bae H. S.. 2008. Theory-driven educational program evaluation Seoul: Wonmisa.
5.

Gerretson, H., & Golson, E. (2004). Introducing and evaluating Course Embedded Assessment in general education. Assessment Update, 16(6), 4-6.

Gerretson H., et al, Golson E.. 2004;Introducing and evaluating Course Embedded Assessment in general education. Assessment Update 16(6):4–6.
6.

Goodrich, H. (2000). Using rubrics to promote thinking and learning. Educational Leadership, 57(5), 13-18.

Goodrich H.. 2000;Using rubrics to promote thinking and learning. Educational Leadership 57(5):13–18.
7.

Han, J. Y. (2009). The review on adaptation of Course Embedded Assessment for program outcome assessment in engineering education. Journal of Korean Engineering Education, 12(3), 96-106.

Han J. Y.. 2009;The review on adaptation of Course Embedded Assessment for program outcome assessment in engineering education. Journal of Korean Engineering Education 12(3):96–106.
8.

Kang, J. C., & Lee, S. S. (2011). Design Based Research (DBR) as field research method to improve instructions. Journal of Korean Educational Methodology, 23(2), 323-354.

Kang J. C., et al, Lee S. S.. 2011;Design Based Research (DBR) as field research method to improve instructions. Journal of Korean Educational Methodology 23(2):323–354.
9.

Kim, B. K., & Park, J. Y. (2008). A study on assessment method of program outcomes. Journal of Korean Engineering Education, 11(4), 46-51.

Kim B. K., et al, Park J. Y.. 2008;A study on assessment method of program outcomes. Journal of Korean Engineering Education 11(4):46–51.
10.

Kim, B. N., & Kim, S. O. (2014). A study on assessment system for nursing bachelor degree program outcomes: Focused on communication ability improvement. Journal of Korean Academy Nursing Administration, 20(1), 154-166.

Kim B. N., et al, Kim S. O.. 2014;A study on assessment system for nursing bachelor degree program outcomes: Focused on communication ability improvement. Journal of Korean Academy Nursing Administration 20(1):154–166. 10.11111/jkana.2014.20.2.154.
11.

Kim, C. S. (2007). A study of strategic approach for course and program outcomes assessment. Journal of Korean Engineering Education, 10(2), 73-86.

Kim C. S.. 2007;A study of strategic approach for course and program outcomes assessment. Journal of Korean Engineering Education 10(2):73–86.
12.

Kim, J. G. (2014). A development on the Course Embedded Assessment model for program outcome assessment in engineering education. Journal of Computer & Communication Research, 10(1), 67-79.

Kim J. G.. 2014;A development on the Course Embedded Assessment model for program outcome assessment in engineering education. Journal of Computer & Communication Research 10(1):67–79.
13.

Kim, M. L., Yoon, W. Y., Kim, D. H., & Chung, J. T. (2007). Model development and strategy plan for implementing program outcomes and assessment. Journal of Korean Engineering Education, 10(4), 29-42.

Kim M. L., Yoon W. Y., Kim D. H., et al, Chung J. T.. 2007;Model development and strategy plan for implementing program outcomes and assessment. Journal of Korean Engineering Education 10(4):29–42.
14.

Kim, S. (2012). The concept and necessity of learning outcome. Korean Journal of Medical Education, 24(2), 89-92.

Kim S.. 2012;The concept and necessity of learning outcome. Korean Journal of Medical Education 24(2):89–92. 10.3946/kjme.2012.24.2.89.
15.

Kim, S. H., Kim, S. Y., Seo, M. W., & Yang, G. S. (2009). Development of standards for meta evaluation. Journal of Korean Educational Evaluation, 22(3), 557-585.

Kim S. H., Kim S. Y., Seo M. W., et al, Yang G. S.. 2009;Development of standards for meta evaluation. Journal of Korean Educational Evaluation 22(3):557–585.
16.

Korean Accreditation Board of Nursing Education. (2014, September). Nursing education accreditation presentation. Paper presented at the workshop of Korean Accreditation Board of Nursing Education, Seoul.

Korean Accreditation Board of Nursing Education. 2014. September. Nursing education accreditation presentation Paper presented at the workshop of Korean Accreditation Board of Nursing Education. Seoul:
17.

Lee, J. Y. (2014, October). An application of Course Embedded Assessment to NCS based engineering education. Paper presented at the Korean Institute of Electrical Engineers Conference, Seoul.

Lee J. Y.. 2014. October. An application of Course Embedded Assessment to NCS based engineering education In : Paper presented at the Korean Institute of Electrical Engineers Conference. Seoul.
18.

Mertler, C. A. (2001). Designing scoring rubrics for your classroom. Practical Assessment Research & Evaluation, 7(25), 1-10.

Mertler C. A.. 2001;Designing scoring rubrics for your classroom. Practical Assessment Research & Evaluation 7(25):1–10.
19.

Moskal, B. M. (2000). Scoring rubrics: What, when and how?. Retrieved July 3, 2014, from http://PAREonline.net/getvn. asp?v=7&n=3

. Moskal B. M.. 2000. Scoring rubrics: What, when and how? Retrieved July 3, 2014. from http://PAREonline.net/getvn. asp?v=7&n=3.
20.

Moskal, B. M., & Leydens, J. A. (2000). Scoring rubric development: Validity and reliability. Retrieved July 3, 2014, from http://pareonline.net/getvn.asp?v=7&n=10

. Moskal B. M., et al, Leydens J. A.. 2000. Scoring rubric development: Validity and reliability Retrieved July 3, 2014. from http://pareonline.net/getvn.asp?v=7&n=10.
21.

Polit, D. F., & Beck, C. T. (2006). The content validity index: Are you sure you know what's being reported? critique and recommendations. Research in Nursing and Health, 29(5), 489-497.

Polit D. F., et al, Beck C. T.. 2006;The content validity index: Are you sure you know what's being reported? critique and recommendations. Research in Nursing and Health 29(5):489–497. 10.1002/nur.20147.
22.

Reeves, T. C. (2000). Enhancing the worth of instructional technology research through “design experiments” and other development research strategies. International Perspectives on Instructional Technology Research for the 21st Century, 27, 1-15.

Reeves T. C.. 2000;Enhancing the worth of instructional technology research through “design experiments” and other development research strategies. International Perspectives on Instructional Technology Research for the 21st Century 27:1–15.
23.

Saaty, T. L. (1994). Highlights and critical points in the theory and application of the analytic hierarchy process. European Journal of Operational Research, 74(3), 426-447.

Saaty T. L.. 1994;Highlights and critical points in the theory and application of the analytic hierarchy process. European Journal of Operational Research 74(3):426–447. 10.1016/0377-2217(94)90222-4.
24.

Shin, H. J., Kim, S. P., & Kang, W. H. (2008). An analysis for the Course Embedded Assessment tool to validate program outcomes. Journal of Korean Society of Manufacturing Process Engineers, 7(4), 82-95.

Shin H. J., Kim S. P., et al, Kang W. H.. 2008;An analysis for the Course Embedded Assessment tool to validate program outcomes. Journal of Korean Society of Manufacturing Process Engineers 7(4):82–95.
25.

Soung, Y. M. (2012). Development of a rubric for assessing students' science writing. Unpublished doctoral dissertation, Korea National University of Education, Cheongju.

Soung Y. M.. 2012. Development of a rubric for assessing students' science writing et al. Korea National University of Education; Cheongju:
26.

Whitfield, D. (2003). From university wide outcomes to Course Embedded Assessment of CS1. Journal of Computing Sciences in Colleges, 18(5), 210-220.

Whitfield D.. 2003;From university wide outcomes to Course Embedded Assessment of CS1. Journal of Computing Sciences in Colleges 18(5):210–220.
27.

Yoon, S. Y. (2013, July). Classification of learning outcomes in the field of nursing. Paper presented at the workshop of Korean Accreditation Board of Nursing Education, Daejeon.

Yoon S. Y.. 2013. July. Classification of learning outcomes in the field of nursing Paper presented at the workshop of Korean Accreditation Board of Nursing Education. Daejeon:
28.

Yang, H. M., & Hwang, S. Y. (2014). Development of clinical scenarios and rubric for a program outcome-based evaluation for students' adult health nursing practice. Journal of Korean Academic Society of Adult Nursing, 26(6), 653-667.

Yang H. M., et al, Hwang S. Y.. 2014;Development of clinical scenarios and rubric for a program outcome-based evaluation for students' adult health nursing practice. Journal of Korean Academic Society of Adult Nursing 26(6):653–667. 10.7475/kjan.2014.26.6.653.
29.

Zimmaro, D. M. (2004). Developing grading rubrics. Retrieved October 12, 2014, from http://bsuenglish101.pbworks.com/ f/rubricshandout.pdf

. Zimmaro D. M.. 2004. Developing grading rubrics Retrieved October 12, 2014. from http://bsuenglish101.pbworks.com/ f/rubricshandout.pdf.

Article information Continued

<Figure 1>

Research process based on developmental research method.

<Table 1>

Weight of Program Outcomes

Program outcome PO1 PO2 PO3 PO4 PO5 PO6 PO7 PO8 PO9 PO10
Weight 0.277 0.214 0.111 0.087 0.124 0.061 0.053 0.030 0.026 0.018
% 28 21 11 9 12 6 5 3 3 2
Priority 1 2 4 5 3 6 7 8 9 10

PO=Program Outcome

<Table 2>

Course Embedded Assessment Matrix

PO (weight%) 1 Grade 2 Grade 3 Grade 4 Grade
2ndsemester (L1) 1stsemester (L1) 2ndsemester (L1, L2) 1stsemester (L2) 2ndsemester (L2, L3) 1stsemester (L2, L3) 2ndsemester (L3)
PO1 (28) BNⅠ BNⅡ, BNPⅡ NP AN(Ⅰ,Ⅱ), PCPⅡ ANⅢ, MNⅡ, PNⅠ CHNⅡ, PsNⅡ ANⅣ, ANPⅢ, ANPⅣ, MNPⅡ, IH, PNⅡ, PNPⅡ, CHNPⅡ, PsNPⅡ ANⅤ, PNⅢ, MNⅢ, NMⅡ, NMP, IPⅠ AN(Ⅵ,Ⅶ), MNⅣ, PNⅣ, CHNⅢ, PsNⅢ, IP(Ⅱ,Ⅲ), CoP
PO2 (21) BNPⅠ BNPⅡ PCPⅠ MNPⅠ, PNPⅠ, CHNPⅠ PsNPⅠ, ANP(Ⅰ,Ⅱ) ANP(Ⅲ,Ⅵ), MNPⅡ, PNPⅡ CHNPⅡ, PsNPⅡ NMP, IPⅠ IP(Ⅱ,Ⅲ), CoP
PO3 (11) HR CP ANPⅡ, PsNPⅠ ANPⅣ, PsNPⅡ IPⅠ IPⅢ
PO4 (9) HR CP ANPⅠ, CHNPⅠ ANPⅢ, CHNPⅡ IPⅠ IPⅡ
PO5 (12) NP ANPⅠ, ANPⅡ MNPⅠ, CHNⅡ ANP(Ⅲ, Ⅵ), MNPⅡ, PNPⅡ CHNPⅡ, PsNPⅡ IPⅠ CHNⅢ, IPⅡ IPⅢ, CoP
PO6 (6) NE NMⅡ, NMP NrP
PO7 (5) NE NMP NrP, HCR
PO8 (3) NMⅡ, NMP
PO9 (3) BS NR
PO10 (2) CHNⅡ HE CHNⅢ
linked PO PO 1-4 PO 1-7 PO 1,2 PO 1-5,10 PO 1-6,9 PO 1-10 PO 1-8,10

•PO=Program Outcome, L=Level. •The final achievement level: PO 1,2,3,5- L3, PO 4,6,7,8,9- L2, PO 10– L1.

•L1- Basic Level, L2- Advanced Level, L3- Intensive Level

•AN(Adult Nursing), ANP(Adult Nursing Practice), BN(Basic Nursing), BNP(Basic Nursing Practice), BS(Basic Statistics), CHN(Community Health Nursing), CHNP(Community Health Nursing Practice), CP(Communication Practice), CoP(Comprehensive Practice), HCR(Health Care Regulations), HE(Health Education), HR(Human Relations), IH(Industrial Health), IP(Integrated Practice), MN(Maternity Nursing), MNP(Maternity Nursing Practice), NE(Nursing Ethics), NM(Nursing Management), NMP(Nursing Management Practice), NP(Nursing Process), NrP(Nurses Profession), NR(Nursing Research), PCP(Prepare Clinical Practice), PN(Pediatric Nursing), PNP(Pediatric Nursing Practice), PsN(Psychiatric Nursing), PsNP(Psychiatric Nursing Practice).

<Table 3>

Course Embedded Assessment Rubric

Program outcome Performance criterion Performance levels
1. Apply a nursing intervention based on cultural knowledge and major knowledge to a client integrally. Provide a nursing intervention to the client based on an understanding of human beings and Nursing Science. High Identifies the needs of the client as a whole and performs an appropriate nursing intervention.
Mid Identifies the needs of the client partially and performs a partial nursing intervention.
Low Identifies the needs of the client slightly and performs an inadequate nursing intervention.
2. Provide fundamental nursing skills properly to a client. Provide fundamental nursing skills to a client exactly according to the nursing care situation. High Provides fundamental nursing skills to the client with zero errors in execution.
Mid Provides fundamental nursing skills to the client with minor errors in execution.
Low Provides fundamental nursing skills to the client with major errors in execution.
3. Apply therapeutic communication skills through verbal and non-verbal interaction. Use therapeutic communication skills through verbal and non-verbal interaction to build a relationship with the client. High Uses appropriate therapeutic communication skills with no errors.
Mid Uses appropriate therapeutic communication skills with a few errors.
Low Uses inappropriate therapeutic communication skills with many errors.
4. Explain the importance of the role and cooperation within the healthcare team in order to solve health problems. Explain the collaborative decision-making process and role as a nurse in the healthcare team. High Explains the collaborative decision-making process and role as a nurse in the healthcare team clearly.
Mid Explains the collaborative decision-making process and role as a nurse in the healthcare team omitting a few key details.
Low Explains the collaborative decision-making process and role as a nurse in the healthcare team with almost no detail.
5. Execute the nursing process based on critical thinking and clinical inference. Perform the nursing process based on scientific evidence. High Performs the nursing process and explains sufficient scientific evidence.
Mid Performs the nursing process and explains the scientific evidence missing out on some key details.
Low Both the performing of the nursing process and the explanation of the scientific evidence are poor.
6. Understand the nursing profession standards. Explain practical nursing standards and regulations relating to the roles and responsibilities of professional nurses. High Explains practical nursing standards and regulations relating to the roles and responsibilities of professional nurses clearly.
Mid Explains practical nursing standards and regulations relating to the roles and responsibilities of professional nurses omitting some key details.
Low Explains practical nursing standards and regulations relating to the roles and responsibilities of professional nurses with almost no details.
7. Understand the legal and ethical standards of nursing practice and implement them. Distinguish between the legal and ethical issues of nursing and explain the Nurses Code of Ethics and Guidelines. High Distinguishes between the legal and ethical issues of nursing and explains the Nurses Code of Ethics and Guidelines clearly.
Mid Distinguishes between the legal and ethical issues of nursing and explains the Nurses Code of Ethics and guidelines omitting some key details.
Low Cannot distinguish between the legal and ethical issues of nursing and explain the Nurses Code of Ethics and Guidelines
8. Compare and analyze the principles of nursing leadership and exert leadership in the team. Explain methods of participating in the nursing process, forming relationships with team members, and resolving conflicts for the quality and safe care of the client. High Explains methods of participating in the nursing process, forming relationships with team members and resolving conflicts for the quality and safe care of the client in detail.
Mid Explains methods of participating in the nursing process, forming relationships withteam members and resolving conflicts for the quality and safe care of the client omitting some key details.
Low Explains methods of participating in the nursing process, forming relationships with team members and resolving conflicts with almost no detail.
9. Plans for Nursing Research and executes Explain the relation between the theory, practice, and research, and show an understanding of the basic elements of the research process. make a research proposal. High Explains the relation between the theory, practice, and research with an understanding of the basic elements of the research process. The research proposal is logical.
Mid Explains the relation between the theory, practice, and research with an understanding of the basic elements of the research process. The research proposal is inadequate
Low Cannot explain the relation between the theory, practice, and research; has no understanding of the basic elements of the research process or about how to make a research proposal.
10. Recognize the change of the domestic and foreign healthcare policy. Give examples of healthcare and health promotion policies. High Gives more than five examples of healthcare and health promotion policies.
Mid Gives three or four examples of healthcare and health promotion policies.
Low Gives two or fewer examples of healthcare and health promotion policies.

Performance levels : •Theory courses - high: 80≤, mid: 65~79. low: 64≥ •Practice courses - high: 90≤, mid: 75~89. low: 74≥