J Korean Acad Soc Nurs Educ Search

CLOSE


J Korean Acad Soc Nurs Educ > Volume 21(2); 2015 > Article
간호학 프로그램 학습성과 간접측정 도구개발

Abstract

Purpose

This study aimed to develop a self-assessment tool to evaluate program outcomes of nursing students in Korean nursing undergraduate education.

Methods

The instrument development process consisted of literature review, focus group interviews, and item validation. A total of 117 items were analyzed through content validity testing. Data was gathered from 302 nursing students in Korea and analyzed using SPSS 21.0.

Results

To construct validity, principal component analysis and Varimax rotation were used, and 12 factors, with a cumulative explanatory variance of 69.16%, were determined from 79 items. For internal consistency and reliability, Cronbach’s α was .91. The half-split reliability results were .84 and .85, and the ROC curve showed an optimal cutpoint at 227. A five-point Likert scale was used for scoring.

Conclusion

This instrument was found to have fair validity and reliability as a self-assessment tool for nursing student learning outcomes. Therefore, it can be used to evaluate program outcomes indirectly in nursing schools.

서 론

연구의 필요성

간호사의 역량은 의료의 질에 근본적인 영향을 미치며, 간호사의 핵심역량 부족은 환자안전에 위협을 주게 된다(Hsu & Hsieh, 2013). 그러므로 간호교육기관은 임상현장에서 간호사에게 요구되는 간호역량의 질을 담보해야하는 사회적 책무를 지닌다(Ko et al., 2013). 현재 우리나라는 한국간호교육평가원에서 4년제 간호학과 학사학위 교육기관에서 졸업시점까지 반드시 교육해야 할 역량인 프로그램 학습 성과의 표준안을 12가지로 제시하고 있다(Korean Accreditation Board of Nursing Education [KABONE], 2003). 표준에 따라 간호교육기관에서는 기관의 철학과 목표에 적합한 프로그램 학습성과를 설정하고, 교육과정의 개발, 운영과 평가에 노력을 가하고 있다.
역량(competency)은 업무수행을 위한 지식, 기술, 태도의 통합된 능력의 집합체로 인지적, 기능적, 개인적, 윤리적 역량으로 분류할 수 있다(Hsu & Hsieh, 2013). 간호역량은 간호역할에 대한 요구를 효과적으로 감당할 수 있는 능력이다(Campbell & Mackay, 2001). 특히 간호역량은 능력이 실제에서 발휘될 때 의미를 가지게 되므로 수행에 초점을 두고 있으며, 법과 윤리의 도덕적 의무사항을 가지게 되므로 사회 맥락적이다(Liu, Yin, Ma, Lo, & Zeng, 2009). 그러므로 간호역량은 윤리, 인격, 심미적인 요소가 내재되어 행위로 표현되는 것을 평가해야 한다(Kang, Lee, Kim, & Ahn, 2008).
한국간호교육평가원에서 제시한 간호사 핵심역량 7가지 중에는 통합적용 능력, 의사소통능력, 비판적 사고능력, 연구수행 능력과 같은 인지적 영역과 협력 능력, 리더십 능력, 정책변화 대응능력과 같은 비인지적 영역이 포함된 역량이 고루 존재한다(KABONE, 2003). 역량의 평가는 다양한 도구를 활용할 수 있는데 크게 직접평가와 간접평가로 나누어볼 수 있다. 학생의 능력을 직접 관찰, 측정하는 직접평가는 주로 인지적 영역의 학습성과를 측정하는데 유용하며, 학생의 의견을 반영하는 간접평가는 비인지적 영역인 정의적, 사회적 역량을 측정하는데 유용하다(Seo, Chi, Hwang, & Ju, 2013).
학습성과는 학생이 교육을 마친 후 구체적으로 보여주는 역량을 의미하며(Kim, 2012), 학습성과는 프로그램 학습성과와 개별 교과목 학습성과로 나눌 수 있다(Kim, 2007). 학습성과를 측정하는 직접평가도구는 학업성취도가 가장 객관적이고 일반적으로 사용되고 있으며, 보고서, 에세이, 구술시험, 술기시험, 포트폴리오 등을 다양하게 사용하고 있다. 간접평가도구는 교육과정의 만족도를 평가하는 설문지가 가장 일반적으로 사용되고 있다(Seo et al., 2013). 1960년대 이후 교수중심의 접근에서 학생중심의 접근으로 교육과정의 변화가 일어남으로 인해 교육의 방향도 기술, 훈련, 정보에서 창의, 경험, 발견, 가치의 측면을 강조하게 되었다(Bradshaw, 1998). 그러므로 자기향상 측면을 교육과정에 반영하는 자기평가(self-assessment)가 학생의 경험을 청취할 수 있는 중요한 평가방법이다. 최근 학습성과 달성도를 자기평가하는 간접평가가 중요해 짐에 따라 국내외에서 진단체계를 구축하기 위한 시도가 이어져 왔다.
대학교육성과의 측정에 대한 관심이 국제적으로 증가함에 따라 Organization for Economic Cooperation and Development (OECD)에서는 고등교육 학습성과 평가사업인 Assessment of Higher Education Learning Outcome (AHELO) 프로젝트를 통해 대학생이 졸업 시에 갖추어야 하는 일반 핵심능력과 전공능력의 측정도구를 개발하였다(OECD, 2005). 캐나다, 미국, 호주에 이어 한국에서도 일반 대학생의 핵심역량 측정을 위한 프로젝트가 진행되어 Korea College Essential Skill Assessment (K-CESA)가 개발되었다(Jin, Sohn, & Chu, 2011). K-CESA는 36개 대학 2만 8천여 명을 대상으로 한 대규모 연구로 진단도구의 개발, 관리, 운영, 검토하는 체제가 이루어져 있다.
하지만 간호교육 분야에서는 프로그램 학습성과를 측정하는 자기평가도구의 개발이 미흡한 실정이다. 졸업 시에 보장해야 하는 프로그램 학습성과를 측정하기 위한 직접평가 도구는 주로 시험, 보고서, 논문, 수행평가 등의 방법을 사용하고 있다(Kim, 2007; Kim, Yoon, Kim, & Chung, 2007). 종합적 평가를 위해 학생자기평가가 필요하나(Kim, 2007), 표준화된 간접평가도구는 매우 드물다(Kim & Kim, 2014). 그러므로 간호교육기관에서 간접평가 도구를 자체 개발하거나, 각각의 프로그램 학습성과 별로 타 분야의 도구를 차용하여 사용하고 있는 실정이다. 그러므로 본 연구에서는 한국간호교육평가원에서 제시한 프로그램 학습성과를 측정할 수 있는 자기평가도구를 개발하고자 한다. 타당도와 신뢰도가 높은 평가도구를 개발하여 여러 간호교육기관에서 활용할 수 있도록 함이 본 연구를 시행하게 된 목적이다.

연구 목적

본 연구의 목적은 간호대학생의 프로그램 학습성과를 측정하는 자기평가도구(exit profile)를 개발하는 것이다. 이에 따른 구체적인 목적은 다음과 같다.

•간호대학생의 학습성과 측정도구를 구성한다

•구성된 도구의 신뢰도와 타당도를 검정한다.

연구 방법

연구 설계

본 연구의 설계는 간호대학생의 프로그램 학습성과를 측정하는 자기평가도구를 개발하는 방법론적 연구이다. 연구의 절차는 DeVellis (2012)가 제시한 도구개발 방법론에 근거하여 설계되었다.
DeVellis (2012)의 방법론은 사회과학 분야의 측정도구 개발을 위한 것으로, 주로 간호학, 심리학, 역학, 마케팅 분야의 현상을 측정해 왔다. 도구개발의 절차는 크게 8단계로 나눌 수 있다. 1단계는 도구의 구성요소를 확인하기 위해 측정 개념을 구체화 하는 단계이다. 2단계는 문항을 작성하는 단계로, 목적에 부합하는 잠재 문항을 제작한다. 3단계는 도구의 척도를 결정하고 응답형태를 결정하는 단계이다. 4단계는 전문가 검정단계로 타당성과 내적 일관성을 확보하는 단계이다. 5단계는 문항검토 단계로, 응답에 오류가 있을 수 있는 문항을 확인한다. 6단계는 도구를 시범적으로 적용하는 단계이다. 7단계는 수집된 자료를 통계적으로 분석하여 도구를 평가한다. 8단계는 신뢰도와 타당도를 위협하는 문항을 제거하여 도구를 최적화한다. 본 연구에서는 8단계를 모두 거쳐 도구를 개발하였다.

연구 도구

●문헌고찰

국내외 간호학 학습성과 측정 관련 학술지 논문, 학위 논문, 심포지엄 발표 자료를 참고하여 간호사 학습 성과 문항을 추출하였다. 우선 국외 학술지 검색을 위해 PubMed와 CINAHL에서 ‘nurse’s competency’, ‘nurse’s core competency’, ‘nursing exit outcome’를 검색어로 하여 2014년까지 출판된 학술지 논문, 학위 논문, 심포지엄 발표문, 보고서를 분석하였다. 국내 학술지 검색을 위해 RISS에서 ‘간호사 핵심역량’, ‘간호학 학습성과’를 검색어로 하여 2014년까지 출판된 학술지 논문, 학위 논문, 심포지엄 발표문, 보고서를 분석하였다. 검색결과로는 ‘nurse’s competency’로 검색하였을 때 PubMed와 CINAHL에서 각각 693편과 6편, ‘nurse’s core competency’로 검색하였을 때 각각 39편과 2편, ‘nursing exit outcome’ 2편과 519편이 검색되었다. RISS에서는 ‘간호사 핵심역량’를 검색어로 하였을 때, 학위논문 33편, 학술지 논문 18편이 검색되었고, ‘간호학 학습성과’를 검색어로 하였을 때, 학위논문 19편, 학술지 논문 32편이 검색되었다.
총 1,363건의 검색 자료 중 제목을 통하여 간호사 역량 측정과 관련 없거나 1900년대 발표된 자료를 1,098건을 제외하여 265편이 남았다. 1900년대 자료를 처음부터 제거하지 않고 검색한 이유는 논문의 질을 검토하여 포함할 여지를 남기기 위해서였다. 제목을 통하여 특정 간호 분야가 아닌 간호사의 일반적인 핵심 역량을 측정하기 위한 도구 개발 논문만을 다시 추출하였고, 이 중 전자자료 접근이 가능한 논문만을 추출하였다. 그 결과 국외에서 학술지 논문 3편과 국내에서 박사학위 논문 1편이 발견되었다. 수기 검색된 논문 중 참고문헌 목록으로부터 이차적으로 1편을 더 포함하였다. 결과적으로 간호사 핵심역량에 관련된 기존 도구를 국외에서 4개, 국내에서 1개 고찰하여 역량의 요인과 측정 문항을 살펴보았다.

●포커스 그룹 인터뷰

문헌고찰 만으로는 지역적 특성과 학생의 경험에서 나오는 판단을 반영하는데 제한점이 있기 때문에, 이를 심도 있게 확인하기 위하여 포커스 그룹 인터뷰를 시행하였다(Holloway & Wheeler, 2009). 참여자는 1-4학년 간호대 학생으로 구성하였다. 참여자는 학년별로 4-7명이었으며 자원자 중에서 선정하였다. 인터뷰는 교육과정을 마친 후에 어떠한 성과를 기대하는지에 초점을 두고 진행되었다. 인터뷰는 2013년 12월 21일부터 2014년 3월 25일 까지 학년별로 1-2회씩 연구실에서 진행되었다.
인터뷰 내용은 시작, 도입, 전환, 주요, 마무리의 질문을 인쇄하여 진행하였다(Holloway & Wheeler, 2009). 주요 질문으로 “간호학과를 졸업 할 때 어떤 능력을 가질 것으로 예상합니까?”와 “어떤 간호사의 능력이 가장 중요하다고 여겨집니까?”를 사용하였다. 인터뷰 내용은 필사를 거쳐 반복적으로 읽으며 분석하였다.
문헌고찰과 포커스 그룹 인터뷰 자료에 근거하여 예비문항을 구성하였다. DeVellis (2012)는 예비문항을 많이 확보하는 것이 도구의 타당도를 높일 수 있다고 하였으므로 간호학 학습성과에 관련된 문항을 충분하게 확보하였다. 목록화한 예비문항의 수는 총 117개였다.

●내용타당도 검정

117개의 예비문항을 델파이 패널인 간호학 교수 3인에게 보여주고, 연구의 목적과 진행 과정을 설명 한 뒤 문항에 관한 토의를 하였다. 델파이 조사 시기는 2014년 4월 10일에 연구실에서 이루어졌다. 문항을 7점 척도의 설문지로 제작하여 설문 동의서를 받고 표기하도록 하였다. 척도는 “전혀 적합하지 않다.” 1점, “적합하지 않다.” 2점, “조금 적합하지 않다.” 3점, “보통이다.” 4점, “조금 적합하다.” 5점, “적합하다.” 6점, “매우 적합하다.” 7점으로 구성하였다(Lee, 2001). 설문지 작성 후, 적합하지 않다는 내용이 들어간 척도인 1-3점에 표기한 문항에 대하여 자문을 받았다. 자문 내용은 연구역량 중 통계활용 능력의 범위, 핵심술기 적용 시 상황을 고려한 선택, 리더십 발휘의 범위, 글로벌 역량의 범위에 관한 내용이었다. 델파이 조사를 통하여 문구가 수정된 문항은 총 17개였다.
수정된 문항을 재정리하여 설문지를 작성하고, 전문적 의견을 구하기 위하여 내용타당도 지수(Content Validity Index, CVI)를 산출하여 검정하였다. 내용타당도를 검정한 전문가의 수는 총 9명이었다. 임상경력 1년에서 35년 사이, 교육경력 1-20년의 간호학 교수 9명에게 연구의 목적과 필요성을 설명하고 문항에 관한 토의를 하였다. 내용 타당도 토의는 2014년 4월 17일에 일 대학의 회의실에서 이루어졌다.
내용타당도의 척도는 ‘전혀 타당하지 않음’ 1점, ‘타당하지 않음’ 2점, ‘타당함’ 3점, ‘매우 타당함’ 4점으로 하였다(DeVellis, 2012). 설문지 수거 후 내용타당도가 평균 0.8미만인 문항을 제거하였다. 삭제된 문항은 간호업무 위임능력, 타인의 장단점을 인지하는 능력, 조직의 긍정적 변화를 이끌어 내는 능력, 임상 자료수집 능력, 국제건강기구의 활동에 대한 관심, 세계적 질병 원인 설명 등 10개였고, 남은 문항은 총 107개였다.
문항의 이해도 조사를 위해 일 대학 간호학과생 5명에게 이해도 조사를 실시하였다. 이해도 조사 기간은 2012년 4월 22일에 이루어졌다. 이해도 조사 설문지를 제작하여 조사 목적을 설명한 뒤 동의서에 날짜와 서명을 받은 후 실시하였다. 이해도는 ‘매우 어렵다.’, ‘대체로 어렵다.’, ‘대체로 쉽다.’, ‘매우 쉽다.’의 4점 척도로 평정하였고, 설문지를 모두 작성한 학생에게 어려웠던 문항이 있었는지 질문하여 의견을 받았다. 이해도 조사 결과 모든 문항이 3점 이상으로 이해도가 높아 107문항을 모두 채택하였다.
본 조사에 앞서 구성한 설문지에 대한 연구 가용성을 확인하기 위하여 예비 조사를 실시하였다. 조사일시는 2012년 4월 24일 이었으며, 설문지는 연구동의서, 수정한 문항, 일반적 사항에 관한 문항으로 구성되었다. 통계적용 결과 코딩과 분석의 용이성이 확인되어 최종 설문문항을 107개로 확정하였다.

자료 수집 방법 및 윤리적 고려

본 연구의 대상자는 경기도와 충청도 소재의 두 개 대학 간호학과 학생 310명이었다. 표집 대상자 수의 근거는 도구개발을 위하여 필요하다고 추천되는 300명 이상으로 설정하였다(DeVellis, 2012).
자료 수집은 해당 학과장의 허락을 받아 2014년 4월 28일부터 5월 1일 사이에 강의실에서 연구자에 의해 이루어졌다. 연구자는 소개 후 설문지 조사 대상자에게 동의서에 포함된 연구의 목적, 필요성, 설문 소요시간, 거부와 철회가능성을 설명한 뒤 서명을 받았다. 배포된 설문지 310부 중 308부가 회수 되었으므로 회수율은 99.4%였고, 308부 중 설문지 응답이 미비한 6부를 제외한 302부를 연구에 포함시켰다. 설문지 조사 시간은 5-7분이 소요되었고, 설문지 작성 후 소정의 사례를 제공하였다.

자료 분석 방법

자료는 SPSS 21.0 프로그램을 이용하여 분석하였다. 구체적인 분석 방법은 다음과 같다.

•대상자의 일반적 특성은 실수, 평균, 표준편차, 백분율을 분석하였다.

•구성타당도 검정은 관련 변수의 집락을 파악하기 위해 탐색적 요인분석을 실시하였다. 문항분석(item-total correlation)은 각 문항과 전체 문항의 Pearson correlation으로 분석하였다.

•신뢰도 검정은 내적일관성 신뢰도 cronbach's ɑ와 무작위 추출된 자료의 반분신뢰도를 검정하였다. 자료를 무작위 반분하여 내적일관성 신뢰도를 검정하였다.

•도구의 절단점은 Receiver Operating Characteristic curve (ROC curve)와 민감도, 특이도로 검정하였다.

연구 결과

대상자의 일반적 특성

대상자의 연령은 20대가 96.4%, 성별은 여성이 85.4%이며, 미혼이 96.0%로 대부분이었다. 대상자의 경제적 상태는 중간이라고 응답한 대상자가 65.9%였고, 이전 학력은 일반 고등학교 졸업자가 63.9%로 대부분이었다. 대상자의 학년은 1학년 32.8%, 2학년 39.1%, 3학년 18.2%, 4학년 9.9%로 나타났다(Table 1).
<Table 1>

General Characteristics of the Subjects (N=302)

Variables Categories n(%) Mean±SD
Age
(Yr)
20-29 291(96.4)
30-39 7(2.3) 22.3±3.3
40≥ 4(1.3)
Sex Female 258(85.4)
Male 44(14.6)
Marrital status Yes 290(96.0)
No 12(4.0)
Last education
experience
General high school 193(63.9)
Specialized high school 52(17.2)
College 46(15.3)
Above college 11(3.7)
Economic
status
Low 99(32.8)
Middle 199(65.9)
High 4(1.3)
Grade Freshman 99(32.8)
Sophomore 118(39.1)
Junior 55(18.2)
Senior 30(9.9)

타당도 검정

예비문항 107개와 문항-총점 상관계수를 측정하여 문항분석을 실시한 결과 상관계수 r은 .05-.90의 분포를 보였다. 이 중 통계적으로 유의하지 않거나 상관계수가 .30이하로 낮은 문항은 척도 내 기여도가 낮기 때문에 삭제하였다. 삭제된 문항은 핵심술, 이해력, 효과적 대화, 의료팀 협력 관련 등의 28문항으로 남은 문항은 총 79문항이었다.
스크리 도표에서 12개 요인이 적합한 것으로 판단되어, 12개의 요인으로 지정하여 탐색적 요인분석을 실시한 결과 Kaiser-Meyer-Olkin (KMO)는 .813으로 나와 표준형성의 적절성이 확인되었다. Bartlett의 구형성 검정을 실시한 결과는 값이 1529.721 (df=707, p<.001)로 요인분석에 적합한 것으로 나왔다. 직각회전인 Varimax 회전에 의한 주성분분석법을 사용하여 분석한 결과 각 요인의 고유값은 모두 1.0이상으로 적절하였고, 각 문항의 공통성도 .40이상으로 양호하였으며, 누적 총 분산은 69.16%로 나타났다(Table 2).
총 문항 수는 79문항이었다. 각 요인과 최종도구의 총점과의 상관관계를 분석한 결과 모두 유의한 양의 상관을 보이고 있었다. 도구의 총점과 요인들은 .59-.78의 상관관계를 보였으며, 요인 간에는 .19-.68의 상관관계를 보여, 총점 간 관련성과 요인 간 독립성이 입증되었다. 1요인은 8문항으로 고유값이 7.322이었고, 설명 분산은 8.92%였다. 이는 리더십 원리를 이해하고 비교, 분석하는 능력을 측정하고 있어 ‘리더십 분석(Leadership Analysis: LA)’이라 명명하였다. 2요인은 8문항으로 고유값이 7.156이었고, 설명 분산은 8.72%였다. 이는 간호실무의 법적, 윤리적 기준을 이해하고 간호 실무에 통합하는 능력을 측정하고 있어 ‘법/윤리 이해(Leagal/ethical Understanding: LU)’라 명명하였다. 3요인은 8문항 고유값이 5.901이었고, 설명 분산은 7.19%였다. 이는 국내외 보건의료정책변화를 인지하는 능력을 측정하고 있어 ‘국제적 인지(Global Perception: GP)’라 명명하였다. 4요인은 7문항으로 고유값이 5.589이었고, 설명분산은 6.81%였다. 이는 교양지식과 전공지식에 근거한 간호술을 통합적으로 실무에 적용하는 능력을 측정하고 있어 ‘실무 통합(Care Integration: CI)’이라 명명하였다. 5요인은 7문항으로 고유값이 4.455이었고, 설명 분산은 5.43%였다. 이는 간호 팀 내 리더십을 발휘하는 능력을 측정하고 있어 ‘리더십 발휘(Exercise Leadership: EL)’라 명명하였다. 6요인은 7문항으로 고유값이 4.318이었고, 설명 분산은 5.26%였다. 이는 간호연구를 기획하고 직접 수행하는 능력을 측정하고 있어 ‘연구 수행(Research Practice: RP)’이라 명명하였다. 7요인은 8문항으로 고유값이 3.384이었고, 설명분산은 4.67%였다. 이는 언어적, 비언어적 상호작용을 통한 치료적 의사소통술 적용 능력을 측정하고 있어 ‘의사소통 기술(Communication Skill: CS)’이라 명명하였다. 8요인은 4문항으로 고유값이 4.204이었고, 설명 분산은 5.12%였다. 이는 간호전문직 표준을 이해하고 확인하는 능력을 측정하고 있어 ‘전문직 표준(Professional Standard: PS)’이라 명명하였다. 9요인은 8문항으로 고유값이 3.784이었고, 설명 분산은 4.61%였다. 이는 간호보건의료 팀 내 업무조정 역할의 중요성을 인식하는 능력을 측정하고 있어 ‘조정 역할(Coordination Role: CR)’이라 명명하였다. 10요인은 5문항으로 고유값이 3.627이었고, 설명 분산은 4.42%였다. 이는 비판적 사고에 근거한 간호과정을 적용하고 임상적 추론을 실행하는 능력을 측정하고 있어 ‘비판적 사고(Critical Thinking: CT)’라 명명하였다. 11요인은 4문항으로 고유값이 3.353이었고, 설명 분산은 4.08%였다. 이는 건강문제 해결을 위한 전문분야 간 협력관계를 이해하고 설명하는 능력을 측정하고 있어 ‘협력 설명(Cooperation Explain: CE)’이라 명명하였다. 12요인은 5문항으로 고유값이 3.170이었고, 설명 분산은 3.86%였다. 이는 대상자의 간호 상황에 따른 핵심 기본간호술을 선택하여 실행하는 능력을 측정하고 있어 ‘핵심 수행(Core Practice: CP)’이라 명명하였다(Table 3).
<Table 2>

Factor Analysis of Nursing Program Outcome (N=302)

Item number Factor
loading 1
Factor
loading 2
Factor
loading 3
Factor
loading 4
Factor
loading 5
Factor
loading 6
Factor
loading 7
Factor
loading 8
Factor
loading 9
Factor
loading 10
Factor
loading 11
Factor
loading 12
9.3 .762
9.2 .753
9.6 .726
9.1 .710
9.7 .710
9.4 .699
9.5 .664
9.8 .658
8.4 .884
8.3 .855
8.5 .813
8.6 .806
8.2 .799
8.7 .756
8.1 .662
8.8 .630
12.4 .742
12.7 .729
12.5 .729
12.3 .714
12.1 .608
12.2 .590
12.8 .587
12.9 .531
1.2 .717
1.4 .710
1.6 .690
1.7 .675
1.1 .614
1.5 .590
1.8 .559
1.1 .722
1.3 .685
1.6 .677
1.2 .622
1.7 .620
1.8 .604
1.9 .576
11.1 .735
11.2 .665
11.3 .656
11.9 .631
11.4 .629
11.5 .562
11.8 .479
3.7 .698
3.6 .652
3.1 .584
3.5 .553
3.3 .540
3.2 .536
3.4 .498
3.8 .474
7.1 .746
7.2 .728
7.3 .580
7.4 .481
5.1 .779
5.2 .711
5.6 .631
5.5 .590
5.7 .528
5.4 .611
5.8 .484
5.3 .465
6.7 .708
6.6 .670
6.8 .631
6.5 .575
6.2 .564
4.8 .703
4.9 .683
4.7 .641
4.6 .599
2.3 .776
2.2 .661
2.4 .650
2.1 .621
2.5 .507
Eigenvalue 7.322 7.156 5.901 5.589 4.455 4.318 4.204 3.834 3.784 3.627 3.353 3.170
Correlation r
with total score)
.72
(p<.001)
.63
(p<.001)
.63
(p<.001)
.59
(p<.001)
.81
(p<.001)
.69
(p<.001)
.64
(p<.001)
.69
(p<.001)
.78
(p<.001)
.69
(p<.001)
.76
(p<.001)
.68
(p<.001)
% of variance 8.92 8.72 7.19 6.81 5.43 5.26 5.12 4.67 4.61 4.42 4.08 3.86
% of cumulated
variance
69.16
<Table 3>

Exit Profile of Nursing Program Outcome

Factors Number of
items
Items
1. Leadership analysis
(LA)
8 I can compare the type of leadership.
I can analyze the leadership style of the leaders in the organization I belong to.
I can choose the leadership style for individual nursing situation.
I can analyze the leadership as self- reflexive.
I can explain the leadership role of nursing managers.
I can define the nursing leadership.
I can explain the reasons for leadership in nursing.
I can find a example of the application of the nursing leadership.
2. Leagal/ethical
understanding (LU)
8 I know that there is a nurse Code of Ethics.
I keep the secrets of nursing clients.
I respect the autonomy of the nursing clients.
I respect the nursing subjects.
I act as an advocate for nursing clients.
I maintains a trust relationship with my clients.
I consider the diversity of nursing clients and treat them without prejudice.
I act on the part of nursing clients.
3. Global perception
(GP)
8 I am interested in the domestic health policy.
I am interested in international health policy.
I know that the current health care policy debate.
I have watched a health care policy debate.
I can explain the impact of health care policy on nursing.
I studied the language in interest in international nursing.
I know the impact of laws and regulations on the status of the nurse.
I know the role of the nursing professional organizations.
4. Care integration
(CI)
7 When I met the clinical problem, I can find relevant information.
I can understand the situation in the clinical problem.
I know what to do I'm in the clinical situation.
I find many ways to solve a clinical problem.
I find ways to address the priorities of the clinical problem.
I have the ability to solve complex clinical problems.
I try to solve clinical problems in my knowledge.
5. Exercise leadership
(EL)
7 I can debate effectively.
I lead the transformation of the organization I belong to.
I leads to the involvement of others to achieve the purpose.
I suggest creative alternatives.
I predict the future and goes to plan.
I adjust the work through communication with other departments.
I care for others and leads to an advantage.
6. Research practice
(RP)
7 I am curious to issues related to nursing phenomena.
I want to explore the issues related to nursing.
I can find a scientific basis for issues related to nursing.
I examine closely the findings related to nursing in the media.
I can investigate the phenomena related to nursing.
I can present the results of my investigation.
I can use a statistical method.
7. Communication skill
(CS)
8 I understand exactly what the other person wants to express.
I respect a person's values and beliefs.
I actively listen to the other's expression.
I do not impose my values to the other party.
I have sufficient knowledge necessary to communicate effectively.
My representation is clear easy to understand the other person.
I understand exactly what the person's non-verbal expression.
I am able to communicate effectively with multicultural client.
8. Professional standard
(PS)
4 I know that the official standard of Korean Nurses Association.
I know that the international nursing standards.
I can separate the duties of the job of a nurse and other health professionals.
I can explain the responsibilities and duties of a nurse.
9. Coordination role
(CR)
8 I am responsible for the assignments.
I act according to work characteristics.
I respond promptly if you experience a problem with your team.
I help the work of other team members.
I accept the opinions of others for a common goal.
I know my role in the organization as a nurse.
I know that is a member of the nursing role, grade -specific organizations.
I know the impact of the coordination of the care team within the organization.
10. Critical thinking
(CT)
5 I think logically when I solve a problem.
I can draw a nursing diagnosis in the clinical problem.
I adopt plans based on the priorities.
I solve systematically complex problems.
I reflect evaluation of my action on improvement.
11. Cooperation explain
(CE)
4 I can explain when health professionals need to cooperate.
I think the goal of the health care team in cooperation as a patient’s health.
I think that my efforts to promote cooperation with health care team.
I commissioned a consultant to other departments as needed.
12. Core practice
(CP)
5 I know what is the right skill for the nursing care situation.
I perform competently the core nursing skill.
I perform exactly the core nursing skill.
I perform quickly the core nursing skill.
I know the priorities of nursing skills in complex situations.
Total number of item 79
<Table 4>

Reliability of Exit Outcome (N=302)

Reliability Factor
1
Factor
2
Factor
3
Factor
4
Factor
5
Factor
6
Factor
7
Factor
8
Factor
9
Factor
10
Factor
11
Factor
12
Cronbach’s α .93 .93 .87 .85 .86 .86 .86 .85 .88 .81 .87 .89
Half split cronbach’s α .85 & .84
Cronbach’s α of total item .91

신뢰도 검정

최종도구의 내적 일관성을 보기 위하여 각 요인과 총점의 cronbach's를 살펴본 결과 .91로 분석되었다. 해당 항목을 제거하였을 때 전체 도구의 cronbach's가 .1이상 상승하는 항목이 없었다. 최종도구의 반분신뢰도를 보기 위하여 반분된 문항의 cronbach's 계수를 확인한 결과 .84와 .85로 나타났다(Table 4).

도구의 절단점

최종 선정된 도구의 ROC curve를 확인하고 최적화된 절단점을 찾았다. 검정변수는 최종도구의 총점으로 하였으며, 4학년과 1-3학년을 상태변수로 하였다. ROC curve의 하부영역은 52.5%를 설명하고 있었고, 절단점은 227점이었다. 그러므로 총점 395점 중 227점 이상일 때 간호학 학습성과가 달성된 것으로 해석할 수 있다. 각 요인별 점수의 절단점은 1요인이 40점 중 23.5점, 2요인이 40점 중 17.5점, 3요인이 40점 중 24.5점, 4요인이 35점 중 17.5점, 5요인이 35점 중 21.5점, 6요인이 35점 중 22.5점, 7요인이 40점 중 12.5점, 8요인이 20점 중 10.5점, 9요인이 40점 중 23.5점, 10요인이 25점 중 14.5점, 11요인이 20점 중 11.5점, 12요인이 25점 중 11.5점으로 나타났다.

논 의

본 연구의 의의는 간호학 프로그램 학습성과를 측정하기 위한 타당도와 신뢰도가 높은 간접평가 도구를 개발하였다는 데 있다. 개발된 도구는 각 간호교육기관에서 활용 할 수 있도록 한국간호교육평가원이 제시한 12가지 프로그램 학습성과와 요인의 범주가 일치되어 있다. 요인의 순서는 한국간호교육평가원이 제시한 것과 달리 개발된 요인의 설명 분산에 따라 내림차순으로 정렬되었으며, 요인의 의미를 고찰하면 다음과 같다.
1요인 리더십 분석(LA)의 문항은 리더십의 유형 비교, 선택, 분석 등에 관한 내용이다. 관리자가 간호사의 능력으로 필요하다고 여기는 간호역량 중 지도력이 있었으며(Kim, 2003), Liu 등(2009)의 간호역량 측정 연구에서도 리더십이 중요한 요인이었다. 하지만 성취도가 낮은 영역 또한 간호리더십의 원리 비교 분석으로 나타난 것으로 보아(Bae & Park, 2013), 중요성에 비해 성취도가 낮은 영역임을 알 수 있다.
2요인 법/윤리 이해(LU)의 문항은 대상자 존중, 옹호자, 비밀 유지, 자율성 존중에 관한 내용이다. 임상간호사의 간호역량 측정 연구에서 법과 윤리준수는 중요한 요인이었다(Liu, et al., 2009; Paik, Han, & Lee, 2005). 이는 ICN의 표준에서도 중요한 비중을 차지하며(Kim, 2003), 일반병동 간호사의 역량을 측정한 Kang 등(2008)의 연구에서도 도덕적 의무가 가장 중요한 간호역량이었다. 간호사는 환자의 안전을 보장해야 하므로 다른 전문직에 비해 매우 높은 수준의 윤리성이 필요함을 알 수 있다(Bradshaw, 1998).
3요인 국제적 인지(GP)의 문항은 국내외 의료정책 인지, 정책토론 경험, 어학능력 함양, 간호전문직 단체의 인지에 관한 내용이다. 대학교육의 산출물로서 시민의식, 봉사의식, 다문화 이해, 외국어 능력이 필요하다고 한 일반 대학생 학습성과 측정도구와도 일치하는 내용이다(Seo et al., 2013). 간호역량 측정 연구에서 보건의료정책 변화인지 능력이 낮은 성취도를 보인 것으로 보아(Bae & Park, 2013), 간호교육에서 강화되어야 하는 영역으로 보인다.
4요인 실무통합(CI)의 문항은 임상문제 관련정보, 상황 파악, 해결방법, 우선순위에 관한 내용이다. Liu 등(2009)의 연구에서 임상간호 수행이 가장 중요한 요인으로 추출되었으며, ICN에서도 간호제공이 큰 비중을 차지하고 있어(Kim, 2003) 핵심영역임을 알 수 있다. 전문간호사의 경우에도 직접간호의 자료수집, 진단. 중재가 가장 우선적인 핵심역량이었다(Kim, You, Kwon, Moon, & Sung, 2005). 간호는 어느 직업보다도 윤리적 요소와 능숙한 기술이 강조되는 전문직이므로(Kim, Oh, & Lee, 1999), 실무통합의 학습성과가 간호교육에서 충분히 도출되어야 할 것이다.
5요인 리더십 발휘(EL)의 문항은 변혁주도, 참여유도, 대안제시, 미래예측 등에 관한 내용이다. Kim (2003)은 전문직의 책임으로 미래의 대안을 제시하고, 지지적인 환경을 조성하는 능력으로 지도력을 정의하고 있으며, 간호사의 핵심적 능력이라고 하였다. Liu 등(2009)도 갈등을 긍정적 방향으로 해결하며, 개방적 사고의 전환, 타인의 강점과 약점을 파악하는 것이 리더십의 내용이라 하여, 본 연구에서 도출된 문항과 맥락을 같이하고 있다. 지역사회에 근무하는 보건간호사의 경우 리더십 발휘가 국제적으로 공통된 중요한 역량이었다(Kim, 2011). 그러므로 간호교육기관에서는 지역사회간호와 건강증진에 관련된 교육과정 안에서 리더십 발휘 역량을 함양하는 목표를 설정해야 할 것이다.
6요인 연구수행(RP)의 문항은 탐구의지, 과학적 근거 탐색, 통계분석능력 등에 관한 내용이다. Bae와 Park (2013)은 간호학생의 연구역량이 가장 낮았으나, 근거중심 간호와 건강문제 파악을 위해 연구역량이 강화되어야 한다고 설명하였다.
7요인 의사소통 기술(CS)의 문항은 경청, 명료한 표현, 언어적, 비언어적 표현, 다문화 대상자와의 의사소통 등에 관한 내용이다. 의사소통 능력은 고등교육기관의 핵심역량에서 중요한 인지적 요소로 호주, 한국, 미국에서 공통적으로 추출되어 있다(Jin et al., 2011). 암환자 간호역량을 연구한 Kim과 Park (2012)은 의사소통기술이 수행하기 힘든 간호영역중의 하나라고 하였다. 정서적 고통을 동반한 환자간호에 있어 치료적 의사소통술이 중요한 위치를 차지하고 있음을 알 수 있다(Bae & Park, 2013; Kim, 2003).
8요인 전문직 표준(PS)의 문항은 직무표준 인지, 직무구분, 책임과 의무에 관한 내용이다. 실무와 관련된 표준 및 강령을 아는 것이 전문직으로서 실무를 수행하는 기본이 되며, 조직의 목표와 체계, 업무를 이해하는 것이 관리능력의 기초가 되므로(Kim, 2003), 전문직 표준을 이해하는 것이 중요하다. Liu 등(2009)은 전문가로서 발달을 위해 간호전문직 역할의 조직, 강점, 제한점, 요구사항을 이해하는 능력을 직업발달(professional development)의 영역으로 도출하였다.
9요인 조정역할(CR)의 문항은 대처, 의견 수용, 역할인지 등에 관한 내용이다. 조정역할은 OHELO, K-CESA, ICN, KABONE의 표준에 단독 범주로 나타나지는 않으나, 책임, 관리, 의사소통, 협력의 범주에 포함되어 있다(Jin et al., 2011; KABONE, 2003; Kim, 2003; OECD, 2005). 간호 대학생은 보건의료팀내 업무조정의 성취도가 높았고, 중요도는 중간으로 평가하였다(Bae & Park, 2013). 반면, 교수와 수간호사는 학생의 관리, 조직이해, 자원 활용의 능력이 부족하다고 하였으므로, 교육과정에서 조정역할에 비중을 두고 운영해야 할 것이다(Kim, 2003).
10요인 비판적 사고(CT)의 문항은 논리적 사고, 간호진단, 계획, 체계적 해결, 평가에 관한 내용이다. 비판적 사고능력은 타 간호역량 도구에서 학습 성과의 중요 요인으로 나타났으며(Kim, 2003; Liu et al., 2009), 일반대학생의 인지적 학습 성과로 나타나, 핵심적인 역량임을 알 수 있다(Liu et al., 2009). 간호교육은 지식을 많이 알고 있는 것 이상으로 임상실무에서 활용할 수 있는 지적기술(intellectual skill) 습득을 목표로 해야 하므로(Ko et al., 2013) 비판적 사고 함양이 필요하다.
11요인 협력 설명(CE)의 문항은 협력 상황, 목표, 의지, 자문의뢰에 관한 내용이다. 일반대학생의 학습 성과 요인 중 대인관계와 협력 능력이 포함되며(Choi & Rhee, 2009), 간호역량에서도 협동(KABONE, 2003), 대인관계(Kim, 2003; Liu et al., 2009) 등 유사한 용어를 사용하여 협력을 주요 학습성과로 다루고 있다. 실천학습(action learning)을 통해 간호관리자의 팀 내 문제해결을 위한 협력과 참여가 이루어진다고 하였으므로(Jang et al., 2006), 간호교육기관은 학생이 행동으로 표출될 수 있는 학습성과를 도출하기 위해 다양한 교육방법을 사용해야 할 것이다.
12요인 핵심수행(CP)의 문항은 간호술의 선택, 능숙도, 정확도, 신속도에 관한 내용이다. Kang 등(2008)의 연구에서도 즉각적이고 순간적으로 상황을 파악하여 해결하는 간호교육에서 “무엇을 아느냐”보다 “무엇을 할 수 있는냐”의 실천학문 성과를 측정하는 것이 중요한 시점이다(Kim, 2003). 간호대학생도 핵심기본간호술의 수행능력이 가장 중요하다고 하였고, 성취도도 높았다고 응답하여(Bae & Park, 2013), 중요한 범주임을 알 수 있다.
이와 같이 각 하위범주는 간호학 프로그램 학습성과에 부합하여 이론적 배경에 따른 구성타당도가 확인되었다. 이외 내용타당도, 탐색적 요인분석에 의한 구성타당도가 입증되었다. 또한 내적일관성 신뢰도와 반분신뢰도가 높아 도구의 안정성이 확인되었다. 각 요인의 설명 누적 분산이 69.16%로 높게 나타나 도구가 학습 성과를 군집화하여 충분히 설명하고 있었다(DeVellis, 2012). 각 범주는 학습 성과를 달성했는지 아닌지를 판별하는 절단점이 제시되어 실용적으로 사용할 수 있도록 하였다.
총 문항의 수는 79문항으로 작성 소요시간은 20분 정도이며, 각 하위범주 12개의 문항들은 4-8개로 짧아 간단하게 측정할 수 있다. 본 도구는 간호교육기관의 프로그램 학습 성과에 맞게 선택하여 사용 할 수 있는 장점이 있다. 척도는 ‘전혀 못함’ 1점에서 ‘매우 잘함’ 5점의 5점 Likert 척도의 자가보고 방식으로 간호 학생이 용이하게 스스로를 평가할 수 있고, 점수의 변이가 다양하다. ‘보통’의 선택이 가능하도록 하여 중간정도의 선택권을 부여하였다(DeVellis, 2012). 점수 분포는 최저 79점에서 최고 395점까지의 범위를 가지고 있으며, 점수가 높을수록 간호학 프로그램 학습성과 달성 정도가 높은 것으로 해석한다. 모든 문항은 긍정문으로 구성되어 있어 부정문의 해석을 오판하지 않도록 하였다. 역문항이 포함되지 않아 응답자의 혼란을 막았다.
본 연구가 간호연구 측면에서 기여하는 점은 다음과 같다. 본 연구에서 개발된 도구는 간호학 학습성과가 학습자 중심으로 변화하고 있는 교육적 패러다임의 이론화에 기여할 수 있다(Cross et al., 2006). 간호학 프로그램 학습성과 간접평가도구 개발은 교육과정 운영과 성과의 평가를 위한 지식체 확장에 기여할 수 있다.
본 연구가 학생과 교수 측면에서 기여하는 점은 다음과 같다. 본 도구는 간호학생이 스스로를 자가 평가하고 반성(reflection)함으로서 자기 향상을 눈으로 확인하고 역량을 기르기 위한 동기를 유발할 수 있다. 간호교육기관에서는 개발된 도구를 사용함으로서 간호학 교육기관 인증평가를 위해 사용할 수 있다. 교육기관에 따라 평가의 시점을 정하여 학기별, 학년별, 시기별, 졸업 시 중에 학습성과를 확인할 수 있다.
본 연구가 교육과정 운영 실무에 기여하는 점은 다음과 같다. 본 연구는 교육과정을 검토하고 분석하는데 활용될 수 있다. 학생의 성취수준을 평가함으로서 부족한 영역과 달성된 부분을 확인하여, 다음 교육과정 개선에 활용할 수 있다. 본 도구는 부족한 부분을 강화하기 위한 교과, 비교과 과정의 개발을 위한 잣대로 활용될 수 있을 것이다.

결론 및 제언

본 연구에서는 간호학의 프로그램 학습성과를 측정하는 자기평가도구(exit profile)를 개발하였다. 문항은 문헌고찰과 포커스 그룹 인터뷰를 통하여 추출하였으며, 전문가의 델파이 검정과 내용타당도 검정을 통해 예비문항 117개가 구성되었다.
간호대 학생 302명에게 설문조사를 실시하였으며, Varimax 회전에 의한 주성분분석법을 사용하여 탐색적 요인 분석한 결과 누적 총 분산은 69.16%였다. 요인은 총 12개였으며, 각 요인의 범주는 한국간호교육평가원에서 제시한 12개의 프로그램 학습성과와 일치하였다. 각 요인은 ‘리더십 분석’, ‘법/윤리 이해’, ‘국제적 인지’, ‘실무통합’, ‘리더십 발휘’, ‘연구수행’, ‘의사소통 기술’, ‘전문직 표준’, ‘조정 역할’, ‘비판적 사고’, ‘협력설명’, ‘핵심수행’라 명명하였다. 최종 문항의 수는 79개였다. 내적일관성 신뢰도로 cronbach's는 .91로 분석되었다. 반분된 문항의 cronbach's 계수는 .84와 .85로 나타났다. 타당도와 신뢰도가 확인된 본 도구는 간호교육기관에서 간접평가도구로 활용될 수 것이다.
본 연구는 일부 지역의 3년제와 4년제 간호대 학생을 대상으로 한 연구로서, 모든 간호대 학생을 대표하지 않는다는 제한점이 있다. 그러므로 다양한 대상자를 모집한 재 연구를 제언한다.

References

Bae, S. H., et al, Park, J. S.(2013The recognition ofachievement and importance of nursing program outcomeamong nursing studentsJournal of Korean Academy Social Nursing Education19(2203-214
crossref pdf
Bradshaw, A.(1998Defining ‘competency’ in nursing (part II): an analytical reviewJournal of Clinical Nursing7103-111
crossref
Campbell, B., et al, Mackay, G.(2001Continuing competence: An Ontario nursing regulatory program that support nurses and employersNursing Administration Quarterly25(222-30
crossref
Choi, J. Y., et al, Rhee, B. S.. (2009). Examining factors related to college students’ learning outcomes: Focusing on effects of college. The Journal of Educational Administration, 27(1): 199-222.

Cross, S., Block, D., Josten, L. V., Reckinger, D., Keller, L. O., Strohschein, S., et al(2006Development of the public health nursing competency instrumentPublic Health Nursing23(2108-114
crossref
DeVellis, R. F.. (2012). Scale Development: Theory and Applications. 3rd ed.Thousand Oaks, CA: Sage Publications.

Holloway, I., et al, Wheeler, S.. (2009). Qualitative Research in Nursing and Healthcare. 3rd ed.Chichester: Wiley-Blackwell.

Hsu, L. L., et al, Hsieh, S. I.(2013Development and psychometric evaluation of the competency inventory for nursing students: A learning outcome perspectiveNurse Education Today33492-497
crossref
Jang, K. S., Baek, M., Choi, Y. J., Ahn, S. H., Lee, S. J., et al, Sim, J. Y.. (2006). An analysis of nurse managers's common fundamental competencies changes and responses to the application of the action learning. Journal of Korean Academy Nursing Administration, 12(3): 424-433.

Jin, M., Sohn, Y., et al, Chu, H.. (2011). A study on development plan of K-CESA for college education assessment. The Journal of Educational Administration, 29(4): 461-486.

Kang, Y. S., Lee, S. J., Kim, I. J., et al, Ahn, K. H.. (2008). A measurement scale development of nursing competence for nurses working in general wards. Journal of Korean Academy Nursing Administration, 14(3): 219-228.

Kim, B. N., et al, Kim, S. O.(2014A study on assessment system for nursing bachelor degree program outcomes: Focused on communication abilityJournal of Korean Academy Nursing Administration20(2154-166
crossref
Kim, C. S.. (2007). A study of strategic approach for course and program outcomes assessment. Journal of Engineering Education Research, 10(12): 73-86.
crossref
Kim, H. S., Oh, K., et al, Lee, K. J.. (1999). The evaluation of nursing education using adult learning method. Korean Journal of Nursing Query, 8(1): 124-138.

Kim, J. S.(2011Concept analysis of health promotion competence in public health nursesJournal of Korean Academy Community Health Nursing22(3281-289
crossref
Kim, M. W.. (2003). Development of objectives of nursing clinical education, based on nursing core competency Unpublished doctoral Dissertation. Yonsei University, Seoul.

Kim, M., Yoon, W., Kim, D., et al, Chung, J. T.. (2007). Model development and strategy plan for implementing program outcomes and assessment. Journal of Engineering Education Research, 10(4): 29-42.
crossref
Kim, S.(2012The concept and necessity of learning outcomeKorean Journal of Medical Education24(289-92
crossref pdf
Kim, S. H., et al, Park, J. H.(2012Development and validation of a tool for evaluating core competencies in nursing cancer patients on chemotherapyJournal of Korean Academy Nursing42(5632-643
crossref
Kim, S. S., You, O. S., Kwon, I. G., Moon, S. M., et al, Sung, Y. H.. (2005). Development of classification system for critical care and core competencies of advanced practice nurse. Clinical Nursing Research, 11(1): 165-177.

Ko, J. K., Chung, M. S., Choe, M. A., Park, Y. I., Bang, K. S., et al, Kim, J. A., et al(2013Modeling of nursing competencies for competency-based curriculum developmentJournal of Korean Academy Social Nursing Education19(187-96
crossref pdf
Korean Accreditation Board of Nursing Education. (2003). Nursing Standards: Nursing Job Description, Seoul: Korean Nursing Association.

Lee, J. S.. (2001). Delphi Method, Seoul: Education Culture Company.

Liu, M., Yin, L., Ma, E., Lo, S., et al, Zeng, Z.(2009Competency inventory for registered nurses in Macao: instrument validationJournal of Advanced Nursing65(4893-900
crossref
Organization for Economic Cooperation and Development (OECD). (2005). The Definition and Selection of Key Competencies: Executive summary, Paris: OECD.

Paik, H. O., Han, S. S., et al, Lee, S. C.. (2005). Development of a task performance evaluation instrument for clinical nurses. Journal of Korean Academy Nursing, 35(1): 95-103.
crossref
Seo, M. W., Chi, E., Hwang, C., I., et al, Ju, E.. (2013). Developing and validating the measurement instrument of higher education learning outcomes. Journal of Educational Evaluation, 26(2): 275-296.



ABOUT
BROWSE ARTICLES
FOR CONTRIBUTORS
Editorial Office
Department of Nursing, Konkuk University
268, Chungwondaero, Chunju-si, Chungcheongbuk-do, 27478, Korea
Tel: +82-43-840-3950    E-mail: parkms@kku.ac.kr                

Copyright © 2021 by The Korean Academic Society of Nursing Education.

Developed in M2PI

Close layer
prev next