J Korean Acad Soc Nurs Educ Search

CLOSE


J Korean Acad Soc Nurs Educ > Volume 22(4); 2016 > Article
시뮬레이션에서의 간호역량 측정도구 개발 및 평가

Abstract

Purpose

The purpose of this study was to develop and validate a Nursing Competency Scale in Simulation (NCSS) for nursing students.

Methods

A preliminary version of the NCSS of 14 items was derived from the literature. A panel of seven experts reviewed the preliminary version for content validation and developed 15 items scale. A convenient sample of 195 nursing students completed the survey and two evaluators measured the performances of nine teams in a simulation scenario with NCSS. The data were analyzed using exploratory factor analysis, descriptive statistics, independent t-test and Cronbach's alpha. Intraclass correlation coefficient (ICC) was used in order to estimate the degree of inter-rater reliability.

Results

An exploratory factor analysis demonstrated that two factor structures of the NCSS explained 51.1% of the total variance. Two factors were named psychosocial skills and cognitive and psychomotor skills. The mean scores of NCSS between third and 4th grade were significantly different providing support for its known-group validity. Cronbach's alpha was .90 and ranged from .79 to .88. The overall ICC for inter-rater agreement was 0.89 (95% CI 0.03 to 0.98).

Conclusion

This scale shows preliminary evidence for validity and reliability. It could be a useful instrument for measuring learning outcome in simulation for nursing students' clinical competency.

서 론

연구의 필요성

간호 교육에 있어 실습 교육은 이론 교육의 내용을 임상 현장에 적용하는 학습자의 능력을 향상시키는 교육 방법으로서 그 중요성이 매우 크다. 그러나 최근 환자 권리와 안전이 강조되면서 간호학생의 임상실습의 범위가 점차 축소되고 있다. 게다가 교육목표로 설정되어도 학생이 임상에서 경험하지 못하면 성취할 수 없거나 비체계적인 도제식으로 실습이 이루어지는 경우가 있어 교육 목표를 달성하는데 어려움이 있다(Kardong-Edgren, Adamson, & Fitzgerald, 2010). 이러한 임상실습 방식의 한계를 극복하기 위해 국내외 간호교육현장에서는 시뮬레이션 교육이 빠른 속도로 증가하고 있다. 시뮬레이션 교육의 가장 큰 장점은 안전하고 통제된 환경에서 학습자가 환자 간호와 관련된 필수 지식, 기술, 가치, 행위 등을 배우고 개발, 유지할 수 있도록 경험적 학습의 기회를 얻는 것이라고 할 수 있다(Kardong-Edgren, Starkweather, & Ward, 2008). 이에 한국간호교육평가원에서는 간호교육기관의 교육프로그램의 질적 향상을 위한 방법의 하나로 교육과정의 일정범위 내에서 시뮬레이션 실습을 포함하는 것을 허용하고 있으며, 미국의 경우에도 간호사 면허관리국(National Council of State Boards of Nursing [NCSBN])의 연구팀에서 임상실습의 시뮬레이션 교육으로의 대체 가능성을 연구한 결과, 전통적인 임상실습 일부를 시뮬레이션 실습으로 대체하는 것을 지지하고 있다(Hayden, 2010).
간호 교육에 시뮬레이션의 활용이 증가하면서 교수자들은 시뮬레이션 교육을 통해 다양한 학습 성과를 성취하길 기대하고 있다. 국내외의 간호교육프로그램 평가 기관에서는 간호 학생이 졸업 시점에 갖추어야 할 역량으로서 간호학 이론 지식의 습득과 함께 기술적 술기, 이론과 실무의 통합적 적용, 비판적 사고, 의사소통, 리더십, 팀워크, 전문직 행동(Cronenwett et al., 2007; Korean Accreditation Board of Nursing Education [KABONE], 2014) 등을 제시하고 있는데 이러한 역량은 고충실도 시뮬레이션 교육으로 개발이 가능하다. 즉, 시뮬레이션 교육은 간호학생의 임상학습 경험을 증대시키고 전문직 간호사의 역할을 학습하게 함으로써 정신운동적 술기뿐 아니라 임상적 판단 기술을 익히고 전문직 역할을 습득할 수 있게 한다(Cato, Lasater, & Peeples, 2009; Lewis, Strachan, & Smith, 2012). 또한 교수자의 피드백을 통해 자신의 술기를 성찰하는 기회를 가짐으로써 오류가 감소하고 환자안전 간호행위가 증진된다(Lewis et al., 2012). 특히, 인지 사회적 술기로 알려진 비기술적 술기는 팀 구성원 간의 상호작용, 상황인지와 의사결정을 할 수 있는 사고능력을 중요시하기 때문에 기술적 술기와는 구별되는바, 시뮬레이션 교육으로 이러한 비기술적 술기의 학습이 가능하다(Andersen, Jensen, Lippert, & Østergaard, 2010; Mitchell & Flin, 2008).
시뮬레이션 교육에서 학생의 성취에 대한 평가는 학생의 역량 개발 및 유지에 있어서 매우 중요하다. 그러나 고충실도 시뮬레이션 교육을 통해 성취될 수 있는 학습 성과가 다양함에도 불구하고 아직까지 이를 포괄적으로 평가할 수 있는 측정도구는 부족한 실정이다. 지금까지 고충실도 시뮬레이션 교육의 효과 평가는 정신운동적 술기 중심으로 기대되는 수행 여부를 체크리스트 형식으로 측정하거나(Gantt, 2010) 학습자의 비판적 사고 또는 학습만족도, 자신감 등에 초점을 두고 측정되어 왔다(Kardong-Edgren et al., 2010). 그러나 실제 임상 현장에서 간호사는 의료 팀의 구성원으로서 상황을 고려하여 간호행위를 결정하고 협력하면서 간호를 수행하게 되므로 기술적 술기는 물론 상황인지, 임상적 추론, 의사결정, 의사소통, 팀워크 역량 등이 동시에 요구된다. 이와 같이, 기술적 술기와 비기술적 술기가 상황 맥락적으로 동시에 요구됨에도 불구하고 어느 한 영역만을 단면적으로 측정한다면 학습자의 간호 역량을 제대로 평가했다고 보기 어렵다. 고충실도 시뮬레이션 교육은 기술적 술기뿐만 아니라, 임상적 추론, 의사소통, 팀워크 등의 비기술적 술기를 학습하기에 효과적인 전략이므로 이러한 교육의 학습 성과를 통합적으로 평가할 수 있는 측정 도구를 개발하여 활용한다면 시뮬레이션 교육의 목표, 내용, 평가의 과정이 논리적이고 일관성 있게 진행될 수 있을 것이다.
이에 본 연구는 고충실도 시뮬레이션 교육에서 간호학생의 역량을 평가할 수 있는 통합적 도구를 개발하고 검증하고자 시행되었다. 따라서 본 연구의 목적은 간호학생을 대상으로 하는 시뮬레이션 교육의 효과를 평가하기 위한 간호 역량 측정 도구(Nursing Competency Scale in Simulation [NCSS])를 개발하고 신뢰도와 타당도를 평가하는 것이다.

연구 방법

연구 설계

본 연구는 간호 학생을 대상으로 실시한 시뮬레이션 교육의 학습 성과를 측정하기 위한 간호역량 측정 도구를 개발하고 도구의 타당도와 신뢰도를 검증하는 방법론적 연구이다.

연구 절차와 내용

본 도구는 자가 보고와 평가자의 관찰을 통한 평가가 가능하도록 개발되었다. 도구개발 과정은 DeVellis (2012)가 제시한 단계를 적용하여 3단계로 진행되었다. 1단계에서는 선행연구에 대한 문헌고찰을 통해 구성개념을 정하고 측정 항목을 도출하여 항목의 준거와 수준을 기술하였다. 2단계에서는 전문가 집단을 대상으로 도구의 구성개념과 측정 항목에 대한 내용 타당도를 검증하여 예비도구를 구성하였다. 3단계는 예비도구의 검증단계로 먼저 간호학생을 대상으로 예비도구를 적용하여 타당도와 신뢰도를 분석하였고, 관찰자 평가 도구로서 신뢰도를 검증하기 위하여 2명의 평가자가 간호학생의 시나리오 수행을 평가하여 평가자 간 신뢰도를 분석하였다(Figure 1).
<Figure 1>

Overview of scale development and validation

JKASNE_2016_v22n4_549_f001.jpg

● 1단계: 구성 개념과 항목 도출

역량이란 특정 상황에서 업무를 수행하고 문제를 해결하며 효과적으로 기능하기 위해 요구되는 지식, 기술, 태도로 구성된 통합된 능력이다(Mulder, Gulikers, Biemans, & Wesselink, 2009). 이러한 역량은 태도, 가치, 판단과 개인적 성향 뿐 만 아니라 전문직 실무에서 관찰 가능한 행위로 확인이 가능하다. 본 연구에서는 한국간호교육평가원(KABONE, 2014)에서 제시한 졸업시점의 간호 학생이 달성하여야 할 학습 성과와 선행연구와 문헌에서 시뮬레이션 교육을 통해 개발될 수 있는 역량을 연계하여 영역과 항목을 구성하였다.
한국간호평가원에서 간호사의 전문 역량을 강화하기 위해 제시하고 있는 학습 성과 중 통합적 적용, 임상적 추론, 핵심간호술기, 의사소통, 전문직관, 리더십을 시뮬레이션을 통해 함양할 수 있는 학습 성과로 추출하였다. 문헌고찰을 통해 시뮬레이션 교육으로 개발 가능한 역량으로 기술적 술기와 함께 상황인지, 의사결정, 의사소통, 리더십, 팀워크, 상호 수행 감시, 전문직 기준, 표준 및 지침 준수, 업무관리 등의 비기술적 술기 요소 등(Andersen et al., 2010; Cato et al., 2009; Lewis et al., 2012; Mitchell & Flin, 2008)을 확인하였다. 또한 시뮬레이션의 궁극적 목표는 환자안전을 위한 것이기 때문에 Quality and Safety Education for Nurses (QSEN)에서 간호의 질과 안전을 위해 간호사가 갖추어야 할 역량으로 제시하고 있는 환자 중심 간호, 팀워크와 협력, 근거기반 실무, 질 향상, 안전, 정보학 등의 6개 역량을 고려하였다(Cronenwett et al., 2007). 이상의 문헌 고찰을 종합하여 기술적 술기, 임상적 추론, 의사소통, 리더십과 팀워크, 전문직 실무의 5개 영역으로 도구를 구성하였다. 시뮬레이션 교육에서 평가자는 수행 관찰과 동시에 평가를 하는 경우가 흔하므로 측정의 수행 용이성과 활용도를 높이기 위해 항목 수를 최소화하고자 하였다. 이에 각 영역에 따른 문항 수는 문헌고찰에서 도출된 정의 또는 구성요소에 따라 최소한으로 하여 14개 항목을 구성하였고 각 영역에 대한 설명은 다음과 같다.
기술적 술기는 간호 실무에서 가장 중요한 역량 중의 하나로, 환자 안전을 위해서는 정확한 수행, 손재주와 기술적 숙련성이 요구되고 의사결정을 위한 환자의 주관적, 객관적 정보를 기술적으로 수집할 수 있는 사정 기술이 포함된다(Todd, Manz, Hawkins, Parsons, & Hercinger, 2008).
임상적 추론은 특정 환자의 상황, 질병과정, 간호중재에 대한 지식을 가지고 환자 간호에 대하여 의사결정을 하는 과정을 의미한다(Tanner, 2006). 즉 환자의 특정 상황 인지, 자료수집, 우선순위에 따른 수행, 환자의 반응 평가 등의 기본적 단계가 포함된다(Rhodes & Curran, 2005; Tanner, 2006).
의사소통에는 대상자와의 의사소통과 의료팀 간(내) 의사소통이 포함된다. 환자-간호사의 관계에 초점을 두고 대상자를 이해하고, 문제해결을 위해 언어적, 비언어적 의사소통을 할 수 있어야 한다. 또한 환자 안전 환경의 유지와 질 높은 간호를 위해 의료팀 간(내) SBAR (situation, background, assessment, recommendation)과 Read Back Order (RBO)와 같은 표준화된 의사소통 방식을 이용하는 능력이 요구된다(Enlow, Shanks, Guhde, & Perkins, 2010).
리더십과 팀워크는 팀 기반의 시뮬레이션에서 특히 중요한 학습 성과이다(Cooper, Cant, & Porter, 2010; Paris, Salas, & Cannon-Bowers, 2000). 리더십은 전반적 상황을 통찰하며 팀 구성원이 알 수 있도록 중재의 방향을 설명하고 지시를 내릴 수 있는 능력, 팀원과 업무를 나누고 환자와 가족을 안심시키는 책임감을 포함한다(Cooper et al., 2010). 팀워크란 자신과 다른 팀원의 수행을 서로 모니터링하면서 지식, 기술, 태도, 목표를 공유하는 것을 의미한다(Paris et al., 2000).
전문직 실무에는 손위생, 표준 주의 지침과 안전 환경 관리를 유지하는 능력 등 안전을 위한 기본적 준수(Todd et al., 2008)와 지속적인 성찰을 통한 간호의 질과 수행 향상을 위한 노력이 포함된다(Lasater, 2011).
이상과 같이 5개 영역 14개 항목을 선정한 후 측정의 일관성과 객관성을 유지하기 위하여 Andrade (2000)가 제시하는 절차에 따라 14개 항목에 대한 평가 준거를 4단계의 수행 수준으로 구분하고 각 수준에 해당하는 행위지표를 제시하였다. 수준별 행위지표 선정은 우선 각 항목(준거) 별로 최고 점수인 4점에 해당되는 최상의 기대되는 행위와, 최하 점수인 1점에 해당되는 피해야 할 행위를 정의한 후 2점과 3점에 해당하는 행위지표를 결정하는 방식으로 진행하였다.

● 2단계: 전문가 내용타당도 검정과 예비도구 구성

내용타당도를 평가하기 위해 의학교육과 시뮬레이션 교육의 경험이 있는 응급의학 전문의 1인과 간호학 교수 6인으로 구성된 전문가 집단을 구성하였다. 전문가 집단에 항목별 준거, 수행수준, 행위 지표가 간호 학생의 시뮬레이션 교육의 학습 성과를 평가하기 위한 내용으로 적합한지, 영역의 속성과 이론적으로 관련이 있는지에 대해 4점 척도(1=전혀 타당하지 않다, 2=타당하지 않다, 3=타당하다, 4=매우 타당하다)로 응답하게 하였다. 선정기준은 전문가가 3점 또는 4점을 준 항목을 계산하여 내용타당도 계수(Content Validity Index, CVI)가 0.8 이상인 항목을 추출하였다. 검정 결과 14개 항목 모두 0.8을 넘어 삭제된 항목은 없었으나 전문가 집단의 권고에 따라 내용과 어휘 등이 불분명하거나 혼돈스러운 항목은 의미가 잘 파악되도록 수정하였다. 또한 전문직 기준 영역의 1개 항목에서 제시한 행위 지표들이 한 문항으로 동시에 평가하기에는 용이하지 않다는 전문가 집단의 의견을 고려하여 표준 주의 지침과 안전 환경 관리를 2개 항목으로 구분하였다. 따라서 최종 예비도구는 총 15개 항목으로 구성되었다. 전문가 내용타당도 검증을 통해 수정된 도구로 3학년 간호학 전공학생 6명을 대상으로 예비조사를 시행한 후 의미가 잘 전달되지 않는 것으로 지적된 일부 항목을 수정하였다.

● 3단계: 예비도구의 타당도와 신뢰도 검증

∙ 연구대상 및 자료수집
대학 연구윤리위원회의 승인(HIRA-2014-43)을 받은 후 예비도구의 적용 대상인 일 대학교 3, 4학년의 간호 학생에게 연구윤리에 기반한 정보를 제공하였다. 자발적으로 연구 참여 동의서에 서명한 209명을 대상으로 15개의 준거와 수행 수준, 행위 지표가 제시되어 있는 루브릭 형태의 설문지에 자신의 수준을 평가하게 하였다. 자료 수집 기간은 2014년 4월부터 8월까지였으며, 회수된 설문지는 198부로 회수율은 94.7%이었다. 회수된 설문지 중 내용이 불완전한 설문지를 제외하고 총 195부가 자료 분석에 이용되었다. 측정 도구의 신뢰도와 타당도 검정을 위해 필요한 표본 크기는 100에서 200개 사례를 사용할 것을 권장하고 있고(Yang, 1998), 일반적으로 150개 정도의 사례가 적절하다는 것(DeVellis, 2012)을 고려할 때 표본크기를 만족하였다.
평가자 간 신뢰도 검증을 위해 연구 참여에 동의한 4학년 간호 학생 36명을 대상으로 2인의 관찰자가 시나리오 수행을 평가하였다. 수행평가를 받는 학생들은 4명씩 9개 팀에 임의로 배정되어 호흡곤란을 호소하는 천식 시나리오에 참여하였다. 연구자와 시뮬레이션 조정자 2인은 각각 녹화된 동영상을 관찰하여 수행을 평가하였다.

자료 분석

수집된 자료는 SPSS/WIN 22.0 프로그램을 이용하여 분석하였다.
예비도구의 구성 항목들이 공통적으로 가지는 의미 구조를 추출하고, 간명한 항목구성을 위하여 탐색적 요인분석을 실시하였다. 탐색적 요인분석을 위해 예비항목이 요인분석에 적합한 지를 확인하기 위해 Bartlett의 구형성(sphericity) 검정과 Kaiser-Meyer-Olkin (KMO) 표본적합성 측도를 측정하였다. 요인분석의 모형은 항목들 간의 관계를 가능한 많이 설명하는 소수의 요인을 추출하기 위한 목적으로 주성분 분석(principal component analysis)을 선정하였으며, 요인회전 방식은 직교회전(orthogonal rotation)방식으로 배리맥스회전(varimax rotation)을 이용하였다. 요인의 수를 결정하기 위해 고유값(Eigen value)이 1.0 이상인 요인과 스크리 검사(scree plot), 요인들에 의해 설명된 누적분산백분율을 확인하였다. 요인적재량(factor loadings)의 경우, 보통 0.3 이상, 보수적인 기준으로 0.4 이상이면 적재량의 유의성이 있다고 할 수 있으며, 엄격하게는 0.5 이상을 기준으로 할 수 있는데(Yang, 1998) 본 연구에서는 0.4를 기준으로 하였다.
준거타당도 검정을 위해 집합타당도(known-groups validity)를 확인하였다. 집합타당도는 준거타당도 검정방법의 하나로서 어떤 특성에 의해 분류된 대상자의 특성별 점수의 차이를 구별하는 방법(DeVellis, 2012)을 활용하는 것이다. 본 연구에서는 임상실습을 처음 경험한 3학년 학생과 3개 학기를 경험한 4학년 학생의 항목 평균값의 차이를 t-test를 이용하여 분석하였다.
개발된 도구의 신뢰도를 검정하기 위한 방법으로 문항내적일관성 계수인 Cronbach'α를 확인하였으며, 문항변별도를 파악하기 위해 각 항목점수와 총점 간의 상관관계를 파악하였다. 문항변별도가 높은 경우 신뢰도가 증가되는데 이는 .40이상인 경우 변별력이 높고 .30-.39인 경우 변별력이 있는 문항이라는 기준(Sung, 1996)을 근거로 분석하였다.
평가자 간 신뢰도 검증은 급내상관계수(Intraclass correlation coefficient, ICC)를 활용하여 분석하였다. 급내상관계수가 .60이상인 경우 양호하고 .85이상인 경우 매우 높다는 기준을 근거로 분석하였다(Sung, 2002).

연구 결과

대상자의 특성

대상자는 3학년 81명(41.5%), 4학년은 114명(58.5%)이었다. 교과과정에 따라 3학년은 한 학기 임상실습을 경험하였고, 4학년은 3개 학기 임상실습을 경험한 상태이었다. 남학생은 17명(8.7%), 여학생은 178명(91.3%)이었다.

구성타당도

측정 항목의 평균값은 최하 2.15에서 최고 3.05이며, 표준편차는 0.47에서 0.73에 분포하였다. 즉 평균값이 양극단 값으로 치우치지 않았고, 특이 값이 존재하지 않아 불필요한 문항은 없었으므로, 15개 문항을 모두 포함하여 주성분 분석을 하였다.
탐색적 요인분석을 수행한 결과 Bartlett의 구형성 검정에서 X2=1151.60 (p<.001)으로 나타나 요인분석이 가능한 공통요인이 존재하는 것으로 확인되었다. 또한, Kaiser-Meyer-Olkin (KMO) 측도의 값은 .90으로 나타나 표본의 자료가 요인분석 모형에 적합한 것으로 나타났다. 요인분석 결과 고유 값이 1이상인 요인은 2개로, 제 1요인은 9개 항목, 제 2요인은 6개 항목으로 추출되었다. 2개 요인에 의해 설명된 변이는 51.1%이었다. 제 1요인은 의사소통, 리더십과 팀워크, 전문직 실무의 항목들이 포함되어 ‘심리사회적 술기’라고 명명하였고, 제 2요인에는 기술적 술기와 임상적 추론이 포함되어 ‘인지 기술적 술기’로 명명하였다(Table 1).
<Table 1>

Factor Loadings and Explained Variances

No Item Mean±SD Factor
1 2
7 Communication with patient-expression 2.78±0.66 .713
8 Communication with patient-listening 3.05±0.73 .784
9 Communication with(in) healthcare team 2.70±0.62 .736
10 Responsibility 2.81±0.64 .506
11 Leadership 2.64±0.65 .597
12 Teamwork 2.93±0.61 .675
13 Maintaining standard precaution 2.82±0.68 .729
14 Maintaining safety 2.80±0.66 .691
15 Efforts to improve performance 2.66±0.70 .666
1 Technical proficiency 2.15±0.47 .650
2 Assessment skillfulness 2.48±0.59 .781
3 Situation awareness and information gathering 2.52±0.65 .575
4 Interpreting and prioritizing the data 2.40±0.58 .642
5 Selecting and implementing 2.43±0.57 .699
6 Reassessing the patient response 2.67±0.59 .498
Explained variance (%) 31.3 19.8

준거타당도

준거타당도 검증을 위하여 집합타당도를 분석한 결과 4학년 학생이 3학년 학생보다 평균점수가 유의하게 높은 것으로 나타났다(t=5.36, p<.001). 하부 영역에서도 4학년 학생이 3학년 학생보다 제 1요인, 제 2요인의 점수가 유의하게 높은 것으로 나타나(1요인: t=6.18, p<.001, 2요인: t=3.24, p=.001) 준거타당도가 검증되었다(Table 2).
<Table 2>

Differences of NCSS according to Grade

Group n (%) Mean±SD t p
Total scores 3rd grade 81 (41.5) 2.45±0.39 5.36 <.001
4th grade 114 (58.5) 2.74±0.35
Factor 1 3rd grade 81 (41.5) 2.57±.047 6.18 <.001
4th grade 114 (58.5) 2.96±0.41
Factor 2 3rd grade 81 (41.5) 2.33±0.40 3.24 .001
4th grade 114 (58.5) 2.52±0.38

NCSS=Nursing Competency Scale in Simulation

내적일관성 신뢰도와 문항변별도

측정도구의 Cronbach's α 계수는 .90으로 나타났고, 각 하부요인의 계수는 제 1요인의 경우 .88, 제 2요인의 경우 .79로 나타나 내적일관성 신뢰도가 검증되었다. 각 항목점수와 총점 간의 상관관계를 활용하여 문항변별도를 분석한 결과 상관계수는 .36에서 .67의 범위로 나타나 전반적으로 문항의 변별력이 있는 것으로 나타났다(Table 3). 제 1요인과 제 2요인간의 상관계수는 .62로 강한 양의 상관관계가 있는 것으로 나타났다(Table 4).
<Table 3>

Internal Reliability and Item Discrimination of the NCSS

Factor Category Item Corrected
item-total
correlation
⍺ if item
deleted
Cronbach's
alpha
1
Psychosocial skills
Communication Communication with patient-expression .36 .90 .88
Communication with patient-listening .48 .90
Communication with(in) healthcare team .60 .89
Leadership and teamwork Responsibility .56 .89
Leadership .50 .89
Teamwork .57 .89
Professional practice Maintaining standard precaution .65 .89
Maintaining safety .67 .89
Efforts to improve performance .66 .89
2
Cognitive and psychomotor skills
Technical skills Technical proficiency .55 .89 .79
Assessment skillfulness .59 .89
Clinical reasoning Situation awareness and information gathering .60 .89
Interpreting and prioritizing the data .59 .89
Selecting and implementing .63 .89
Reassessing the patient response .61 .89
Total (15 items) .90

NCSS=Nursing Competency Scale in Simulation

<Table 4>

Correlation Coefficients between Factors

Factor Factor 1
r (p)
Factor 2
r (p)
Total scale
r (p)
Factor 1. Psychosocial skills 1.00
Factor 2. Cognitive and psychomotor skills .62
(<.001)
1.00
Total scale .92
(<.001)
.89
(<.001)
1.00

평가자 간 신뢰도

평가자간 신뢰도를 검증하기 위하여 급내상관계수를 분석한 결과 전체 평가점수의 급내상관계수는 0.89 (CI 95% 0.03~0.98)로 나타났고, 하위영역 중 제 1요인 심리사회적 술기 영역은 0.70 (CI 95% -0.21~0.93), 제 2요인 인지 기술적 술기 영역은 0.94 (CI 95% 0.74~0.99)으로 나타나 평가자 간 신뢰도가 검증되었다(Table 5).
<Table 5>

Interrater Reliability of NCSS

Factor Category ICC (95% CI)
Factor 1 Psychosocial skills 0.70 (-0.21-0.93)
Communication 0.28 (-1.23-0.82)
Leadership and teamwork 0.84 (0.34-0.96)
Professional practice* 0.46 (-0.11-0.86)
Factor 2 Cognitive and psychomotor skills 0.94 (0.74-0.99)
Technical skills 0.84 (0.33-0.96)
Clinical reasoning 0.96 (0.82-0.99)
Overall score 0.89 (0.03-0.98)

* Except the item, ‘efforts to improve performance’

NCSS=Nursing Competency Scale in Simulation; ICC=Intraclass correlation coefficient; CI=Confidence interval

논 의

본 연구에서는 간호학생을 위한 시뮬레이션 교육의 학습 성과를 평가하기 위한 간호역량 측정도구를 개발하고 신뢰도와 타당도를 검증하였다. 최종적으로 개발된 도구는 기술적 술기, 임상적 추론, 의사소통, 리더십과 팀워크, 전문직 실무 등의 5개 영역 15개 항목으로 구성되었다.
도구의 구성타당도를 검증하기 위해 탐색적 요인분석을 시행한 결과 2개의 요인으로 구분되었다. 본 연구에서 제 1요인으로 도출된 9개 항목은 의사소통, 리더십과 팀워크, 전문직 실무 등의 비기술적 술기의 요소에 해당하여 ‘심리사회적 술기’로 명명하였다. 이들이 하나의 요인으로 부하된 것은 이러한 역량들이 지식이나 기술로 학습할 수 있는 영역이라기보다는 상호작용 또는 태도 및 가치 등의 내면화로 획득되는 전문적 행위와 관련성이 크기 때문인 것으로 해석된다. 제 1요인에 해당되는 ‘심리사회적 술기’ 역량은 최근 들어 그 중요성이 더욱 강조되고 있고, 시뮬레이션 교육으로 개발될 수 있는 역량임에도 객관적 평가가 용이하지 않아 아직까지 제한된 범위에서 이루어지고 있다. 본 연구에서 개발된 측정도구는 팀 기반의 고충실도 시뮬레이션에서 팀구성원 간의 의사소통, 리더십과 팀워크, 전문직 실무 등을 다차원적으로 평가하는데 활용될 수 있을 것이다.
제 2요인으로 도출된 6개 항목은 기술적 술기 영역의 간호술기 숙련성과 신체사정 술기 숙련성의 2개 항목, 임상적 추론 영역의 상황인지와 정보수집, 자료의 해석, 중재선택과 수행, 환자의 반응 평가 등의 4개 항목으로 본 연구에서는 ‘인지 기술적 술기’로 명명하였다. 임상적 추론은 상황인지와 의사결정의 사고능력을 요구하는 인지적 술기로 흔히 비기술적 술기로 분류되고 있는데(Mitchell & Flin, 2008) 본 연구에서는 기술적 술기가 임상적 추론과 같은 요인으로 부하 되었다. 이는 본 도구에서 측정하는 기술적 술기는 단순한 술기 습득 이상으로 인지적 학습의 통합이 요구되는 정신운동적 행위지표를 제시하고 있기 때문인 것으로 사료된다. 정신운동적 술기는 기술적 술기의 습득을 의미하지만 동시에 인지적, 정서적 학습의 통합이 요구된다는 것을(Kneebone et al., 2002) 반영하는 결과라 하겠다. 본 연구의 기술적 술기 영역의 항목은 간호학생의 통합된 역량을 측정하는 지표로 활용될 수 있을 것으로 사료된다.
본 도구의 신뢰도를 검정하기 위하여 문항의 내적 일관성을 확인한 결과 전체 문항과 하부요인 별 내적 일관성 계수가 모두 ‘0.79이상’으로 나타나 양호한 수준이었고(Adams & Lawrence, 2014) 문항변별도가 확보되었다. 또한 평가자 간 신뢰도를 확인하기 위하여 급내상관계수를 분석한 결과 의사소통 영역을 제외한 나머지 영역은 일치도가 양호 또는 매우 높은 것으로 나타나 전반적으로 신뢰도가 확보되었다. 의사소통 영역의 평가자 간 신뢰도가 낮은 이유는 의사소통이 대인 간 상호 역동에 의해 다양하고 예측하기 어렵게 진행되며, 언어적, 비언어적 요소가 복잡하게 작용하기 때문에 구체성이 높은 항목으로 구성하기가 쉽지 않았기 때문인 것으로 보인다. 또한, 학생들이 주어진 단시간 내에서 시나리오에서 요구하는 것을 생각하며 해결해야 하기 때문에 환자와의 의사소통에서 일관적인 접근을 보이지 않아 그 수준을 평가하는데 어려움이 있었던 것으로 해석된다. 추후 더 명확하고 구체적인 수준의 행위 지표로 수정, 보완하고 일관된 평가를 위해 의사소통 과정의 일정 시기 중 특정 행위에 대해 평가하는 방법을 고려해 볼 수 있겠다.
본 연구에서 개발된 도구의 강점은 다음과 같다. 첫째, 본 도구는 시나리오에서 기대되는 특정 행위의 수행에 초점을 두어 제한적으로 평가가 이루어졌던 기존 도구의 한계를 극복하였고 상황적 맥락에서 기대되는 기술적, 비기술적 술기의 수준을 통합적으로 평가할 수 있다. 지금까지 개발된 도구는 시나리오에서 기대되는 특정 기술적 술기의 측정 또는 인지적 측면의 비판적 사고의 측정에 국한되어 왔다(Kardong-Edgren et al., 2010). 그러나 고충실도 시뮬레이션 교육은 임상현장과 마찬가지로 특정 환자의 특정 상황에서의 지식, 임상적 추론, 판단, 그리고 기술적 중재를 동시에 적용하는 '상황학습'(Benner, Sutphen, Leonard, & Day, 2010)이기 때문에 간호학생의 역량을 단면적으로 평가하기보다는 통합적으로 평가할 수 있어야 할 것이다. 본 도구는 팀 기반 시뮬레이션 교육에서 요구되는 다면적 평가가 가능함을 보여주었다. 또한, 본 도구의 포괄적 특성은 매 시나리오에서의 수행에 대한 평가 뿐 아니라 통합적으로 구성된 시뮬레이션 교육과정의 전후로 학생의 역량 변화에 대한 총괄평가에 유용하게 사용될 수 있을 것이다. 특히, 본 도구의 심리사회적 술기의 준거들은 시뮬레이션 교육의 궁극적 목표인 환자안전과 관련된 성과를 포함하고 있어 그 활용성이 기대된다.
둘째, 본 도구는 준거와 수준 별 구체적인 행위 지표가 제시된 형태로 개발되어 평가의 객관성이 향상될 것으로 기대된다. 학습자의 자가 평가는 수행 역량 증진을 위해 중요하지만 학습자가 자신을 객관적으로 평가하는데 한계가 있어(Davis et al., 2006) 그 결과를 학습 성과의 달성이나 평가에 활용하는데 어려움이 있다. 본 도구의 행위 지표를 자기성찰의 준거로 사용하면 보다 현실적으로 자신을 평가하는 기회가 될 수 있을 것이다. 더 나아가 학습자는 루브릭에 기술된 행위 지표를 통해 시뮬레이션 교육에서 기대하는 수준을 확인함으로써 시뮬레이션 실습에서 느끼는 혼란을 줄이고(Kim, 2013), 자신의 현재 수준과의 차이를 비교함으로써 자신에게 부족한 부분을 학습하는데 도움이 될 것으로 여겨진다. 교수자의 경우 본 도구의 지표를 기준으로 하여 학습자에게 객관적이고 일관성 있는 피드백과 평가를 할 수 있을 것으로 기대된다. 이러한 강점에도 불구하고 본 도구는 시나리오 특이적으로 요구되는 수행을 평가하기에는 제한이 있을 수 있으므로 필요한 경우 구체적 술기의 체크리스트를 병용하여 이를 보완할 수 있을 것이다.
본 연구의 제한점과 추후 연구에 대한 제언은 다음과 같다. 첫째, 평가자 간 신뢰도 검증을 위한 예비조사 단계에서 1개 시나리오를 활용하여 9팀의 수행을 평가하였다. 추후 시나리오 참여자 수를 늘리고 다양한 시나리오에 확대 적용하면서 도구를 더 정련할 필요가 있다. 또한 다양한 평가자들을 대상으로 하여 평가자 간 일치도를 확인할 필요가 있다. 둘째, 교육과정을 통제하기 위하여 일 대학교 간호학과 학생을 대상으로 자료를 수집하였기 때문에 추후 다른 간호교육기관의 학생들을 대상으로 확대하여 연구를 수행할 필요가 있다. 셋째, 본 도구는 팀 기반의 시뮬레이션 실습의 포괄적 영역에 대한 간호학생의 통합역량을 측정하기 위한 도구이기 때문에 특수 영역만을 위한 시나리오 또는 저학년 학생을 위한 평가도구로는 적합하지 않을 수 있다. 이에 본 측정도구를 원형으로 활용하여 간호학생의 단계별 학습 성과에 적합한 시나리오와 측정도구 개발을 시도하는 추후 연구를 제언한다. 넷째, 본 도구의 평가 항목 요소를 구분하여 항목 간 중복을 최소화 하고자 하였으나 시뮬레이션 상황은 실제 간호 상황과 유사하여 여러 행위가 동시에 일어나기 때문에(Kolb & Shugart, 1984) 간호학생의 수행을 상호배타적으로 구분하여 평가하는 데 한계가 있을 수 있다. 이러한 제한점은 추후 도구를 사용면서 각 준거와 그에 따른 수행수준을 좀 더 세분화하고 구체화함으로써 극복할 수 있을 것으로 기대된다. 마지막으로 학습자의 졸업 이후 임상현장에서의 업무수행능력을 파악함으로써 시뮬레이션 교육의 장기적인 효과를 확인하는 근거를 마련함과 동시에 도구의 예측타당도를 확보하는 추후 연구를 제언한다.

결론 및 제언

본 연구에서는 간호학생의 시뮬레이션 교육의 학습 성과를 측정하기 위한 간호역량 측정도구를 개발하고 타당도와 신뢰도를 검증하였다. 본 도구는 항목 수가 적고 관찰 가능한 행위 중심으로 기술되어 있어 측정이 간편하다. 또한 시나리오 비특이적인 내용으로 구성되어 포괄적이며, 자가 보고형과 관찰을 통한 평가가 가능하여 활용도가 높다. 추후 다양한 시나리오를 기반으로 한 시뮬레이션 학습 평가에 적용하고 반복연구를 통해 도구를 정련함으로써 간호교육현장에서 유용한 평가도구로 활용될 것으로 기대된다.

References

Adams, K. A., & Lawrence, E. K. (2014). Research methods, statistics, and applications. London: Sage Publications.

Adams, K. A., et al, Lawrence, E. K.(2014Research methods, statistics, and applicationsLondonSage Publications
Andersen, P., Jensen, M. K., Lippert, A., & Østergaard, D. (2010). Identifying non-technical skills and barriers for improvement of teamwork in cardiac arrest teams. Resuscitation. 81(6), 695-702.
crossref
Andersen, P., Jensen, M. K., Lippert, A., et al, Østergaard, D.(2010Identifying non-technical skills and barriers for improvement of teamwork in cardiac arrest teamsResuscitation81(6695-702
Andrade, H. G. (2000). Using rubrics to promote thinking and learning. Educational Leadership, 57(5), 13-18.

Andrade, H. G.(2000Using rubrics to promote thinking and learningEducational Leadership57(513-18
Benner, P., Sutphen, M., Leonard, V., & Day, L. (2010). Educating nurses: a call for radical transformation. San Francisco, CA: Jossey-Bass.

Benner, P., Sutphen, M., Leonard, V., et al, Day, L.(2010Educating nurses: a call for radical transformationSan Francisco, CAJossey-Bass
Cato, M. L., Lasater, K., & Peeples, A. I. (2009). Nursing students' self-assessment of their simulation experiences. Nursing Education Perspectives, 30(2), 105-108.

Cato, M. L., Lasater, K., et al, Peeples, A. I.(2009Nursing students' self-assessment of their simulation experiencesNursing Education Perspectives30(2105-108
Cooper, S., Cant, R., & Porter, J. (2010). Rating emergency teamwork performance development of the team emergency assessment measure (TEAM). Resuscitation, 81(4), 446-452.
crossref
Cooper, S., Cant, R., et al, Porter, J.(2010Rating emergency teamwork performance development of the team emergency assessment measure (TEAM)Resuscitation81(4446-452
Cronenwett, L. G., Sherwood, J., Barnsteiner, J., Disch, J., Johnson, P., & Mitchell, D., et al. (2007). Quality and safety education for nurses. Nursing Outlook, 55(3), 122-131.
crossref
Cronenwett, L. G., Sherwood, J., Barnsteiner, J., Disch, J., Johnson, P., et al, Mitchell, D., et al(2007Quality and safety education for nursesNursing Outlook55(3122-131
Davis, D. A., Mazmanian, P. E., Fordis, M., Van Harrison, R. T. K. E., Thorpe, K. E., & Perrier, L. (2006). Accuracy of physician self-assessment compared with observed measures of competence: a systematic review. The Journal of the American Medical Association, 296(9), 1094-1102.
crossref
Davis, D. A., Mazmanian, P. E., Fordis, M., Van Harrison, R. T. K. E., Thorpe, K. E., et al, Perrier, L.(2006Accuracy of physician self-assessment compared with observed measures of competence: a systematic reviewThe Journal of the American Medical Association296(91094-1102
DeVellis, R. F. (2012). Scale development: theory and applications (3rd ed.). Los Angeles: Sage.

DeVellis, R. F.(2012Scale development: theory and applications(3rd ed.)Los AngelesSage
Enlow, M., Shanks, L., Guhde, J., & Perkins, M. (2010). Incorporating interprofessional communication skills (ISBARR) into an undergraduate nursing curriculum. Nurse Educator, 35(4), 176-180.
crossref
Enlow, M., Shanks, L., Guhde, J., et al, Perkins, M.(2010Incorporating interprofessional communication skills (ISBARR) into an undergraduate nursing curriculumNurse Educator35(4176-180
Gantt, L. T. (2010). Using the clark simulation evaluation rubric with associate degree and baccalaureate nursing students. Nursing Education Perspectives, 31(2), 101-105.

Gantt, L. T.(2010Using the clark simulation evaluation rubric with associate degree and baccalaureate nursing studentsNursing Education Perspectives31(2101-105
Hayden, J. (2010). Use of simulation in nursing education: National survey results. Journal of Nursing Regulation, 1(3), 52-57.
crossref
Hayden, J.(2010Use of simulation in nursing education: National survey resultsJournal of Nursing Regulation1(352-57
Kardong-Edgren, S. E., Adamson, K. A., & Fitzgerald, C. (2010). A review of currently published evaluation instruments for human patient simulation. Clinical Simulation in Nursing, 6(1), e25-e35.
crossref
Kardong-Edgren, S. E., Adamson, K. A., et al, Fitzgerald, C.(2010A review of currently published evaluation instruments for human patient simulationClinical Simulation in Nursing6(1e25-e35
Kardong-Edgren, S. E., Starkweather, A. R., & Ward, L. D. (2008). The integration of simulation into a clinical foundations of nursing course: Student and faculty perspectives. International Journal of Nursing Education Scholarship, 5(1), 1-16.
crossref
Kardong-Edgren, S. E., Starkweather, A. R., et al, Ward, L. D.(2008The integration of simulation into a clinical foundations of nursing course: Student and faculty perspectivesInternational Journal of Nursing Education Scholarship5(11-16
Kim, H. R. (2013). The proposed rubrics simulation education effect on nursing student’s academic achievement. The Journal of Korean Academic Society of Nursing Education, 19(4), 487-497.
crossref
Kim, H. R.(2013The proposed rubrics simulation education effect on nursing student’s academic achievementThe Journal of Korean Academic Society of Nursing Education19(4487-497
Kneebone, R., Kidd, J., Nestel, D., Asvall, S., Paraskevas, P., & Darzi, A. (2002). An innovative model for teaching and learning clinical procedures. Medical Education, 36(7), 628-634.
crossref
Kneebone, R., Kidd, J., Nestel, D., Asvall, S., Paraskevas, P., et al, Darzi, A.(2002An innovative model for teaching and learning clinical proceduresMedical Education36(7628-634
Kolb, S. E., & Shugart, E. B. (1984). Evaluation: is simulation the answer? The Journal of Nursing Education, 23(2), 84-86.

Kolb, S. E., et al, Shugart, E. B.(1984Evaluation: is simulation the answer?The Journal of Nursing Education23(284-86
Korean Accreditation Board of Nursing Education. (2014). Specify the colleges four-year term of study screening. Retrieved January 20, 2014, from Korean Accreditation Board of Nursing Education Web site: http://kabon.or.kr/kabon02/index04.php

Korean Accreditation Board of Nursing Education(2014Specify the colleges four-year term of study screeningRetrieved January 20, 2014from Korean Accreditation Board of Nursing Education Web site: http://kabon.or.kr/kabon02/index04.php
Lasater, K. (2011). Clinical judgment: the last frontier for evaluation. Nurse Education in Practice, 11(2), 86-92.
crossref
Lasater, K.(2011Clinical judgment: the last frontier for evaluationNurse Education in Practice11(286-92
Lewis, R., Strachan, A., & Smith, M. M. (2012). Is high fidelity simulation the most effective method for the development of non-technical skills in nursing? A review of the current evidence. The Open Nursing Journal, 6, 82-89.
crossref
Lewis, R., Strachan, A., et al, Smith, M. M.(2012Is high fidelity simulation the most effective method for the development of non-technical skills in nursing? A review of the current evidenceThe Open Nursing Journal682-89
Mitchell, L., & Flin, R. (2008). Non-technical skills of the operating theatre scrub nurse: Literature review. Journal of Advanced Nursing, 63(1), 15-24.
crossref
Mitchell, L., et al, Flin, R.(2008Non-technical skills of the operating theatre scrub nurse: Literature reviewJournal of Advanced Nursing63(115-24
Mulder, M., Gulikers, J., Biemans, H., & Wesselink, R. (2009). The new competence concept in higher education: Error or enrichment? (8), 755-770.
crossref
Mulder, M., Gulikers, J., Biemans, H., et al, Wesselink, R.(2009The new competence concept in higher education: Error or enrichment?Journal of European Industrial33(8755-770
Paris, C., Salas, E., & Cannon-Bowers, J. A. (2000). Teamwork in multi-person systems: A review and analysis. Ergonomics, 43(8), 1052-75.
crossref
Paris, C., Salas, E., et al, Cannon-Bowers, J. A.(2000Teamwork in multi-person systems: A review and analysisErgonomics43(81052-75
Rhodes, M. L., & Curran, C. (2005). Use of the human patient simulator to teach clinical judgment skills in a baccalaureate nursing program. Computers, Informatics, Nursing, 23(5), 256-262.
crossref
Rhodes, M. L., et al, Curran, C.(2005Use of the human patient simulator to teach clinical judgment skills in a baccalaureate nursing programComputers, Informatics, Nursing23(5256-262
Sung, T. J. (2002). Validity and reliability. Seoul: Hakjisa.

Sung, T. J.(2002Validity and reliabilitySeoulHakjisa
Sung, T. J. (1996). Theory and practice: item development and analysis. Seoul: Hakjisa.

Sung, T. J.(1996Theory and practice: item development and analysisSeoulHakjisa
Tanner, C. A. (2006). Thinking like a nurse: a research-based model of clinical judgment in nursing. Journal of Nursing Education, 45(6), 204-211.
crossref
Tanner, C. A.(2006Thinking like a nurse: a research-based model of clinical judgment in nursingJournal of Nursing Education45(6204-211
Todd, M., Manz, J. A., Hawkins, K. S., Parsons, M. E., & Hercinger, M. (2008). The development of a quantitative evaluation tool for simulations in nursing education. International Journal of Nursing Education Scholarship, 5(1), 1-17.
crossref
Todd, M., Manz, J. A., Hawkins, K. S., Parsons, M. E., et al, Hercinger, M.(2008The development of a quantitative evaluation tool for simulations in nursing educationInternational Journal of Nursing Education Scholarship5(11-17
Yang, B. W. (1998). Introduction and application of multivariate data analysis. Seoul: Hakjisa.

Yang, B. W.(1998Introduction and application of multivariate data analysisSeoulHakjisa


ABOUT
BROWSE ARTICLES
FOR CONTRIBUTORS
Editorial Office
Department of Nursing, Konkuk University
268, Chungwondaero, Chunju-si, Chungcheongbuk-do, 27478, Korea
Tel: +82-43-840-3950    E-mail: parkms@kku.ac.kr                

Copyright © 2021 by The Korean Academic Society of Nursing Education. All rights reserved.

Developed in M2PI

Close layer
prev next