간호학생을 위한 메타버스기반 활력징후측정과 피하주사 핵심간호술 콘텐츠 개발 및 효과 검증

The development and effects of metaverse-based core nursing skill contents of vital signs measurements and subcutaneous injections for nursing students

Article information

J Korean Acad Soc Nurs Educ. 2022;28(4):378-388

Publication date (electronic) : 2022 November 30

doi : https://doi.org/10.5977/jkasne.2022.28.4.378

Min Kweon Ahn ¹⁾^,

안민권¹⁾^,

¹⁾ 조선간호대학교 간호학과, 조교수

¹⁾ Assistant Professor, Department of Nursing, Chosun Nursing College

Address reprint requests to: Ahn, Min Kweon Department of Nursing, Chosun Nursing College, 70, Chosundae 2-gil, Dong-gu, Gwangju, 61453, Republic of Korea Tel: +82-62-231-7088, Fax: +82-62-231-7019, E-mail: n2gether79@naver.com

Received 2022 July 13; Revised 2022 August 22; Accepted 2022 August 31.

Abstract

Purpose:

The purpose of this study was to evaluate the effects of Metaverse-based core nursing skill contents (CNSC) developed for undergraduate nursing students.

Methods:

A nonequivalent control group was sampled with a non-synchronized design. Seventy-two participants (experimental group 34, control group 38) were recruited from May to June 2022 in Gwangju metropolitan city. The CNSC consisted of scenarios of vital sign measurements, and subcutaneous injections (including blood sugar tests). The data were analyzed using SPSS version 25 for Windows.

Results:

At the completion of the CNSC, statistically differences were found between groups in knowledge of core nursing skills (t=6.20, p<.001), confidence in core nursing skills performance (t=5.71, p<.001), and clinical competency (t=3.32, p=.001).

Conclusion:

These results indicate that the CNSC developed for undergraduate nursing students is effective in improving knowledge of core nursing skills, confidence in core nursing skills performance, and clinical competency for nursing students.

Keywords: Nursing; Students; Clinical skill

Keywords: 간호; 학생; 핵심간호술

서 론

연구의 필요성

최근 급속도로 성장하고 있는 3차원(three-dimension, 3D) 가상세계인 ‘메타버스(Metaverse)’는 의료, 교육 등의 다양한 분야에서 활용되고 있다[1]. 기존의 강의식 교육이나 임상실습 시 단순한 관찰만으로는 실질적으로 간호 현장에서의 실무능력을 향상시키는 데에 한계가 있으므로[2], 학습자의 적극적인 참여와 실제 임상경험을 대리할 수 있는 메타버스를 활용한 교육은 간호교육 분야에도 많은 영향을 줄 것으로 예상되고 있다[3].

‘메타버스’는 닐 스티븐슨의 science fiction (SF) 소설 스노우 크래쉬(snow crash, 1992)에서 처음 등장하였다. ‘초월’, ‘상위’의 의미인 접두어 메타(meta)와 ‘세계’, ‘우주’를 뜻하는 유니버스(universe)의 합성어이다. 물리적인 우주를 초월한 새로운 공간이란 의미로 기존의 가상현실보다 진보되고 복잡한 개념이다. 기존의 디지털 가상공간의 세계와 가상현실을 기반으로 두고 있는 상호성이 강한 디지털 몰입공간인 3D 가상세계와의 융합을 말한다 [4]. 미래 가속화 기술 연구단체인 Acceleration Studies Foundation (ASF)에서 제시한 메타버스 로드맵(Metaverse Roadmap)에 의하면 메타버스는 3D 가상세계로서 웹(world wide web)의 미래를 의미하며, 가상적으로 확장된 물리적 현실세계이고 영구성을 띄게 된다. 그리고 유저들은 두 가지 이상의 요소들이 혼재된 경험을 하게 된다고 개념을 정립하였다[5]. ASF에서 제시한 메타버스의 4가지 요소는 증강현실(augmented reality, AR), 라이프로깅(lifelogging), 미러월드(mirror world), 가상세계(virtual world)이다. 증강현실은 현실의 정보를 바탕으로 가상의 정보를 현실공간에 합성하는 기술이다. 가상세계의 것들을 실시간으로 현실에 불러들여 상호작용하며 디스플레이 할 수 있다. 대표적인 것으로 전투기나 자동차의 헤드업 디스플레이(head up display, HUD), 스마트폰을 이용한 증강현실이 있다. 라이프로깅은 현실에서 자신에게 일어나는 경험 정보를 기록하고 후에 이를 재현해 주는 기술이다. 대표적인 예로 일상의 정보를 사진 촬영하여 커뮤니티에 올리는 소셜 네트워크서비스(social networking service, SNS), 운동패턴을 기록해주는 앱 등이 있다. 미러월드는 현실을 기반으로 한 정보적 확장 가상세계로, 현실세계의 환경적 정보를 거울처럼 가상공간에 구축한 것이다. 대표적인 것으로 웹기반 지도와 로드뷰가 이에 해당된다. 가상세계는 현실세계와 유사한 환경을 디지털 공간에 적용하는 것이다. 사용자는 아바타를 통하여 직접적으로 자신의 의지를 반영할 수 있고, 현실세계와 비슷한 수준의 정치, 문화, 경제, 교육 등의 활동을 가능하게 한다. 대표적인 것으로 대규모 다중 사용자 온라인 롤플레잉 게임(massive multi-player online role playing game, MMORPG)가 이에 해당된다[5].

핵심간호술은 간호사들이 실무현장에서 대상자의 건강문제를 효율적인 방법으로 해결할 수 있는 필수적인 기술이며, 간호사가 직무수행 중 중요도와 빈도가 높은 기본적인 실무능력이다[6]. 한국간호교육평가원은 핵심간호술을 ‘상 ‧ 중 ‧ 하’의 난이도로 구분하고 18개 항목으로 표준화하였다. 또한 핵심간호술 평가항목 프로토콜을 개발하여 간호학과 인증평가 시 평가 항목으로 적용하고 있다[7]. 특히 활력징후 측정과 간이 혈당측정 검사(피하주사) 항목은 간호학생들이 임상실습에서 자주 접하므로 이에 교수자는 간호학생들이 스스로 효율적인 학습을 할 수 있도록 하는 방안에 대해 고민하지 않을 수 없다.

2000년대 이후 출생한 디지털 네이티브(digital native) 학생들은 교실에서의 전통적인 강의식 수업보다 디지털 게임, 유튜브 등의 다양한 미디어를 통한 학습에 친숙하며, 스마트폰에서 구현되는 간호관련 학습매체에 대해 긍정적으로 평가했다[8,9]. 메타버스기반의 교육은 개인용 컴퓨터(personal computer, PC) 또는 모바일 기기를 활용하여 기존의 디지털 가상공간의 세계와 가상현실을 기반으로 두고 있는 상호성이 강한 디지털 몰입공간인 3D 가상세계와의 융합을 통해 시‧공간의 제약 없이 언제 어디서든 반복적으로 학습할 수 있도록 해준다. 학습자는 핵심간호술 콘텐츠를 통해 학습동기를 촉진 및 문제해결을 위한 게이미피케이션(gamification)을 경험하여 학습 시 게임하듯 즐겁게 학습할 수 있다. 또한 교수자는 학습자와 상호작용을 할 수 있고, 학습자의 학습상황을 수시로 체크할 수 있으며, 이를 통해 학습자의 핵심간호술 학습에 대한 성취도를 확인할 수 있다. 이와 같은 메타버스기반 교육의 장점들을 활용하여 미디어 등을 활용한 학습에 익숙하고 보다 적극적인 디지털 네이티브 학생들에게 시‧공간을 초월한 메타버스기반 간호교육 콘텐츠 개발이 필요함을 알 수 있다.

핵심간호술 관련 선행연구를 살펴보면 핵심간호술에 대한 자신감 및 수행능력 등의 향상을 위해 다각적인 노력이 이루어지고 있었다. 팀빌딩을 활용한 방법[10], 동영상 촬영을 통한 동료 간 피드백[11], 모바일 기기 활용 핵심간호술 동영상 촬영 교수법[11,12], 핵심간호술기 모바일 애플리케이션 개발[13] 등의 핵심간호술에 대한 자신감 및 수행능력 등의 향상을 위한 다양한 시도가 이루어졌다. 또한, 핵심간호술 향상을 위한 virtual reality (VR) 활용 연구로는 몰입형 VR을 활용한 인슐린 주사 핵심간호술 콘텐츠 개발 연구[14], 정맥수액주입 VR시뮬레이션 적용 및 평가 연구[15] 등으로 다양한 시도가 있었다. 그러나 현실세계를 반영하고 상호작용이 가능하며, 다양한 경험을 가능하게 하고 핵심간호술에 대한 자신감 및 수행능력 등의 향상을 위한 국내· 외간호학 분야 메타버스기반의 연구는 거의 전무 하였다.

이에 메타버스기반 핵심간호술 콘텐츠를 적용하여 간호학생들의 핵심간호술 강화에 더 효과적인 교육방법으로 작용할 수 있을 것이다. 메타버스기반 핵심간호술 콘텐츠를 간호학생들에게 적용하여 그 효과를 알아봄으로써, 간호학생의 역량 강화와 질 높은 간호를 위한 간호교육의 기초를 마련하고자 한다.

연구 목적

본 연구의 목적은 간호학생을 위한 메타버스기반 핵심간호술 콘텐츠를 개발하여 그 효과를 검증하는 것이다.

연구 가설

∙ 가설 1. 메타버스기반 핵심간호술 콘텐츠를 적용한 중재군과 대조군의 핵심간호술 지식은 차이가 있을 것이다.

∙ 가설 2. 메타버스기반 핵심간호술 콘텐츠를 적용한 중재군과 대조군의 핵심간호술 수행자신감은 차이가 있을 것이다.

∙ 가설 3. 메타버스기반 핵심간호술 콘텐츠를 적용한 중재군과 대조군의 임상수행능력은 차이가 있을 것이다.

연구 방법

연구 설계

본 연구는 메타버스기반 핵심간호술 콘텐츠가 간호학생의 핵심간호술 지식, 핵심간호술 수행자신감 및 임상수행능력에 미치는 효과를 파악하기 위한 비동등성 대조군 전후 시차설계 유사실험연구이다(Figure 1).

Figure 1

Flow chart of study

연구 대상자

본 연구는 간호학과에 재학생을 대상으로 하였으며, 광주광역시에 위치한 조선간호대학교의 간호학과 재학생을 대상으로 편의모집하였다. 본 연구자의 수업을 수강하는 학생이 아닌 2학년 전체 재학생을 대상으로 공고 후 모집하였으며, 연구의 목적을 이해하며 자발적으로 참여 동의에 응한 자를 대상으로 하였다. 구체적인 대상자 선정기준은 (1) 핵심간호술 이론 학습자(간호학과 2학년 1학기 이수 예정자), (2) 핵심간호술 실습 경험이 없는 자, (3) 메타버스기반 핵심간호술 콘텐츠 수행 경험이 없는 자이다.

대상자 수 선정 기준은 G*Power 3.1 Program을 이용하였으며, 선행연구를 바탕으로[16] independent t-test를 위한 검정력 .90, 효과크기 .80, 유의수준 .05를 입력 후 산출 결과(two-tailed), 필요한 최소 표본크기는 집단별로 34명이었다. 탈락률과 부실한 응답 등을 고려하여 중재군과 대조군 각각 40명을 목표로 모집하였다.

본 연구자가 조선간호대학교 간호학과 재학 중인 학생 중 대상자 선정기준 항목을 충족여부를 검토하여 확인 후 선정하였다. 중재효과에 대한 확산을 방지하기 위해 대조군과 중재군을 시차를 두어 모집하였다.

중재군 후보인 2학년 1학기 전체 재학생 186명 중 사전조사에 참여한 대상자는 35명이었으며, 이 중에서 34명이 중재 직후 사후조사에 참여하였다(탈락률 2.9%). 대조군 후보 38명 중 사전조사에 참여한 대상자는 38명이었으며, 이 중에서 38명이 중재 직후 사후조사에 참여하였다. 최종 대상자는 중재군 34명, 대조군 38명으로 선정하여 총 72명의 자료를 분석에 활용하였으며, 대상자들에게는 소정의 선물(노트, 필기도구)을 증정하였다.

연구 도구

● 핵심간호술 지식

핵심간호술 지식은 활력징후 측정과 피하주사(간이 혈당검사 포함)에 대한 지식으로 연구자가 10문항을 직접 개발하였고 5년 이상 기본간호학을 강의한 교수 2인과 성인간호학을 담당하는 교수 2인에게 내용타당도를 확인하였다. 내용타당도 측정을 위해 4점 척도로 구성된 설문지를 이용하였고, 각 문항에 대해 ‘매우 타당하다’ 4점부터 ‘매우 타당하지 않다’ 1점까지 응답하게 하였다. 내용 타당도 지수(Content Validity Index, CVI)는 .95였으며, 각 문항에 대한 내용타당도가 확인되었다. 핵심간호술 지식도구는 활력징후측정 5문항, 피하주사 5문항의 총 10개 문항으로 구성되었고, 점수가 높을수록 핵심간호술과 관련된 지식이 높음을 의미한다. 핵심간호술 지식도구 10개의 문항은 ‘예’, ‘아니요’의 이분문항으로 구성되어 있는데 내적일관성 신뢰도 산출을 위해 이분문항 시 사용되는 KR-20값을 사용하였다. 본 연구에서 내적일관성 신뢰도는 .81로 나타났다.

● 핵심간호술 수행자신감

핵심간호술 수행자신감은 간호대학생이 핵심간호술을 수행함에 따른 자신의 주관적인 감정을 점수로 평가한 것이다[7]. 핵심간호술은 한국간호교육평가원에서 개발한 18가지 항목 중 활력징후 측정과 피하주사(간이 혈당검사 포함)에 대한 두 가지 항목을 각각 5점 likert 척도의 평가도구로 측정한 점수를 의미하며, 점수가 높을수록 핵심간호술 수행자신감이 높음을 의미한다. 점수의 범위는 최저 2점에서 최고 10점까지이고, 점수가 높을수록 핵심간호술 수행자신감이 높음을 의미한다. 도구의 내적일관성 신뢰도 Cronbach’s α는 .85였다.

● 임상수행능력

임상수행능력은 Schwirian [17]의 Six-Demension Scale을 기반으로 Choi [18]가 수정, 보완한 도구를 사용하였다. 이 도구는 임상수행능력과 관련된 5가지 하위영역을 측정하는 도구로 총 45문항으로 구성되어 있다. 5가지 하위영역은 간호과정 11문항, 간호기술 11문항과 간호교육/협력관계 8문항, 대인관계/의사소통 6문항 및 전문직 발전 9문항으로 구성되어 있다. 각 문항은 5점 ‘매우 잘 한다’에서 1점 ‘매우 못 한다’의 5점 Likert 척도로 구성되어있다. 점수의 범위는 최고 225점부터 최저 45점까지이고, 점수가 높을수록 임상수행능력이 높음을 의미하며, 본 연구에서는 각 문항의 평균점수를 사용하였다. 도구 개발 당시 내적일관성 신뢰도 Cronbach’s α는 .96이었고, 본 연구에서는 .95였다.

중재: 메타버스기반 핵심간호술 콘텐츠

메타버스기반 핵심간호술 콘텐츠는 Analyze learners, State Objectives, Select method, media and materials, Utilize media and materials, Require learners participation, Evaluate and revise (ASSURE) 모형[19]을 근거하여 개발하였다. 콘텐츠 내용은 2020년 조선간호대학교 교육만족도 조사결과, 교육수요자 및 현장지도자의 의견을 수렴하여 활력징후 측정과 피하주사(간이 혈당검사 포함)로 구성하였다. 난이도가 낮은 활력징후 측정 콘텐츠는 물품준비, 대상자와 의사소통, 활력징후 측정 수행 항목이 포함되어 있어 수행시간은 10∼15분 정도로 구성하였다. 난이도가 상대적으로 높은 피하주사 콘텐츠에서는 물품준비, 대상자와 의사소통, 간이 혈당측정 검사 및 피하주사 수행 등의 과제를 포함하여 15∼20분 정도의 시간을 필요로 하도록 구성하였다. 1단계 학습자 분석, 2단계 목표 진술, 3단계 교수자료 선택 및 미디어와 교수자료 활용, 4단계 학습자 참여 요구 및 평가와 수정의 절차로 진행하였다. 메타버스기반 핵심간호술 콘텐츠 개발기간은 2020년 11월부터 2021년 4월까지였다.

1단계 ‘학습자 분석’은 문헌고찰, 교육과정 만족도 조사 등에 대한 분석을 통해 학습자와 현장지도자 및 4차 산업혁명 시대의 교육수요에 대해 파악하였다.

2단계 ‘목표 진술’ 단계에서는 ‘학생들이 임상실습 중 주로 경험하는 활력징후 측정과 피하주사(간이 혈당검사 포함) 간호 사례를 통해 핵심간호술 지식, 핵심간호술 수행자신감, 임상수행능력이 향상된다.’로 목표를 설정하였다.

3단계 ‘교수자료 선택 및 미디어와 교수자료 활용’은 ‘학습자 분석’을 바탕으로 메타버스 등 교육에 필요한 새로운 기기와 다양한 정보를 결합하는 4차 산업혁명에 맞는 교육정책을 반영할 필요가 있었으며, 미래사회에 필요한 교육역량을 강화할 필요가 있다고 판단하였다. 이에 메타버스 콘텐츠 제작 전문 업체와의 협업을 통해 메타버스기반 핵심간호술 콘텐츠를 개발하였다. 이 콘텐츠는 코스페이시스 에듀(Cospaces Edu) 플랫폼을 활용하여 핵심간호술 4.1판[7]을 참고하여 각 핵심간호술 수행절차에 맞게 구성하였으며, 콘텐츠 중간 중간에 퀴즈를 추가하였다.

4단계 ‘학습자 참여 요구 및 평가와 수정’에서는 조선간호대학교 간호학생 10명, 간호학 교수 3명, 간호사 10명을 대상으로 2021년 2월부터 2021년 3월까지 시범운영을 하여 콘텐츠의 내용의 적절성(핵심간호술 정확성, 핵심간호술 절차, 환경 및 이미지 구현도 등)에 대해 체크리스트 항목에 적절성 여부를 체크하도록 하였고, 수정이 필요하거나 미흡한 부분에 대해 피드백을 받았다. 또한, 평가를 위해 참여한 대상자들로부터 핵심간호술 지식, 핵심간호술 수행자신감, 임상수행능력 향상의 학습목표 달성을 위한 각 콘텐츠의 내용에 대해서도 평가를 받았다. 평가에 참여한 사람들에게서 메타버스기반 핵심간호술 콘텐츠를 체험해 본 소감을 듣고, 핵심간호술 절차, 객체 이미지 등의 세부사항을 일부 수정하였다.

중재 적용과 자료수집

본 연구는 연구 참여 대상자 보호를 위하여 조선간호대학교 생명윤리심의위원회 승인(2-7008161-A-N-01(조간) 2021-08-01) 후, 자료를 수집하였다. 연구 대상자에게 연구 참여에 동의한 경우에만 설문에 응답할 수 있도록 하였으며, 익명성 보장 및 비밀유지, 연구의 목적과 절차, 연구 참여 철회 시에도 불이익이 없음을 설명하였다. 또한 참여자들의 경우에도 성적 등에 이익이 없음을 설명하였다. 사전‧사후조사 및 중재 적용은 연구자가 직접 수행하였다.

● 사전조사

중재군의 사전조사는 2022년 5월 27일부터 2022년 6월 4일까지, 대조군은 2022년 6월 5일부터 2022년 6월 12일까지 실시하였다. 대상자가 연구 참여에 대한 동의서를 작성한 후 구조화된 설문지에 응답하도록 하여 자료를 수집하였다. 설문작성 소요 시간은 10∼15분이었다.

● 중재 적용

메타버스기반 핵심간호술 콘텐츠 적용은 2022년 5월부터 2022년 6월까지 사전조사 후 2주 이내에 실시하였다. 실험 기간 동안 중재군에게 메타버스기반 핵심간호술 콘텐츠의 활력징후 측정과 피하주사(간이 혈당검사 포함) 2개를 1회씩 적용하였다. ‘사전 오리엔테이션 → 메타버스기반 핵심간호술 콘텐츠 적용 → 디브리핑’의 순서로 운영하였다. 사전 오리엔테이션 시 메타버스기반 핵심간호술 콘텐츠 적용 전 Cospaces Edu 플랫폼 사용법 등에 대해 교육하였다. 메타버스기반 핵심간호술 콘텐츠 적용은 교수자가 Cospaces Edu 플랫폼에서 공유설정 후 링크를 생성하여 SNS (Kakao Talk)를 통해 링크를 학생들에게 공유하여 시행하였다. 공유된 링크를 클릭하면 CoSpaces Edu에 접속하게 되고, 메타버스기반 핵심간호술 콘텐츠를 수행할 수 있다. PC 또는 스마트폰을 활용하여 핵심간호술 콘텐츠를 수행할 수 있으며, head mounted display (HMD) 장비와 연동하여서도 사용이 가능하다. HMD 장비와 연동 시에는 손에 controller를 쥐고 활력징후 측정, 피하주사 중 한 개의 콘텐츠를 선택 후 가상공간인 대상자의 병실에 방문하여 HMD를 활용해 주변의 전체 환경을 시야를 달리하여 둘러볼 수 있으며, controller를 활용해 동작, 선택 등의 조작을 스스로 할 수 있다. 시나리오 시행의 순서는 난이도가 상대적으로 낮은 활력징후 측정을 먼저 시행한 후 난이도가 비교적 높은 피하주사를 시행하도록 하였다.

시나리오 상황은 대상자 정보를 먼저 파악한 후 간호 상황에 맞는 물품을 준비 후 대상자의 병실에 방문하여 대상자와의 의사소통 후 대상자의 간호문제를 파악하고, 핵심간호술을 적용하게 된다. 물품준비 시 해당 핵심간호술에 필요한 물품뿐만 아니라 그 외 다양한 물품들을 구현하여 학생들이 핵심간호술에 맞는 물품을 직접 선택하도록 하였으며, 핵심간호술에 맞지 않는 물품을 선택하였을 시 절차 진행이 되지 않도록 하였다. 핵심간호술 수행은 핵심간호술 4.1판[7]에서 제시한 절차에 맞게 수행하도록 구성하였으며, 중간 중간에 간단한 퀴즈를 풀 수 있도록 하였다(Figure 2). 시나리오 수행 소요시간은 활력징후 측정 10∼15분, 간이 혈당검사를 포함한 피하주사는 15∼20분이었다. 간호학생 한 명이 메타버스기반 핵심간호술 콘텐츠를 수행하는데 걸린 시간은 총 25~35분이었다. 메타버스기반 핵심간호술 콘텐츠 중재 적용은 2학년 1학기 기간 중 수업시간 외에 이루어졌다. Cospaces Edu 플랫폼의 녹화기능을 활용하여 메타버스기반 핵심간호술 콘텐츠 시행 장면을 참가자들의 사전 동의를 얻어 녹화하였으며, 디브리핑 시 녹화 영상을 활용하였다.

Figure 2

Screen of core nursing skill contents

대조군에게는 기본간호학 이론과 실습에 대한 온‧오프라인이 활용된 통상적 교육이 제공되었으며, COVID-19 상황에 따라 Learning Management System (LMS)을 활용하여 일부를 운영하였다.

● 사후조사

중재군의 사후조사는 2022년 6월 3일부터 2022년 6월 4일까지, 대조군은 2022년 6월 11일부터 2022년 6월 12일까지 실시하였다. 중재군과 대조군의 핵심간호술 지식, 핵심간호술 수행자신감 및 임상수행능력에 대해 다시 설문을 실시하였으며, 설문작성 소요 시간은 10∼15분이었다.

자료 분석 방법

수집된 자료는 IBM SPSS 25.0 버전(IBM Corp., Armonk, NY, USA)을 이용하여 유의수준 .05에서 양측 검정으로 분석하였다. Shapiro–Wilk test를 이용하여 정규성을 검정하였으며, 그 결과 모든 변수들은 정규성 가정을 만족하였다. 중재군과 대조군의 동질성 검증은 χ²-test와 independent t-test를 이용하여 분석하였다. 평균과 표준편차, 빈도 및 백분율을 이용하여 대상자의 일반적 특성을 산출하였다. 중재군과 대조군의 사전‧사후 핵심간호술 지식, 핵심간호술 수행자신감 및 임상수행능력 향상의 차이는 paired t-test로 검증하였다. 중재군과 대조군 간의 핵심간호술 지식, 핵심간호술 수행자신감 및 임상수행능력의 차이는 independent t-test로 검증하였다.

연구 결과

중재군과 대조군의 일반적 특성에 대한 동질성 검정

참여자 대부분은 여학생이었고, 자가 보고에 따른 이들의 성적수준(직전 학기)은 중위권이 대부분이었다. 중재군과 대조군의 일반적 특성에 대한 동질성 검정 결과, 통계적으로 유의한 차이는 없었다(Table 1).

Table 1

Homogeneity Test of Characteristics of Participants (N=72)

중재군과 대조군의 사전 종속변수에 대한 동질성 검정

종속변수인 핵심간호술 지식, 핵심간호술 수행자신감 및 임상수행능력에 대한 사전 동질성 검정 결과, 모든 변수에서 중재군과 대조군 간에 통계적으로 유의한 차이가 없어 동질성이 확보되었다(Table 2).

Table 2

Homogeneity Test of Dependent Variables of Participants (N=72)

메타버스기반 핵심간호술 콘텐츠의 효과검증

● 핵심간호술 지식

가설 1. ‘메타버스기반 핵심간호술 콘텐츠를 적용한 중재군과 대조군의 핵심간호술 지식은 차이가 있을 것이다.’를 검정한 결과, 중재군의 경우 2.36점 증가하였고 대조군의 경우 0.05점 증가해 두 군 간에 유의한 차이를 보여(t=6.20, p<.001) 가설은 지지되었다. 하위영역에서는 활력징후 측정 지식(t=4.29, p<.001), 피하주사 지식(t=5.92, p<.001)에서 통계적으로 유의한 차이를 보였다(Table 3).

Table 3

Effects of the Core Nursing Skill Contents on Dependent Variables (N=72)

● 핵심간호술 수행자신감

가설 2. ‘메타버스기반 핵심간호술 콘텐츠를 적용한 중재군과 대조군의 핵심간호술 수행자신감은 차이가 있을 것이다.’를 검정한 결과, 중재군의 경우 1.35점 증가하였고 대조군의 경우 0.14점 증가해 두 군 간에 유의한 차이를 보여(t=5.71, p<.001) 가설은 지지되었다(Table 3).

● 임상수행능력

가설 3. ‘메타버스기반 핵심간호술 콘텐츠를 적용한 중재군과 대조군의 임상수행능력은 차이가 있을 것이다.’를 검정한 결과, 중재군의 경우 0.76점 증가하였고 대조군의 경우 0.16점 증가해 두 군 간에 유의한 차이를 보여(t=3.32, p=.001) 가설은 지지되었다. 하위영역에서는 간호과정(t=3.68, p<.001), 간호기술(t=3.43, p=.001), 간호교육/협력관계(t=2.83, p=.006), 대인관계/의사소통(t=2.62, p.=011), 전문직 발전(t=2.62, p=.011)에서 통계적으로 유의한 차이를 보였다(Table 3).

논 의

본 연구는 ASSURE 모형에 근거하여 메타버스기반 핵심간호술 콘텐츠를 개발하고, ‘메타버스기반 핵심간호술 콘텐츠가 간호학생의 핵심간호술 지식, 핵심간호술 수행자신감 및 임상수행능력에 효과가 있을 것이라는 가설을 설정하고 이를 검증하고자 시행되었다.

본 연구 결과, 핵심간호술 지식은 ‘메타버스기반 핵심간호술 콘텐츠를 적용한 중재군이 대조군보다 유의하게 향상되었다. 이 같은 결과는 간호학생을 대상으로 HMD기반 재가방문 VR 시뮬레이션을 적용하여 재가방문 지식이 향상되었다고 보고한 선행연구 결과와 간호학생을 대상으로 간호사정 VR 시뮬레이션 적용 후 인지적 지식이 향상되었다고 보고한 선행연구 결과와 맥락을 같이한다[20]. 또한, 간호학생을 대상으로 증강현실을 활용한 고위험 분만 교육이 지식을 포함한 학업성취도를 높이는 것으로 나타났으며[21], 대학생을 대상으로 버벨라(virbela) 메타버스기반 수업을 적용하여 학습실재감과 시각적 주의집중이 향상되었다고 보고한 선행연구 결과와도 맥락을 같이한다[22]. 이들 모두는 메타버스의 구성요소인 VR, AR을 활용한 간호교육 시 학습의 실재감을 높여주고 시각적으로 주의집중을 향상시켜 간호와 관련된 지식을 높이는데 효과가 있음을 보여주었다. 본 연구에서 중재 후 핵심간호술 지식이 향상된 것은 메타버스기반 핵심간호술 콘텐츠의 두 가지 시나리오에서 임상실습 시 주로 경험할 수 있는 활력징후 측정과 피하주사(간이 혈당검사 포함) 사례에 대한 지식을 포함하고 있으며, 새로운 교육매체에 대해 학생들이 흥미를 가지고 능동적으로 체험하면서 자연스럽게 핵심간호술 지식을 습득한 것이라고 여겨진다. Cospace Edu 플랫폼을 활용하여 개발한 핵심간호술 콘텐츠는 미래 가속화 기술 연구단체인 ASF에서 제시한 메타버스의 4가지 요소[5] 증강현실, 라이프로깅, 미러월드, 가상세계를 모두 포함하고 있다. 유저들은 증강현실 형태로 핵심간호술 콘텐츠를 활용할 수 있다. 예를 들어. 실제 실습실에서 콘텐츠를 실행하여 콘텐츠에 구현된 물품 등을 소모하지 않고도 실습해볼 수 있다. 라이프로깅(Lifelogging) 기능을 통해 핵심간호술 콘텐츠를 수행 후 수행영상을 저장하여 실습 평가 등의 일상생활에 활용 가능하도록 하였다. 또한, 임상실습 시 경험하게 되는 병실 모습, 물품 형태 등을 실제와 동일하게 구현하여(Mirror World), 학생들에게 평소 익숙한 환경 속에서 핵심간호술을 수행 할 수 있도록 하였으며, 미러월드를 기반으로 익숙한 형태의 가상의 환자와 공간 등을 제작하였다(Virtual World). 이러한 메타버스 환경에서 높은 몰입도와 생생한 체험감이 가상의 공간에서 간호학생들이 게임하듯이 즐겁게(gamification) 오류에 대한 걱정 없이 간호 상황에 능동적으로 참여하고 문제들을 해결하는 과정에서 핵심간호술 지식이 향상되었을 것으로 생각된다. 간호학생을 대상으로 핵심간호술 지식을 향상시키기 위해서 증강현실, 라이프로깅, 미러월드, 가상세계를 모두 포함하는 메타버스기반 핵심간호술 콘텐츠 활용이 효과적인 중재임을 확인할 수 있었다.

핵심간호술 수행자신감은 메타버스기반 핵심간호술 콘텐츠를 적용한 중재군이 대조군보다 유의하게 향상되었다. Quail 등[23]은 VR 시뮬레이션 활용 교육이 환자와의 의사소통 자신감을 향상시켰다고 하였으며, Moule 등[24]은 간호사를 대상으로 VR 시뮬레이션 적용 후 전립선암 환자간호 자신감이 향상되었다고 보고하였다. 또한, Ahn과 Lee [20]는 간호학생을 대상으로 HMD기반 재가방문 VR 시뮬레이션을 적용하여 자신감이 향상되었다고 보고하였으며, Kim과 Jeong [25]은 간호학생을 대상으로 AR 시뮬레이션을 적용하여 술기 수행자신감이 향상되었다고 보고하였다. 이들 모두는 VR, AR을 활용한 간호교육이 자신감을 높이는데 효과적임을 나타낸다. 본 연구에서 중재군은 메타버스기반 핵심간호술 콘텐츠를 통해 가상현실 속에서 대화창에 나와 있는 간호 상황을 가지고 시나리오 상의 대상자와 의사소통 후 간호문제를 사정하고 필요한 핵심간호술 등을 수행하는 과정을 통해 실제와 거의 유사한 경험으로 자신감이 향상된 것으로 생각된다. 세부적으로 보면, 활력징후 측정 수행의 자신감, 피하주사(간이 혈당검사 포함) 수행의 자신감이 증가하였는데, 메타버스기반 핵심간호술 콘텐츠 시나리오들이 활력징후 측정과 피하주사(간이 혈당검사 포함)의 상황 및 절차에 대한 세세한 내용을 포함하고 있고 이를 통해 간호학생들의 핵심간호술 수행에 대한 자신감이 높아진 것으로 보인다. 처음 메타버스기반 핵심간호술 콘텐츠를 접했을 때는 낯설고 기기 등의 조작에 어려움이 있었지만 점차 적응하면서 각 수행 단계에서의 미비점을 보완하고 정확한 핵심간호술을 대상자에게 적용하면서 자신감이 향상된 것으로 생각된다. 메타버스기반 핵심간호술 콘텐츠는 한국어로 된 시나리오로 구성되어 있어 간호학생들이 영어로 구성된 시나리오보다 간호 상황을 이해하기 쉬울 수 있고, 실수해도 괜찮다는 안정감으로 인해 자신감이 자연스럽게 향상 되었을 것이다.

임상수행능력은 메타버스기반 핵심간호술 콘텐츠를 적용한 중재군이 대조군보다 유의하게 향상되었다. Ahn과 Lee [20]는 간호학생을 대상으로 간호학생을 대상으로 HMD기반 재가방문 VR 시뮬레이션을 적용하여 임상수행능력이 향상되었다고 보고하였으며, Lim과 Yeom [26]은 VR 시뮬레이션과 함께 임상실습을 접목한 교육 후 임상수행능력이 향상되었다고 하였고, Kim과 Jeong [25]은 간호학생을 대상으로 AR 시뮬레이션을 적용하여 술기 수행능력이 향상되었다고 보고하였다. 이들 모두는 VR, AR을 활용한 교육방법이 임상수행능력을 높이는 데 효과적임을 뒷받침 한다. 한편 간호학과 대학원생을 대상으로 한 정맥절개술 VR 시뮬레이션 효과 검증 연구에서 중재군과 대조군 간의 임상수행능력은 차이가 없는 것으로 나타났다. 중재 조건을 통제하여 동일한 연구대상자에 대한 후속연구가 필요하다고 생각된다[27]. 임상수행능력의 하위영역별로 보면 간호과정과 간호기술, 간호교육/협력관계와 대인관계/의사소통 및 전문직 발전 모든 영역에서 중재군과 대조군이 통계적으로 유의한 차이를 보였다. 본 연구에서 중재군의 임상수행능력이 향상된 것은 메타버스기반 핵심간호술 콘텐츠의 두 가지 시나리오에서 대상자와의 의사소통이 이루어지고 간호교육, 간호기술 영역(핵심간호술)을 핵심적으로 강조하고 있기 때문으로 판단된다. 연구 결과를 바탕으로 핵심간호술의 경우 메타버스기반 핵심간호술 콘텐츠를 활용하여 교육하는 것이 핵심간호술 주의사항 및 절차 숙지 등에는 분명히 도움을 줄 수 있겠지만, 촉각과 후각을 포함한 감각기관을 활용하여 간호사정을 할 수 없는 한계도 분명히 존재한다. 또한, 메타버스기반 핵심간호술 콘텐츠는 언제 어디서든 반복적으로 학습자가 능동적으로 실행할 수 있는 장점도 있지만 핵심간호술을 병실이나 실습실 등의 실제 환경에서 수행하기 어렵다는 단점도 존재하기에 이에 대한 보완이 필요하다고 생각한다. 이와 같은 메타버스기반 핵심간호술 콘텐츠의 단점이나 한계를 해결하기 위해 마네킹 등을 활용하여 촉각과 후각 등을 사정할 수 있게 해주고, 마네킹 등의 현실 세계에 가상의 이미지를 동시에 구현할 수 있는 증강현실 및 확장현실(extended reality, XR) 등의 초실감형 기술을 활용하는 콘텐츠 개발이 필요하다고 여겨진다.

이상의 연구 결과, 본 연구에서 실시한 메타버스기반 핵심간호술 콘텐츠는 간호학생의 핵심간호술 지식, 핵심간호술 수행자신감 및 임상수행능력 증진에 효과적임을 나타났다. 따라서 메타버스기반 핵심간호술 콘텐츠는 간호교육 현장에서 간호학생의 핵심간호술 지식, 핵심간호술 수행자신감 및 임상수행능력을 향상시키기 위한 중재 방법으로 활용될 수 있을 것으로 생각된다. 메타버스 기술은 처음 접할 시 생소하고 기기조작 등에 어려움이 있을 수 있으나 현장실습이 꼭 필요한 간호교육 현장에서 적극적으로 활용될 수 있으며, 특히 특수부서나 임상실습지 확보 등에 어려움이 있는 경우에도 대안으로 활용될 수 있다. 이를 위해서는 간호교육 현장의 메타버스 콘텐츠 개발에 대한 지속적인 관심과 도전이 필요하며, 정부 차원의 행정적, 재정적 지원이 뒤따라야 할 것이다. 또한 개발된 콘텐츠에 대해 공유할 수 있는 통로를 열어주고 이를 뒷받침 해주는 제도적 장치 및 지원도 필요하다.

본 연구의 제한점은 다음과 같다. 첫째, 중재 효과에 대해 반복 측정하여 중재 효과의 지속성에 대해 시간 간격을 두고 확인하는 것이 필요하다. 둘째, 대상자를 편의추출로 선정하였기 때문에 외생변수를 효과적으로 통제하지 못하였을 가능성이 있다. 셋째, 임상수행능력 향상을 도구로 측정한 것이므로 연구 결과를 해석하는 데 확대, 과장하지 않도록 주의할 필요가 있다.

하지만 본 연구는 국내 간호학 분야에서는 드문 메타버스기반 핵심간호술 콘텐츠를 개발하여 간호학생들이 현실과 유사한 가상환경에서 체험을 할 수 있도록 하고 핵심간호술 지식, 핵심간호술 수행자신감 및 임상수행능력 향상을 이루도록 노력한 것에 의의가 있다. 학습자는 메타버스기반 핵심간호술 콘텐츠를 통해 핵심간호술 지식 등을 스스로 자연스럽게 습득할 수 있으며, 게이미피케이션을 통해 흥미를 유발하여 자발적 학습 참여를 유도할 수 있다. 또한, 메타버스기반 핵심간호술 콘텐츠 체험 등을 통해 4차 산업혁명 시대에 대비하여 간호학생이 예비간호사로서 미래형 간호 인재로 성장할 수 있을 것으로 기대한다.

결론 및 제언

본 연구에서는 간호학생을 대상으로 메타버스기반 핵심간호술 콘텐츠를 개발하여 적용한 결과, 메타버스기반 핵심간호술 콘텐츠는 간호학생의 핵심간호술 지식, 핵심간호술 수행자신감 및 임상수행능력 향상에 효과가 있음을 확인하였다. 따라서 메타버스기반 핵심간호술 콘텐츠는 간호학생을 위한 유용한 교육 방법으로 활용될 수 있을 것이며, 간호학생뿐만 아니라 임상현장의 간호사들에게도 적용해 볼 수 있다. 또한, 메타버스기반 핵심간호술 콘텐츠와 함께 고충실도 시뮬레이터를 활용하거나 VR 또는 AR, XR 콘텐츠 등과 접목하여 사용한다면 시너지 효과를 얻을 수 있을 것이다.

추후 연구를 위한 제언으로 첫째, 핵심간호술 영역뿐만 아니라 다른 영역에서도 메타버스 콘텐츠의 개발 및 효과 연구를 제언한다. 둘째, 스마트폰 등을 통해 손쉽게 접할 수 있는 무료 애플리케이션을 활용하여 메타버스 콘텐츠를 활용해보길 제언한다. VR, AR, XR, 메타버스 등의 콘텐츠는 초기 구축에 많은 시간, 비용, 노력이 요구된다. 특히 비용 측면에서 어려움이 있다면, 메타버스 등의 콘텐츠 등의 제작에 무작정 비싼 비용을 투자하기보다는 스마트폰 등을 적극적으로 활용하여 메타버스 콘텐츠 제작을 실천해보길 제언한다.

Notes

No potential conflict of interest relevant to this article was reported.

Funding

None

Acknowledgements

None

Supplementary materials

None

References

1. Park SH. From education to clinical, the medical industry also got on the 'metaverse'[Internet] Seoul: Medipana news; 2021. [cited 2022 Aug 22]. Available from:https://www.medipana. com/article/view.php?news_idx=277354&sch_menu=1&sch_gubun=5.

2. Wolf AB. The impact of web-based video lectures on learning in nursing education:An integrative review. Nursing Education Perspectives 2018;39(6):E16–E20. https://doi.org/10.1097/01.NEP.0000000000000389.

3. Ragsdale MA, Mueller J. Plan, do, study, act model to improve an orientation program. Journal of Nursing Care Quality 2005;20(3):268–272. https://doi.org/10.1097/00001786-200507000-00013.

4. Kang DS. Reading information society keywords with the new words of IT [Internet] Seoul: Digital Times; 2009. [cited 2022 Aug 22]. Available from:http://www.dt.co.kr/contents. html?article_no=2009041002010560600003.

5. Acceleration Studies Foundation. Metaverse roadmap pathway to the 3D web [Internet] Los Gatos: Acceleration Studies Foundation; 2006. [cited 2022 Aug 22]. Available from:https://www.metaverseroadmap.org/roadmap.html.

6. Jho MY. Effects of core fundamental nursing skills education on self-efficacy, clinical competence and practice satisfaction in nursing students. Journal of Korean Academy of Fundamentals of Nursing 2014;21(3):292–301. https://doi.org/10.7739/jkafn.2014.21.3.292.

7. Korean Accreditation Board of Nursing Education. 2022 Nursing education certification evaluation college handbook Seoul: Korean Accreditation Board of Nursing Education; 2022.

8. O'Connor S, Andrews T. Mobile technology and its use in clinical nursing education:a literature review. The Journal of Nursing Education 2015;54(3):137–144. https://doi.org/10.3928/01484834-20150218-01.

9. O'Connor S, Andrews T. Smartphones and mobile applications (apps) in clinical nursing education:A student perspective. Nurse Education Today 2018;69:172–178. https://doi.org/10.1016/j.nedt.2018.07.013.

10. Choi YS, Bae JH. The effect of core fundamental nursing skills program using team building among nursing students before intro to clinical practice. The Journal of Learner -Centered Curriculum and Instruction 2021;21(3):25–48. https://doi.org/10.22251/jlcci.2021.21.3.25.

11. Kim MG, Lee HS. Effects of core basic nursing education using cellular phone video recordings on self-confidence in performance, achievement, and practice satisfaction. Journal of Korean Academy of Fundamentals of Nursing 2017;24(2):128–137. https://doi.org/10.7739/jkafn.2017.24.2.128.

12. Lee SG, Shin YH. Effects of self-directed feedback practice using smartphone videos on basic nursing skills, confidence in performance and learning satisfaction. Journal of Korean Academy of Nursing 2016;46:283–292. https://doi.org/10.4040/jkan.2016.46.2.283.

13. Seo JY, Kang JY. Development of “Core Basic Nursing Skills”mobile app for nursing students. The Journal of Learner-Centered Curriculum and Instruction 2020;20(23):1415–1434. https://doi.org/10.22251/jlcci.2020.20.23.1415.

14. Kim JK, Yu HY, Lee YS. A convergence research for development of VR education contents for core fundamental nursing skills. The Journal of the Korea Contents Association 2021;21(9):714–722. https://doi.org/10.5392/JKCA.2021.21.09.714.

15. Lee JS. Implementation and evaluation of a virtual reality simulation:Intravenous injection training system. International Journal of Environmental Research and Public Health 2022;19(9):5439. https://doi.org/10.3390/ijerph19095439.

16. Kang H, Yeon K, Han ST. A review on the use of effect size in nursing research. Journal of Korean Academy of Nursing 2015;45(5):641–649. https://doi.org/10.4040/jkan.2015.45.5.641.

17. Schwirian PM. Evaluating the performance of nurses:A multidimensional approach. Nursing Research 1978;27(6):347–351. https://doi.org/10.1097/00006199-197811000-00004.

18. Choi MS. A study on the relationship between teaching effectiveness of clinical nursing education and clinical competency in nursing students [master's thesis] Seoul: Ewha Womans University; 2005. p. 1–70.

19. Molenda M, Russell JD, Smaldino SE, Heinich R. Instructional media and technologies for learning 7th edth ed. London: Pearson Education Ltd; 2002. p. 1–396.

20. Ahn MK, Lee CM. Development and effects of head-mounted display-based home-visits virtual reality simulation program for nursing students. Journal of Korean Academy of Nursing 2021;51(4):465–477. https://doi.org/10.4040/jkan.21051.

21. Kim SM. Effects of AR on academic success, problem solving and self directed learning skill in education on high risk delivery nursing. Humanities Society 21 2022;13(2):1849–1864. https://doi.org/10.22143/HSS21.13.2.130.

22. Yang EB, Ryu JH. Effects of peer and teacher avatars on learning presence and visual attention in the metaverse learning environment. The Journal of Educational Information and Media 2021;27(4):1629–1653. https://doi.org/10.15833/KAFEIAM.27.4.1629.

23. Quail M, Brundage SB, Spitalnick J, Allen PJ, Beilby J. Student self-reported communication skills, knowledge and confidence across standardised patient, virtual and traditional clinical learning environments. BMC Medical Education 2016;16:73. https://doi.org/10.1186/s12909-016-0577-5.

24. Moule P, Pollard K, Armoogum J, Messer S. Virtual patients:Development in cancer nursing education. Nurse Education Today 2015;35(7):875–880. https://doi.org/10.1016/j.nedt.2015.02.009.

25. Kim KS, Jeong HC. Effect of self-directed practice using augmented reality simulation on nursing students'performance confidence, ability, and practice satisfaction. Journal of Korea Society for Simulation in Nursing 2021;9(1):57–68. https://doi.org/10.17333/JKSSN.2021.9.1.57.

26. Lim SM, Yeom YR. The effect of education integrating virtual reality simulation training and outside school clinical practice for nursing students. Journal of Convergence for Information Technology 2020;10(10):100–108. https://doi.org/10.22156/CS4SMB.2020.10.10.100.

27. Smith PC, Hamilton BK. The effects of virtual reality simulation as a teaching strategy for skills preparation in nursing students. Journal of Clinical Simulation in Nursing 2015;11(1):52–58. https://doi.org/10.1016/j.ecns.2014.10.001.

Article information Continued

This is an open access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0), which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Characteristics	Categories	Exp. (n=34)	Cont. (n=38)	χ²	p-value

		n (%)	n (%)
Gender	Man	7 (20.6)	8 (21.1)	0.52	.987
	Woman	27 (79.4)	30 (78.9)
Previous semester grade (self-report)	High	2 (5.9)	6 (15.8)	1.81	.405
	Medium	24 (70.6)	25 (65.8)
	Low	8 (23.5)	7 (18.4)

Variables	Exp. (n=34)	Cont. (n=38)	t	p-value

	Mean±SD	Mean±SD
Knowledge of core nursing skill	6.03±1.33	5.89±1.18	0.54	.651
Knowledge of vital sign measurement	3.24±0.79	3.11±0.73	0.76	.450
Knowledge of subcutaneous injection	2.79±0.89	2.79±0.99	-0.01	.994
Confidence of core nursing skill performance	3.05±0.69	3.29±0.91	-1.26	.213
Clinical competency	3.58±0.48	3.72±0.58	-1.03	.305
Nursing process	3.46±0.56	3.67±0.57	-1.54	.299
Nursing skills	3.48±0.53	3.63±0.72	-0.96	.339
Nursing education/partnership	3.73±0.50	3.75±0.77	-0.09	.923
Interpersonal relations/communication	3.66±0.61	3.75±0.72	-0.62	.540
Professional development	3.68±0.60	3.82±0.58	-1.03	.307

Variables	Group	Pre-test	Post-test	Difference	t	p-value

		Mean±SD	Mean±SD	Mean±SD
Knowledge of core nursing skill	Exp.	6.03±1.33	8.39±1.82	2.36±2.07	6.20	<.001
Knowledge of core nursing skill	Cont.	5.89±1.18	5.95±1.51	0.05±2.12
Knowledge of vital sign measurement	Exp.	3.24±0.79	4.18±0.98	0.94±1.25	4.29	<.001
Knowledge of vital sign measurement	Cont.	3.11±0.73	3.29±0.77	0.18±1.14
Knowledge of subcutaneous injection	Exp.	2.79±0.89	4.21±1.14	1.42±1.41	5.92	<.001
Knowledge of subcutaneous injection	Cont.	2.79±0.99	2.66±1.07	0.13±1.42
Confidence of core nursing skill performance	Exp.	3.05±0.69	4.39±0.66	1.35±0.88	5.71	<.001
Confidence of core nursing skill performance	Cont.	3.29±0.91	3.43±0.75	0.14±1.26
Clinical competency	Exp.	3.58±0.48	4.34±0.51	0.76±0.70	3.32	.001
Clinical competency	Cont.	3.72±0.58	3.88±0.64	0.16±0.92
Nursing process	Exp.	3.46±0.56	4.32±0.48	0.87±0.72	3.68	<.001
Nursing process	Cont.	3.67±0.57	3.83±0.63	0.17±0.83
Nursing skills	Exp.	3.48±0.53	4.35±0.58	0.86±0.84	3.43	.001
Nursing skills	Cont.	3.63±0.72	3.82±0.71	0.18±1.01
Nursing education/partnership	Exp.	3.73±0.50	4.39±0.59	0.66±0.80	2.83	.006
Nursing education/partnership	Cont.	3.75±0.77	3.93±0.75	0.18±1.18
Interpersonal relations/communication	Exp.	3.66±0.61	4.29±0.63	0.64±0.83	2.62	.011
Interpersonal relations/communication	Cont.	3.75±0.72	3.89±0.67	0.13±1.07
Professional development	Exp.	3.68±0.60	4.35±0.49	0.67±0.76	2.62	.011
Professional development	Cont.	3.82±0.58	3.97±0.70	0.14±0.98