국내 대학생에게 적용한 플립러닝의 체계적 고찰 및 메타분석 - 자기주도학습, 학습동기, 효능감, 학업성취도를 중심으로 -

A systematic review and meta-analysis of flipped learning among university students in Korea: Self-directed learning, learning motivation, efficacy, and learning achievement

Article information

J Korean Acad Soc Nurs Educ. 2021;27(1):5-15
Publication date (electronic) : 2021 February 28
doi : https://doi.org/10.5977/jkasne.2021.27.1.5
김신향1)orcid_icon, 임종미1),orcid_icon
1) 신성대학교, 교수
1) Professor, Shinsung University
Address reprint requests to: Lim, Jong Mi Shinsung University, Daehak-ro, Jeongmi-myeon, Dangjjin-si, Chungcheongnam-do, 31801, Republic of Korea Tel: +82-41-350-1528, Fax: +82-41-350-1345, E-mail: 0408ljm@hanmail.net
Received 2020 September 26; Revised 2021 February 5; Accepted 2021 February 7.

Abstract

Purpose

This study aimed to provide a systematic review and meta-analysis of research on flipped learning effects applied to university students.

Methods

The random effect model was applied to 21 papers to calculate the effect size. To verify the moderation effect, a meta regression analysis and meta ANOVA were performed. Publication bias was verified through a funnel plot, and then an Egger’s regression test was conducted.

Results

The overall average effect size was .69 (95% CI: .51-.87), showing a median effect size, which was statistically significant. The outcome variables were in the order of learning motivation (Hedges’ g=.83), self-directed learning (Hedges’ g=.78), learning achievement (Hedges’ g=.66), and efficacy (Hedges’ g=.50), which were statistically significant.

Conclusion

Flipped learning was found to be statistically significant in improving self-directed learning, learning motivation, efficacy, and learning achievement amng university students. It is suggestd that this method be actively applied in university education.

서 론

연구의 필요성

4차 산업혁명 발전으로 5G 시대가 시작되면서 대학교육의 목표는 가치, 신념, 독립적인 사고, 팀워크, 타인에 대한 배려 등 지식으로는 학습할 수 없는 역량 함양이 강조되고 있다. 이러한 핵심 역량의 증진을 위해 대학은 교수자의 역량 강화, 학습자 참여 중심의 교육환경과 교육과정의 개선으로 새로운 환경에 잘 적응할 수 있도록 교육방식, 교육내용 등의 변화에 대한 요구를 받고 있다[1,2]. 그러나 전통적 강의식 수업은 교수자에 의해 수동적인 지식의 전달과 능동적인 참여가 제한되어 학습자의 창의적 문제해결역량 강화에 어려움이 있다.

미래사회의 인재상은 빠른 변화에 적응하기 위한 자기주도학습 능력을 바탕으로 창의적 문제해결과 새로운 가치를 창조하고 협업하여 4차 산업혁명 시대를 이끌어 갈 수 있는 인재를 의미한다. 자기주도학습은 정보사회에서 자신에게 필요한 정보와 지식을 탐색하고 습득하기 위해 요구되는 필수적 능력으로 스스로 학습을 준비하고 학습에 필요한 전략을 선택하고 조절할 때 학습자의 학습동기가 높게 유지된다[3]. 학업적 자기효능감이 향상되면 높은 학습동기와 자기주도학습[3]에 의해 더 높은 학업성취도 달성이 가능하다[4]. 또한, 학습 자기효능감이 높은 학습자들은 편안한 환경 속에서 자신의 인지적 능력을 자유롭게 발휘하여 보다 더 많은 정보수집과 높은 수행능력을 발휘하는[5] 학습자의 긍정적인 참여가 학업성취도에 영향을 주고 있다. 특히 21세기 교육 패러다임은 학습자 중심의 교수법 개발의 중요성이 강조되면서 학습자들의 자기주도학습, 학습동기, 효능감의 학업성취도에 대한 관심이 대두되고 있다.

최근 들어 활발하게 적용되고 있는 플립러닝(flipped learning)은 초·중등학교 교육/교과과정에 시작으로 대학교육 분야에서도 많은 연구가 이루어지고 있다. 플립러닝은 정보기술의 발전으로 다양한 매체를 활용한 교육 확대와 대학 이러닝(e-learning)의 발전된 형태로 학교 시스템 변화를 유도하고 학생 중심의 수업을 구현하기 위한 대안으로 관심을 받고 있다[6]. 이러한 이유는 학습 진도에 맞게 학습개념을 확립하고, 학습동기를 중요시하는 교육환경과 학습자의 능동적이고 자율적인 학습경험이 강조되는 교육 패러다임의 변화에서 비롯하고 있다[7].

대학생에게 적용한 플립러닝에 대한 효과성을 검증한 선행연구를 살펴보면, 자기주도학습[8], 학습동기[7,9], 효능감[5], 학업성취도[7,10] 효과가 유의하게 나타난 반면 일부의 연구에서는 학습동기[11], 효능감[12], 학업성취도[13]가 유의하지 않았다. 이처럼 플립러닝의 효과성에 대한 연구 결과가 일관되지 않아 일반화하는 데 어려움이 있다. 이러한 한계를 극복하기 위해, 선행연구의 결과들을 통합하여 더욱 객관적이며 신뢰할 수 있고 강력한 결론을 도출할 수 있는 분석 방법인 메타분석(Meta-analysis)이 필요하다[14].

플립러닝에 관한 메타분석 선행연구를 살펴보면, 2014년도∼2016년도에 출판된 논문으로 초등학생에서 대학생까지 통합한 연구[15], 중·고등학생만을 대상으로 통합한 연구[16], 플립러닝 설계요인만 메타분석한 연구[17], 팀기반학습과 플립러닝 두 가지 학습법을 통합한 연구[18]가 보고되었다. 하지만 대학생만 국한하여 적용한 플립러닝의 효과성에 대한 메타분석은 부족한 실정이다.

대학의 글로벌 경쟁력을 강화하고 다가올 직업환경, 산업환경, 노동시장의 변화에 대비하기 위해 대학은 급변하는 사회에 발맞춰 나갈 수 있는 인재로 키울 수 있도록 교수학습법의 전환이 필요한 시기이다[19]. 이에 대한 구체적인 실천방안을 마련하기 위해 무엇보다도 대학생에게 적용한 플립러닝의 효과를 검증한 개별 연구들의 결과를 계량적으로 분석하는 메타분석이 필요하다. 또한, 교육의 효과에서는 자기주도학습, 학습동기, 효능감과 같은 정의적 영역뿐만 아니라 학업성취도에 속하는 인지적 영역이 고려되어야 한다[15].

따라서, 본 연구는 교육환경이 다른 국외에서 수행된 연구들을 제외하여 이질성을 최소화하고자 하였으며, 연구 결과의 직접적 관련성(directness of evidence)과 일관성(consistency)의 제시가 선행되어야 하는 국제적 기준[20]에 의해 국내 대학생에게 적용된 플립러닝을 체계적 문헌 고찰하여 학습자의 개인적 변인인 자기주도학습, 학습동기, 효능감, 학업성취도의 효과 크기를 확인하고자 한다.

연구 목적

본 연구는 국내 대학생에게 적용한 플립러닝이 자기주도학습, 학습동기, 효능감, 학업성취감에 미치는 효과를 체계적 고찰과 메타분석을 시행하고자 한다. 구체적인 연구목적은 다음과 같다.

  • 첫째, 분석대상 플립러닝 연구의 특성을 파악한다.

  • 둘째, 플립러닝의 전체효과 크기를 분석한다.

  • 셋째, 플립러닝의 결과변수별(자기주도학습, 학습동기, 효능감, 학업성취감) 효과 크기를 분석한다.

연구 방법

연구 설계

본 연구는 국내 대학생에게 적용한 플립러닝 중재연구의 효과 크기를 파악하기 위해 체계적 고찰 및 메타분석 연구이다.

문헌 선정기준

본 연구의 분석대상 선정은 코크란 중재연구 체계적 문헌고찰 매뉴얼(Cochrane Handbook for Systematic Reviews of Interventions 5.1.0)의 고찰과정을 적용하였다[20]. 문헌 선정기준은 체계적 고찰 보고기준(Preferred Reporting Items for Systematic Reviews and Meta-Analysis [PRISMA])에 따라 수행하였으며, 핵심질문(Participants, Intervention, Comparisons, Outcomes, Study Design [PICOSD])은 다음과 같다. 첫째, 연구 대상(Participants): 국내 대학교의 재학생, 둘째, 중재(Intervention): 플립러닝, 셋째, 비교집단(Comparisons): 일반강의식 수업, 넷째, 결과(Outcomes): 자기주도학습, 학습동기, 효능감, 학업성취도이다. 다섯째, 설계(Study Design, SD): ‘무작위대조설계(Randomized Controlled Trial [RCT])’, ‘비무작위대조설계(Non-Randomized Controlled Clinical Trial [NRCT])’ 이다. 배제기준은 플립러닝과 다른 교수법이 혼합된 연구, 단일군, 조사연구, 질적연구, 비 실험연구, 통계치가 제시되지 않아 효과 크기를 산정할 수 없는 연구, 국내 대학생 이외의 다른 대상자가 포함된 연구로 하였다.

문헌 검색 및 선정

문헌 검색과 방법론적 질 평가는 메타분석 유경험자이며 훈련된 연구자 2인이 독립적으로 3회 이상 검색·검토한 후 불일치 시 교육학과 교수 1인에게 검토하여 합의점에 도달하였다. 문헌 검색은 2020년 8월 9일까지 출판된 학술지·학위논문, 회색문헌으로 하였다. 데이터베이스는 KoreaMed, KMBASE, 한국교육학술정보원(Research Information Sharing Service, RISS), 학술연구정보서비스(Korean Studies Information Service System, KISS), 과학기술정보통합서비스(National Digital Science Library, NDSL), 국회 전자도서관을 이용하여 검색 후 참고문헌의 목록을 수기로 검색하였다.

문헌검색에 사용한 주요 핵심어는 대학, 대학생, 러닝, 플립러닝, 플립드러닝, 거꾸로교실, 거꾸로수업, 역전학습, 반전학습, 역진행수업, 플립수업, instruction, flipping classroom, reverse instruction, flipped learning and effect, flipped learning and quantitative method를 키워드로 하였다. 또한, 국내 대학생을 대상으로 연구한 논문이 외국 학회 출판된 경우를 검색하였으나 기준에 부합한 논문은 발견할 수 없었다.

문헌 검색으로 총 645편이 검색되었다(Figure 1). 검색된 모든 논문은 서지 반출 프로그램인 엔드노트(End-Note X8)를 이용해 중복 검색 된 330편을 제외한 후 315편을 초록과 제목을 중심으로 검토하여 54편 선별하였다. 54편은 원문을 검토하여 대학생이 아닌 연구물 6편, 단일군 15편, 질적연구 2편, 통계치가 불명확한 10편을 제외하여 최종적으로 총 21편이 선정되었다(Appendix 1).

Figure 1

Flowchart of study selection.

자료 분석

● 분석대상의 일반적 특성과 방법론적 질 평가

분석대상의 일반적 특성은 출판연도, 연구설계, 출판유형, 실험군, 대조군의 표본크기, 총 중재 회기, 결과변수를 빈도와 백분율로 분석하였다.

분석대상의 방법론적 질 평가는 NRCT 연구 20편은 코크란 연합의 Risk of Bias Assessment tool for Non-randomized Studies (RoBANS)를, RCT 연구 1편은 Risk of Bias Assessment tool for Randomized Studies (RoB)를 사용하였다. 평가도구의 항목은 선택(NRCT는 교란변수, RCT는 배정순서은폐) 비뚤림(selection bias), 실행 비뚤림(performance bias), 결과 확인 비뚤림(detection bias), 탈락 비뚤림(attrition bias), 보고 비뚤림(reporting bias) 등으로 하여 각 항목과 설계에 따라 비뚤림의 위험을 ‘낮음’, ‘불확실’, ‘높음’으로 평가하였다.

● 효과 크기와 이질성 분석

본 연구의 자료 분석은 Comprehensive Meta Analysis (CMA) 2.2 프로그램(Biostat, Englewood, NJ, USA)을 이용하였다. 효과 크기 산출은 본 연구에서 선정된 연구들 간의 대상자, 집단크기, 개입방법, 비교그룹 등이 다양하다는 점을 인정하여 실제적인 차이를 반영하는 무선효과모형(random effects model)을 적용하였다[21]. 효과 크기는 통계치의 평균, 표준편차, 표본크기를 이용하여 교정된 표준화 평균효과 크기(corrected standardized mean difference) Hedges’ g를 산출하였다[21]. 효과 크기의 해석은 Cohen [22]이 제시한 기준에 의해 0.20 이하는 작은효과 크기, 0.50 정도는 중간효과 크기, 0.80 이상이면 큰 효과 크기로 하였다. 산출된 효과 크기의 통계적 의미는 95% 신뢰구간(95% confidence interval [CI])에서 ‘0’을 포함되지 않을 시 유의한 것으로 판단하였다. 효과 크기의 이질성(heterogeneity)은 우선 숲그림(forest plot)을 통해 시각적으로 살펴보았으며, 각 효과 크기들의 관찰된 분산인 Q값과 총 분산에 대한 실제 분산 비율인 Higgin’s I2 검증을 시행하였다. 본 연구의 조절효과 검증은 범주형 변인(출판유형)은 메타 ANOVA를, 연속형 변인(출판연도, 중재 총회기, 표본크기)은 메타회귀분석하였다.

● 출판편향

출판편향 검증은 깔대기 그림(funnel plot) 통해 시각적으로 대칭 정도를 확인한 후 통계적으로 가장 많이 활용되는 Egger’s linear regression asymmetry test를 적용하였다[23].

연구 결과

분석대상의 일반적 특성과 방법론적 질 평가

분석대상의 일반적 특성을 살펴보면, 출판연도는 2020년 8월까지 검색된 문헌을 검색한 결과 2015년에서 2017년 9편(42.9%), 2018년에서 2020년 8월은 12편(57.1%)으로 나타났다. 연구 설계는 NRCT 20편(95.2%), RCT 1편(4.8%)으로 나타났다. 출판유형은 학술지 논문 12편(57.1%), 학위논문 9편(42.9%)이었다. 대조군은 모두 강의식 교수법으로 나타났다. 실험군의 표본크기는 22명에서 124명이었으며, 대조군의 표본크기는 15명에서 72명이었다. 플립러닝의 총 중재 회기는 1회기에서 24회기까지 진행한 것으로 보였으나 총회기를 서술하지 않은 연구물도 있었다. 결과변수는 자기주도학습 8편(25%), 학습동기 8편(25%), 효능감 9편(28%), 학업성취감 7편(22%)으로 나타났다.

방법론적 질 평가를 살펴보면, 선택 비뚤림 영역에서 21편 모두 낮음(100%)으로 나타났으나, NRCT 연구에서 교란변수 비뚤림이 20편 중 5편(24%), RCT 1편(5%)에서 배정순서은폐 비뚤림이 불확실하였다. 실행 비뚤림이 불확실 5편(24%), 낮음 16편(76%), 결과 확인 비뚤림이 불확실 6편(29%), 높음 3편(14%), 낮음 12편(57%)으로 보였으며, 탈락과 보고 비뚤림은 낮음이 21편(100%)으로 평가되었다(Table 1).

Descriptive Summary of Included Studies

플립러닝의 효과 크기

대학생에게 적용한 플립러닝에 선정된 21편을 대상으로 두 집단의 평균, 표준편차, 표본크기를 이용하여 교정된 표준화 평균효과 크기(Hedges’ g) 산출한 결과를 forest plot으로 제시하였다(Figure 2). 전체 평균효과 크기는 0.69 (95% CI: .51∼.87)로 나타나 중간효과 크기를 보이며 통계적으로 유의하였다(Table 2). 이질성은 I2=79%로 나타나 큰 범위에 속하였다[20].

Figure 2

Forest plot of effect size of flip learning of college students

Effects of Outcome and Moderator Variables

결과변수는 모두 95% CI에서 0을 포함하지 않아 통계적으로 유의하였으며, 학습동기(Hedges’ g=0.83)가 가장 큰효과 크기였으며, 그 다음은 자기주도학습(Hedges’ g=0.78), 학업성취도(Hedges’ g=0.66), 효능감(Hedges’ g=0.50) 순으로 나타났다(Table 2).

조절효과 검증은 출판유형에서는 학술지 논문(Hedges’ g=0.70)이 학위논문(Hedges’ g=0.68)보다 높았지만, 두 집단 간의 효과 크기의 차이는 유의하지 않았다(Q=0.012, p=0.911). 메타회귀분석 결과에서도 출판연도(p=.377), 중재 총회기(p=.248), 표본크기(p=.393)는 유의하지 않았다(Table 2).

출판편향

본 연구의 출판편향은 funnel plot 통해 시각적으로 확인한 결과 좌우 대칭이 아님이 관찰되어 객관적으로 검정하기 위해 Egger’s regression test를 실시하여 비대칭 정도의 유의성을 통계적으로 확인한 결과 출판편향이 없는 것(t=1.79, p=0.08)으로 나타났다(Figure 3).

Figure 3

Publication bias

논 의

본 연구는 대학생에게 적용한 플립러닝 효과에 관한 연구를 체계적 고찰 및 메타분석을 실시하여 결과변수 별 효과 크기를 계량적으로 규명한 연구로써 그 의의가 있다.

본 연구에 포함된 연구는 2015년 이후 2020년 8월까지 출판된 21편이 포함되었다. 포함된 문헌 중 2018년에서 2020년 8월까지 출판된 문헌이 57.1%로 나타나 대학교육이 플립러닝 교수법에 대한 관심이 증가하면서 나타난 결과로 여겨진다. 하지만 설계 유형에서는 단 1편을 제외한 모든 연구물이 NRCT 연구였다. 추후에는 대학교육 기반의 플립러닝 교수법의 질적 향상을 위해서는 RCT 연구가 활발히 진행될 필요가 있다.

방법론적 질 평가결과 메타분석에 포함된 21편의 논문들은 전반적으로 비뚤림이 높지 않았다. 질 평가 영역에서 탈락과 보고 비뚤림은 낮음이 21편(100%)로 평가되었다. 이는 연구대상자가 대학생이다 보니 탈락자가 많지 않고 정확하게 보고된 것으로 사 료된다. 결과평가 비뚤림 평가가 가장 높았다. 이는 플립러닝 중재 제공자와 평가자를 논문에 언급하지 않았거나 연구자가 직접 프로그램을 실시하여 맹검이 이루어지지 않아 나타난 결과이다. 따라서, 추후 연구에서는 중재 제공자, 평가자에 대해서 명확한 제시와 다양한 눈가림 방법이 필요할 것이다.

본 연구는 총 21편의 대학생에게 적용한 플립러닝 교수법 연구를 분석한 결과, 전체 평균효과 크기는 .69으로 중간효과 크기에 해당되었다. 이는 초등학생에서 대학생을 통합 분석한 Suh [15]의 연구에서 조절변수인 대학생의 효과 크기 0.55, Lee 등[18] 연구의 효과 크기는 0.59 보다 높게 나타났다. 이처럼 대학생에게 적용한 플립러닝 교수법이 긍정적인 효과가 있음을 보여주고 있다.

결과변수 별 효과 크기를 비교해 본 결과, 학습동기(Hedges’ g=0.83)가 가장 큰효과 크기를 보였고, 자기주도학습(Hedges’ g=0.78), 학업성취도(Hedges’ g=0.66), 효능감(Hedges’ g=0.50) 순으로 나타났다. 이는 초·중·고·대학생 적용한 플립러닝을 메타분석 연구[15], Jung과 Lee [8]의 대학생의 플립러닝 연구, Joo [24]의 웹기반 PBL (Problem-Based Learning) 프로그램 메타분석 연구에서 자기주도학습능력이 큰효과 크기로 나타나 본 연구 결과와 일치한다. 플립러닝은 온라인으로 사전에 예습하고 수업 시간에는 교수자와 학습자의 상호작용 중심으로 능동적인 참여와 수준별 학습이 가능하며 교실 밖 활동을 통해 강의를 중지하거나 반복이 가능한 학습의 유연성을 높인다[25]. 이러한 장점에 의해 학습자의 학습동기와 자기주도학습, 효능감에 긍정적인 영향을 주어 학업성취감에 효과성이 있는 것으로 여겨진다. 효과적인 학습자 중심교육을 위해서는 학습자가 학습 과정에서 학습에 적극적으로 참여하며 학습해 나가는 학습구동력(Learning Driving Force)이 필수적이다[26]. 본 연구는 대학생에게 적용한 플립러닝의 효과가 Han [26]이 주장하는 학습구동력으로 학습동기, 자기주도학습, 효능감, 학업성취도가 대학생에게 적용한 플립러닝에 효과가 있음을 검증되었다. 이러한 결과에 의해 플립러닝은 전통적인 강의 위주의 교수법에서 벗어난 미래형 수업 모델[27]로 대학교육 환경에 적극적으로 도입한다면 이 시대가 원하는 인재상에 필요한 자기주도학습, 학습동기, 효능감, 학업성취감을 향상할 수 있을 것으로 사료된다.

조절효과 분석에서는 출판연도, 중재횟수, 표본 크기가 효과 크기에 미치는 경향을 살펴본 결과 통계적으로 유의하지 않았지만, 중재 총회기가 길수록 효과 크기가 작았다. 선행연구를 살펴보면, 초·중·고·대학생의 플립러닝 설계요인 메타분석에서는 10주 이상이 가장 큰 효과 크기[17], 중·고등학생 통합 분석에서는 중재 회기가 길수록 효과 크기가 더 크게 나타나[16] 본 연구 결과와 상반된 연구 결과이다. 초·중·고·대학생의 플립러닝을 통합 분석한 Suh [15]의 연구에서는 7∼8주 실시했을 때, 효과 크기가 가장 컸으며, 3주 이하는 효과 크기가 작게 나타나 교수자와 학생들 모두 7주 정도의 시간이 필요함을 주장하였다. 하지만 이러한 결과는 대학생에 제한한 연구 결과가 아니므로 대학생에게 일반화는 어려움이 있다. 본 연구의 분석대상이 수업설계가 명확하게 제시되지 않아 분석에 어려움이 있었다. 추후 대학생의 플립러닝에 대한 명확한 설계를 기반으로 한 연구가 축적된 후에 반복적인 메타분석이 필요할 것으로 여겨진다. 또한 플립러닝 과정의 반복적인 조정과 개선을 통한 플립러닝 적용과 활용을 위한 엄격하고 실용적인 지침 구성이 필요하며[24], 대학생의 특성을 고려한 플립러닝에 대한 교수설계가 필요함을 보여주고 있다.

본 연구는 표본 크기가 많을수록 효과 크기는 낮게 나타나 Jo와 Lee [17]의 4명 이하 시 가장 높은 효과 크기로 나타나 본 연구 결과와 일치한다. 플립러닝은 다양한 학습자 중심의 활동 및 팀별 프로젝트를 진행하기 위해서는 팀 간의 많은 토의와 협업의 과정이 수반되는데[28] 팀 구성원이 많을 시 집단응집력이 떨어지게 될 수 있다. 따라서 팀을 구성할 시 팀 활동에 방관자를 줄이고 각자 맡은 역할을 원활한 수행과 수업집중도를 높이기 위해 플립러닝 수업설계 시 고려할 필요가 있다.

결론적으로 최근에 대학생의 플립러닝 교수법은 학습동기를 중요시하는 교육환경과 학습자가 능동이고 자율인 학습경험을 중요시하는 교육 패러다임의 변화[7] 때문에 역동적인 교육환경에서 실천적 교수 방법[29,30]으로서 계속된 효과에 대한 검증이 이루어져야 한다. 특히 급변하는 보건 의료환경에 필요한 인재육성을 위해 간호교육은 전통적인 강의식 수업과 제한된 실습환경으로는 한계가 있으므로 학습자 스스로가 사전학습, 심화된 이론교육과 확고한 지식확장을 돕는 플립러닝이 적극적으로 적용되어야 할 것이다. 또한, 대학생이 선호하는 다양한 기법을 이용한 플립러닝 교수법에 대한 개발과 효과에 대한 검증이 필요할 것으로 여겨진다.

결론 및 제언

본 연구는 체계적 고찰과 메타분석을 통해 2020년 8월까지 출판된 국내 대학생에게 적용한 플립러닝 교수법의 효과성에 대한 객관적 근거를 제시하였다. 메타분석의 결과, 대학생의 플립러닝의 자기주도학습, 학습동기, 효능감, 학업성취도를 높이는 데 통계적으로 유의한 효과가 있으며 중간효과 크기 이상으로 나타났다. 현재 코로나19를 비롯하여 급변하는 사회환경에 대학생의 자기주도학습, 학습동기, 효능감, 학습성취도를 높이기 위한 플립러닝 교수법의 활용도가 교육현장에서 높아지고 있음을 고려할 때, 메타분석을 시도한 본 연구의 결과는 그 의의가 크다고 할 수 있다. 다만, 국내 대학생에게 적용한 플립러닝의 연구로 효과를 평가한 제한점이 있다. 또한, 추후 분석에서는 플립러닝의 다양한 결과변수에 대한 효과에 대해서도 고찰할 필요가 있다.

Notes

Conflicts of Interest

No potential conflict of interest relevant to this article was reported.

Funding

None

Acknowledgements

None

Supplementary materials

None

References

1. Lee HJ, Im SH, Kang SM. Implications for innovation in higher education from Minerva schools. Journal of Lifelong Learning Society 2019;15(2):59–84. https://doi.org/10.26857/ jlls.2019.5.15.2.59.
2. Chang MO, Jung MY. The study of awareness and preparation of college students for the era of 4th industrial revolution. The Journal of the Korea Contents Association 2019;19(6):47–57. https://doi.org/10.5392/JKCA.2019.19.06.047.
3. Han SM. The relationships between the academic motivation variables cognitive strategies and academic achievement. The Korean Journal of Educational Psychology 2004;18(1):329–350.
4. Yokoyama S. Academic self-efficacy and academic performance in online learning:A mini review. Frontiers in Psychology 2019;9:1–4. https://doi.org/10.3389/fpsyg.2018.02794.
5. Kweon YR, Choi BS. Effects of a psychiatric nursing education using flipped learning on learning transfer motivation and learning self-efficiency of nursing college students. Journal of The Korean Data Analysis Society 2020;22(1):447–460. https://doi.org/10.37727/jkdas.2020.22.1.447.
6. Kim NI, Chun BA, Choi JI. A case study of flipped learning at college:Focused on effects of motivation and self-efficacy. Journal of Educational Technology 2014;30(3):467–492. https://doi.org/10.17232/KSET.30.3.467.
7. Son EJ, Park JH, Im IC, Lim Y, Hong SW. Impact of flipped learning applied at a class on learning motivation of collage students. Journal of Cognitive Enhancement and Intervention 2015;6(2):97–117.
8. Jung HK, Lee SH. The effects of flipped learning method on a college student's self directed learning ability critical thinking disposition learning motivation, and learning satisfaction. Journal of Korean Academy of Dental Technology 2017;39(3):171–177.
9. Jeong HH. A study of loyalty to flipped learning applied at college courses–the relationship among learning motivation learning engagement satisfaction, and loyalty. Journal of Educational Technology 2017;33(3):537–565. https://doi.org/ 10.17232/kset.33.3.537.
10. Do SJ, Jin YS. The effect of flipped learning on ETP TOEIC class. Korean Journal of General Education 2018;12(2):149–167.
11. Hong KC. Effects of flipped learning on self-directed learning ability and learning motivation of college students. The Journal of Thinking Development 2016;12(4):41–61.
12. Kim SY. Flipped learning operation and effect analysis of scientific literacy enhancement education program in college setting [master's thesis] Seoul: Dankook University; 2018. p. 1–81.
13. Gweon HS. A study on effectiveness of flipped learning in social welfare education. Journal of Korean Social Welfare Administration 2018;20(3):39–72.
14. Hwang SD. Publication bias in meta-analysis:Its meaning and analysis. The Korean Journal of the Human Development 2016;23(1):1–19. https://doi.org/10.15284/kjhd. 2016.23.1.1.
15. Suh MO. The meta analysis of the effectiveness of flipped classroom. Journal of Educational Technology 2016;32(4):707–741. https://doi.org/10.17232/kset.32.4.707.
16. Yoon SH. A meta-analysis for effects of flipped learning on secondary school students. Journal of Education &Culture 2018;24(2):459–476. https://doi.org/10.24159/joec.2018.24.2.459.
17. Cho BR, Lee JM. Meta-analysis of flipped learning design characteristics. Korean Journal of Teacher Education 2018;34(2):1–21. https://doi.org/10.14333/kjte.2018.34.2.1.
18. Lee HJ, Ahn MS, Lee JG. A meta-analysis of the effects of flipped learning and team-based learning in college classes. Journal of Learner-Centered Curriculum and Instruction 2018;18(21):1253–1280. http://doi.org/10.22251/jlcci.2018.18.21.1253.
19. Kang HJ, Cho DY. A delphi study on human resource development policy directions and tasks for the 4th industrial revolution. The Korean Journal of Human Resource Development Quarterly 2017;19(4):1–34.
20. Higgins JPT, Green S. Cochrane handbook for systematic reviews of interventions Chichester: Wiley-Blackwell; 2011. p. 321–374.
21. Borenstein M, Hedges LV, Higgins JPT, Rothstein HR. Introduction to meta-analysis West Sussex, UK: John Wiley &Sons, Ltd; 2009.
22. Cohen J. Statistical power analysis for the behavioral sciences 2nd edth ed. Hillsdale, NJ: Lawrence Erlbaum Associates; 1988. p. 19–74.
23. Egger M, Smith GD, Schneider M, Minder C. Bias in meta-analysis detected by a simple, graphical test. British Medical Journal 1997;315(7109):629–634. https://doi.org/10.1136/bmj.315.7109.629.
24. Joo SY. A meta-analysis of web-based problem-based learning program. Journal of Learner-Centered Curriculum and Instruction 2018;18(20):105–124. http://doi.org/10.22251/ jlcci.2018.18.20.105.
25. Bergmann J, Sams A, eds. Flip your classroom:Reach every student in every class every day United states of America: International Society for Technology in Education; 2012. p. 1–123.
26. Han SM. A study on learning driving force of flipped learning for learner centered education. Journal of Practical Engineering Education 2020;12(2):293–299. http://doi%.org/10. 14702/JPEE.2020.293.
27. Go JS, Kwon KJ, Kim YG, Won YJ. Development of a futuristic class model for moral leadership training–sungkyun in dream. Confucianism Culture Research 2014;58:177–204.
28. Nam CM, Shin DM. The effects of blended learning instructional strategies and flipped-learning instructional strategies on undergraduate students'social presence and group cohesion. The Korean Society for Creative Information Culture 2019;5(1):1–13. http://www.doi.org/10.32823/jcic.5. 1.201904.1.
29. Kim HY, Kim YH. An action research on flipped learning for fundamental nursing practice courses. Journal of Korean Academy Fundamentals Nursing 2017;24(4):265–276. https://doi.org/10.7739/jkafn.2017.24.4.265.
30. Ozdamli F, Asiksoy G. Flipped classroom approach. World Journal on Educational Technology:Current Issues 2016;8(2):98–105. https://doi.org/10.18844/wjet.v8i2.640.

Appendix

Appendix 1. Review Article List

  • Cha JA. Effects of flipped learning on the critical thinking disposition, knowledge achievement and academic self-efficacy of nursing students: Application of the methodological triangulation [master’s thesis]. Gwangju: Chosun University; 2016. p. 1-132.

  • Do SJ, Jin YS. The effect of flipped learning on ETP TOEIC class. Korean Journal of General Education. 2018;12(2):149-167.

  • Gu MK. Effects of simulation practice education using flipped learning of nursing students [dissertation]. Seoul: Kyung Hee University; 2019. p. 1-107.

  • Gweon HS. A study on effectiveness of flipped learning in social welfare education. Journal of Korean Social Welfare Administration. 2018;20(3):39-72.

  • Hur JH. Study on the effectiveness of probability statistics class using flipped learning linked with maker education [master’s thesis]. Seoul: Hanyang Cyber University; 2020. p. 1-53.

  • Jeon SJ. The effect of flipped learning on learning motivation in software education. Journal of the Korean Association of Information Education. 2016;20(5):433-442. https://doi.org/10.14352/jkaie.20.4.433

  • Ju SJ. Effect analysis of career guidance subjects in college students using flip learning. The Journal of Career Education Research. 2020;33(1):1-20. https://doi.org/10.32341/jcer.2020. 03.33.1.1

  • Jung HK, Lee SH. The effects of flipped learning method on a college student’s self directed learning ability, critical thinking disposition, learning motivation, and learning satisfaction. Journal of Korean Academy of Dental Technology. 2017;39(3):171-177.

  • Kim EJ. The effects of repeated cardiopulmonary resuscitation training using smart learning on nursing students’ knowledge, self-efficacy, clinical competency. Journal of the Korea Academia-Industrial cooperation Society. 2018;19(2):261-269.

  • Kim EJ. The effect of flipped learning strategy on motivation, academic achievement, and self-directed learning of junior college students [master’s thesis]. Incheon: Incheon National University; 2015. p. 1-90.

  • Kim SY. Flipped learning operation and effect analysis of scientific literacy enhancement education program in college setting [master’s thesis]. Seoul: Dankook University; 2018. p. 1-81.

  • Kwak YK. Development and application of music teaching plans using flipped learning methods for early childhood pre-service teachers [dissertation]. Seoul: Chongshin University; 2019. p. 1-154.

  • Kweon YR, Choi BS. Effects of a psychiatric nursing education using flipped learning on learning transfer motivation and learning self-efficiency of nursing college students. Journal of The Korean Data Analysis Society. 2020;22(1):447-460.

  • Lee JJ. Graduate school of application of hair style direction class using flipped learning video and its effects [dissertation]. Seoul: Konkuk University; 2019. p. 1-194.

  • Lee YS. Development and effects of the flipped learning education program for college students with allergic rhinitis [dissertation]. Gyeongsangnam-do: Gyeongsang National University; 2018. p. 1-138.

  • Lee YS, Eun Y. The effect of the flipped learning on self-efficacy, critical thinking disposition, and communication competence of nursing students. The Journal of Korean Academic Society of Nursing Education. 2016;22(4): 567-576.

  • Oh HK. Effects of self-directed learning and learning achievement in nursing education course based on blended learning. Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology. 2015;5(4): 529-538.

  • Oh HY, Koo JM. An effect on learning achievement and satisfaction of a flipped Learning method in general English courses at a university level. Journal of Knowledge Information Technology and Systems. 2016;11(6):725-740.

  • Park WS, Kim HW. A case study of flipped learning applied in the classroom: Focusing on academic and nonacademic experiences, and classroom engagement of university students. Journal of Learner-Centered Curriculum and Instruction. 2016;16(2):525-546.

  • Song JY, Im BB. The effects of flipped learning activities on college students’ English listening and reading comprehension. Journal of Linguistic Studies. 2017;22(2):93-113. https://doi.org/ 10.21291/jkals.2017.22.2.6

  • Yoon J, Son EN, Kang SJ. A study on the effectiveness and possibility of general chemistry experiment lecture with flipped classroom. Journal of the Korean Chemical Society. 2018;62(2):124-136. https://doi.org/10.5012/JKCS.2018.62.2.124

Article information Continued

Figure 1

Flowchart of study selection.

Table 1

Descriptive Summary of Included Studies

First author (year) Publication type Control group program Participants ST SD Outcome Type of bias


Sample size SDT LM SE LA Selection bias Performance bias Detection bias Attrition bias Reporting bias


Exp. Con. Selection of participants N-Confounding variables
R-Allocation concealment
Kim YJ (2015) Thesis TAU 30 30 6 NRCT 0 0 0 Low Low Uncertain Uncertain Low Low
Oh HG (2015) Journal TAU 34 16 15 NRCT 0 Low Uncertain Low Low Low Low
Cha JY (2106) Thesis TAU 41 41 6 NRCT 0 0 Low Low Uncertain High Low Low
Jeon SJ (2016) Journal TAU 24 25 10 NRCT 0 Low Uncertain Uncertain High Low Low
Lee et al. (2016) Journal TAU 70 70 6 NRCT 0 Low Uncertain Uncertain High Low Low
Park et al. (2016) Journal TAU 124 37 7 NRCT 0 Low Low Low Uncertain Low Low
Oh et al. (2016) Journal TAU 34 29 4 NRCT 0 Low Low Low Low Low Low
Jung et al. (2017) Journal TAU 47 54 10 NRCT 0 0 Low Uncertain Low Uncertain Low Low
Song JY (2017) Thesis TAU 70 70 13 NRCT 0 0 Low Low Low Low Low Low
Gu MG (2108) Thesis TAU 34 33 1 NRCT 0 Low Low Low Low Low Low
Kim SY (2018) Thesis TAU 35 35 15 NRCT 0 0 Low Uncertain Low Uncertain Low Low
Lee MH (2018) Thesis TAU 19 19 6 NRCT 0 0 Low Low Low Low Low Low
Yoon et al. (2018) Journal TAU 15 15 15 RCT 0 Low Uncertain Uncertain Uncertain Low Low
Kwon HS (2018) Journal TAU 40 38 24 NRCT 0 0 0 Low Low Low Low Low Low
Do et al. (2018) Journal TAU 22 26 16 NRCT 0 Low Low Low Low Low Low
Kim YJ (2018) Journal TAU 35 35 2 NRCT 0 Low Low Low Low Low Low
Lee JJ (2019) Thesis TAU 15 15 16 NRCT 0 0 0 Low Low Low Low Low Low
Kwak Yk (2019) Thesis TAU 72 72 9 NRCT 0 Low Low Low Low Low Low
Hur JH (2020) Thesis TAU 50 50 4 NRCT 0 Low Low Low Uncertain Low Low
Kwon et al. (2020) Journal TAU 48 50 6 NRCT 0 Low Low Low Low Low Low
Ju SJ (2020) Journal TAU 31 22 12 NRCT 0 Low Low Low Low Low Low

Con.=control group; Exp.=experimental group; LA=learning achievement; LM=learning motivation; N=randomized controlled clinical trial; NRCT=non-randomized controlled clinical trial; R=randomized controlled trial; RCT=randomized controlled trial; SD=study design; SDT=self directed learning; SE=self efficacy; ST=session total; TAU=treatment as usually

Figure 2

Forest plot of effect size of flip learning of college students

Table 2

Effects of Outcome and Moderator Variables

Categories k* Hedges’ g 95% CI Heterogeneity

Lower Upper I2 p
Outcome variables Self directed learning 8 .78 0.42 1.14 75 <.001
Learning motivation 8 .83 0.40 1.26 86 <.001
Self efficacy 9 .50 0.23 0.77 70 <.001
Learning achievement 7 .66 0.18 1.14 84 <.001
Total effect size 32 .69 0.51 0.87 79 <.001
Moderator variables Thesis 16 .68 0.41 0.94 Q=0.012, p=0.911
Journal 16 .70 0.44 0.96
Slope SE 95% CI Z p

Lower Upper
Year .05 .06 -0.06 0.17 0.88 .377
Number of session -.02 .02 -0.05 0.01 -1.15 .248
Sample size -.00 .00 -0.01 0.00 -0.85 .393
*

k=number of effect size; CI=confidence interval; SE=standard error

Figure 3

Publication bias