跳转到主要内容

原始研究的文章

前面。Psychol。,06 February 2023
秒。教育心理学
卷14 - 2023 | https://doi.org/10.3389/fpsyg.2023.1080294

在网络环境中关键因素预测问题式学习:学习分析多通道的证据

湘王1 __,Di太阳2 * __,帮派程3、4 __亨罗 5 *
  • 1教育学院,北京师范大学,北京,中国
  • 2人文和社会科学学院、大连理工大学、大连、辽宁、中国
  • 3信息技术部门,中国的开放大学,北京,中国
  • 4工程研究中心的数字化学习技术的集成和应用,教育部,北京,中国
  • 5华中师范大学教育信息技术学院,武汉,湖北,中国

问题式学习(PBL)已经被用于不同的领域,和它的价值有压倒性的证据。作为一个新兴领域的前景,学习分析(LA),特别是多通道学习分析(MMLA)已经越来越引起了PBL的研究人员的注意。然而,目前的研究为集成与PBL没有相关结果与特定的PBL步骤或足够的关注同行学习的互动,尤其是对文本数据来自同伴互动。本研究采用MMLA基于机器学习(ML)量化过程的参与同行学习,识别日志行为,自律,和其他因素,然后预测在线出版广播公司的性能。受试者104名四年级学生在社会工作和解决问题的一个在线课程。从在线讨论MMLA模型包含多通道数据,日志文件,报告和调查问卷。毫升分类模型建立分类文本数据在网上讨论。结果表明,自我管理,信息发布,信息,和同行学习参与表示,解决方案,和评价预测的在线PBL的性能。分层过程的线性回归分析显示更强的预测效度指标在线PBL性能比其他指标。本研究解决缺乏学生的过程数据和分析文本数据的效率低下,以及提供信息有针对性的学习策略,脚手架的学生在线出版广播公司。

介绍

问题式学习(PBL)是一种覆盖大量的实践和教学理念已经应用于不同的机构和不同领域在过去的50年(Kilinska Ryberg, 2019)。PBL旨在教育学生通过解决问题的过程(内维尔,2009)。在PBL学生授权拥有充分的自主权与他人互动和使用他们的技能和知识来开发一个可行的解决方案(Savery 2006)。

由于互联网的普及,PBL日益在在线环境或混合进行设置。技术强化的设置让学生使用各种工具来执行任务和解决问题,从而导致生成大量数据在学习过程(Unal 2019)。这些数据非常有价值的调查深入PBL的信息,然而,数据本身不能显示任何没有有效的分析。一个新兴领域解决这个挑战是学习分析(LA), auto-analyze大量数据的能力,提出了分析直接相关的利益相关者(潘et al ., 2020)。反过来,研究人员认为,这可以使教育者更意识到学生的进步,基于循证标准,评估他们的贡献和识别模式的参与和学生失败的风险低(福斯特和Siddle, 2020年)。

然而,为当前应用程序在PBL没有相关结果与特定的PBL步骤:解决问题的表现和意识通常是建立在整个洛杉矶没有分化的理论阶段所学(陈et al ., 2019;路德维希和Rausch 2022)。此外,从同伴互动生成的文本数据不是由LA有效开采的方法。最近的评论表明,文本挖掘和话语分析没有蜜蜂广泛和研究教育目的实现的,相对于其它分析方法(卡里尔和it 2016;Nkhoma et al ., 2020)。确定学生的学习进步,解决问题的表现,和需要援助,以及提供公平的评估和适当的脚手架,本研究采用多通道学习分析(MMLA)基于机器学习(ML)量化同行学习的过程参与文本数据的基础上,确定日志行为,自律,和其他因素来预测在线PBL的性能。

文献综述

问题式学习

PBL是一种以学生为中心教学法由一个架构不良问题解决方案(Permatasari et al ., 2019),使学生积极参与“通过实践来学习”和横向发展和终身学习技能(Sohmen 2020)。PBL源于建构主义的观念,把学习看成是知识的积极建设,通过社会互动和对话发生在学习者(Saqr Alamro, 2019)。PBL是主题背后的主要思想内容和技能学习是围绕共同的问题(Saqr et al ., 2020)。在PBL,学生需要阐明的问题,然后搜索、评估、构建和共享信息,然后应用到解决问题的情况在现实世界中(内维尔,2009)。PBL从而帮助学生提高批判性思维、解决问题的能力、认知能力和整体性能(Joshi et al ., 2020)。这也是一个有效的途径来培养学生达到21世纪技能,如能够沟通和协作来解决复杂的问题,创新以应对新的需求和不断变化的环境,和使用技术来构建新知识(Binkley et al ., 2012)。

研究人员总结PBL的四个关键要素:架构不良学习问题的设计,教师的角色作为主持人,学生的自我调节学习过程,和同行学习与他人互动(Savery 2006;Kilinska Ryberg, 2019)。结构不良的概念作为学习的动力是一个很核心的方面出版广播公司(Kilinska Ryberg, 2019)。而不是直接呈现事实和传统概念在传统的教学中,复杂的现实问题是用于PBL改善和促进学生的学习(Joshi et al ., 2020)。教师的角色的过程中变得主持人协助学生解决问题(霍Galluzzo, 2017)。因此,学生必须负责自主和自我调节的学习,这就需要他们有目的地调节自己的认知、动机、情感行为,以及他人的最佳学习(齐默尔曼,2011)。同行学习和交互PBL中尤其有意义。通过在小组合作,学生将积极沟通,分享他们的专业知识和先前的知识,共同决策,和谈判的责任,以及评估和修改策略的学习和组工作通过交互式对话(轩尼诗和墨菲,1999;Saqr et al ., 2020)。

PBL已经应用于多个领域,提出了不同的模型在全世界范围内,如Alborg模型有八个步骤的项目管理;马斯特里赫特模型与七个步骤在科学、医疗、和业务;曼彻斯特模型在医学和工程学八个步骤;和桑佛德模型与七个步骤在商业、教育、和药房等(Zotou et al ., 2020)。步骤的细节在这些模型不是主要讨论的一部分,但是,一般来说,各种型号的PBL功能对等学习和解决结构不良的四个关键步骤:问题表示,解决方案开发,制造理由,以及监测和评估(训和土地,2004年)。

信息技术和数字设备的快速发展,网上学习已经成为一个可接受的教育形式在世界各地。作为一个典型的教学法,PBL日益网络环境中进行。在线讨论支持出版广播公司是一个非常重要的方法,尤其是同行学习,在网络设置(Saqr Alamro, 2019);它要求学生进行积极的讨论,两种类型的对话空间:内容和关系的空间。内容空间的目标是获得一个深入了解的领域的知识和技能通过收集信息,讨论的概念,并提出解决问题;关系空间处理人际关系和合作者之间的交互(Slof et al ., 2010;Saqr Alamro, 2019)。有压倒性的证据价值的培养;然而,提供学生一个架构不良问题并不直接转化为有效的互动和高性能。PBL需要教练的脚手架,协调同行学习,和积极参与的学生在刺激的环境中,要求一种机制来监控订婚的效率,设计一个数据驱动的干预支持有效的出版广播公司(潘et al ., 2020)。洛杉矶是一个有趣的新兴领域,可以应对这些挑战。

学习分析

LA涉及测量、收集、分析和报告的数据对学习者和他们的背景下,为了理解和优化学习和它发生的环境(西门子2013)。在线学习的普及,从教育中提取价值大数据的挑战,和提高性能的需求有三个驱动力在洛杉矶的出现(弗格森2012)。使用的数据在洛杉矶主要聚集在监控学生的在线学习平台的活动(例如,对资源的访问,登录,文本输入)从其他各种工具和材料,技术,或环境(例如,论坛、博客、互动白板、社交网站,和库)(雷竞技公司Kilinska Ryberg, 2019)。LA是基于教育数据挖掘方法,其中包括关系挖掘,预测,建模用户的知识领域,个性化和适应,和结构的发现和分析,以及传统的评估和监控(西门子2013)。洛杉矶域可以积累尽可能多的数据,使利益相关者能够了解学习过程,确定学生的知识和技能,检测学生的弱点和误解,评估评估的效率,并最终提高学习(Zotou et al ., 2020)。

然而,大多数LA研究更侧重于点击流数据比其他类型的数据来衡量学习和教学,很少有考虑到心理特点和生成的文本内容的学生,从而使拉研究似乎观察报告没有足够的学习和教学指导实践(蔡et al ., 2020)。最近,MMLA已成为一个令人兴奋的领域内域,将更加注重研究过程中的数据和方法的多样性比拉(迪米特里et al ., 2018;爱默生et al ., 2020)。

MMLA构建多通道人机交互之上,教育数据挖掘、学习科学,和许多其他领域来捕获复杂的学习通过数据密集型的方法(Spikol et al ., 2018)。首先,MMLA从身体动作捕捉多通道数据,跟踪,情感传感器、硬件和软件的日志文件,用户和research-generated数据(例如,话语数据)。进一步,它关注发展中更好的理解学习的复杂性通过先进的高频多通道数据采集、信号处理、ML技术和统计方法(2016年,奥乔亚和沃斯利)。因此,我们相信MMLA可能提供了一个机会来获取不同的见解在PBL学习提供有效的支持,帮助学生实现良好的性能。在这项研究中,由于拉收集从一个学期,这是不可行的将某些多通道数据(如情绪、运动和生物抑制剂)来自传感器技术,尽管他们证明价值MMLA (Sharma et al ., 2019)。因此,在当前的研究中使用的MMLA主要包括三种类型:心理特征,活动/参与数据,学生自己提供的文本内容。

LA融入PBL的研究

尽管许多研究人员已经证明,拉或MMLA引入PBL领域,相关的研究仍是有限的(Zotou et al ., 2020)。到目前为止,已经进行了两种尝试集成LA与PBL的追求。一是关心拉作为一种工具在学习平台收集学习和教学信息,生成相关的统计数据,并提供洞察信息交换的利益相关者在学习平台。例如,Hogaboam et al。(2016)调查使用拉工具支持教师在促进医学生在线出版广播公司车间(Hogaboam et al ., 2016)。研究人员收集了多通道数据视频、讨论,并通过PBL白板,然后建立了一个洛杉矶仪表板可视化学生成绩可滚动新闻feed,图的讨论,一个词云。同样,研究Spikol et al。(2018)也集中在应用拉多通道数据推导来自不同传感器(计算机视觉、用户生成内容和学习对象的数据)在PBL和提供了一个拉仪表板可视化结果和帮助教育者确定组织是否表现良好(Spikol et al ., 2018)。Triantafyllou et al。(2018)开发了一个在Moodle平台采用LA监控学生的学习途径在PBL组工作(Triantafyllou et al ., 2018)。这提供了一个沟通和项目管理者和学生之间的信息通道,以及学生之间属于同一组。

另一直试图将洛杉矶作为研究方法调查学术话题PBL,主要关注的是学生成绩的预测。Tempelaar et al。(2014)提出了一个性格拉基础设施相结合的学习与学生接触部署数据/活动学习管理系统的数据,以及数据从计算机辅助造型的评估(Tempelaar et al ., 2014)。结果表明,计算机辅助造型的评估是最好的预测学业成绩,虽然基本学习管理系统的数据没有显著预测学习。Saqr et al。(2020)在线出版广播公司专注于互动关系,采用社会网络分析(SNA)调查因素可以提高监测、便利化和学生成绩的预测(Saqr et al ., 2020)。他们发现,系统网络体系结构(SNA)分析可以启用性能预测的组织和支持学生有限的参与和互动。

然而,这些研究,无论是对于洛杉矶作为一种工具或方法,不涉及洛杉矶结果和发现与特定的PBL步骤或足够的关注交互在同行学习。更特别,他们没有针对性的分析从对等互动生成的文本数据。虽然一些研究已经使用系统网络体系结构(SNA)调查PBL的互动关系,表明系统网络体系结构(SNA)可以帮助地图的交互模式和量化学习的结构属性组(护墙板和Bodemer, 2017;Saqr Alamro, 2019),所有这些努力都是在关系空间有限,只有利用互动的内容空间有限。

交互内容的缺乏深入分析带来很多挑战在检测学生的知识、技能和情感,并向他们提供及时和适当的便利化。学生可能遭受不良的认知,缺乏技能,较低的动机,或自我怀疑。如果没有有效地解决这些挑战,学生可能会脱离学习、活动合作,性能较低,甚至退出学习。然而,与当前设备,需要太多的时间和精力为人类代码文本交互,采访,或调查,这意味着这种方法不能提供自动化分析和有效的见解对教育者的学习过程(Saqr Alamro, 2019)。幸运的是,经过几十年的发展,使用文本分析或自然语言处理(NLP)已经尝试在教育和研究人员越来越多的有针对性的文本数据。文本可以很容易地从面对面和在线活动,构成MMLA最有前途的方法之一,可能会加速discourse-based研究,以及开放新的可能性大规模开放式文本语料的分析教育(2016年,Blikstein和沃斯利)。

研究方法

研究问题

解决差距PBL多通道数据的研究和利用,尤其是文本数据,本研究提出了nlp和ML-enhanced PBL在网络策略设置。基于PBL的关键元素(特别是同行学习),这探索性MMLA研究的目的是为了更好的过程,解释,和现在的各种学生数据支持在线PBL的过程。具体来说,本研究试图尝试现在)的基于流程指标的有效方法,以促进PBL活动在网络设置。人口统计变量,如性别和先验知识也包含在我们的分析潜在的影响因素,我们旨在控制他们成立了对学生的影响PBL的性能。特别是,以下研究问题引导我们的调查:

RQ1。性别差异和先验知识如何影响学生的PBL性能在网络设置?

RQ2。学生如何自我调节影响PBL性能在线设置,保持性别差异和先验知识不变?

RQ3。学生的同伴学习如何参与(即。,log behaviors, and process engagement in problem-solving steps) predict their PBL performance in online settings, controlling for gender differences, prior knowledge, and self-regulation?

参与者和教学设计

这项研究的参与者在线课程的104名四年级学生在社会工作和解决问题在中国大学在2021年。本课程对Moodle和旨在介绍社会工作理论和培养学生的解决问题的能力基于三个社会工作案例与结构不良。PBL的每种情况下在本课程的目的是基于“四段式”解决问题的模型训和土地(2004)问题,包括:(一)表示,(b)生成和选择解决方案,(c)的理由,(d)监测和评价目标和解决方案(训和土地,2004年)。每一步的问题提示中列出Moodle的在线讨论模块来促进学生的培养过程。的主要目标是帮助学生经历的四个步骤解决问题的过程中反复实践的基础上与结构不良3例。最后,我们期望他们能够有效地理解相关的社会工作理论和自信地解决现实社会工作问题没有教练的便利在学期的结束。参与者从22到24岁,平均23.04岁。

16周课程的主要部分过程是基于在线讨论的同行学习。参与者被随机分配到13组由八个成员组成。在在线讨论,根据每种情况下,教师给学生提供了特定领域的问题提示四个步骤。根据这些提示,学生可以开始他们的小组学习,组织他们的想法、分享他们的想法,与同行交流。进一步,他们可以提高自律建设意义的社会工作计划基于个人知识和解决问题的能力。

研究过程,综述了本研究的工具和机构审查委员会批准华中师范大学(ccnu (irb) 201909021, 2019/09/16批准)。学生们意识到他们参与研究是完全自愿的,他们有权在任何时候退出研究而不受惩罚。他们所有的个人可识别信息将保密,不会出现在任何出版物或演示。参与者提供了他们的书面知情同意参与这项研究。

研究设计和数据

本研究采用MMLA方法在网上出版广播公司调查学生的学习过程。整个MMLA部署过程包括数据收集和预处理、语言特征提取,毫升分类模型建设、绩效评估模型,构建分层线性回归模型。所示的细节图1和数据分析部分中描述。

图1
www.雷竞技rebatfrontiersin.org

图1。研究过程。

有两个主要部分:第一个是“ML分类模型在同侪互动,”专注于在线讨论识别同行学习参与每一步完成解决问题的过程。在线讨论,学生在2020年发布的消息PBL课程被人类程序员编码(课程讲师和助教),并贴上与课程主题的相关性。我们人类使用的编码结果进行培训和评估ML算法自动标签的消息发布在2021网上PBL课程。第二个是“分层线性回归在线PBL的性能,其中包括建筑分层线性回归模型来识别关键因素预测学生的PBL在在线学习和评估其重要性通过测量他们的预测能力。

正如上面提到的,影响PBL是同行学习的重要原则。学生在网络讨论话语形式的关键数据来识别同行通过PBL学习参与的每一步。总共有1434在线讨论帖子从2020学期,1340条消息从2021学期被收集。消息从2020毫升分类模型被用来训练和测试基于NLP和ML算法。可选的模型然后分类1340帖子从2021年进入course-relevant course-irrelevant数据;这种分裂形成最终的分层线性回归模型中使用的数据在PBL的性能。此外,学生在Moodle日志行为,包括学生发布的消息的数量,和回复,和总的话消息也收集到另一种数据表明同行学习。

我们还收集学生的性别和自律的信息通过问卷调查,以及先验知识从学生的报告。本研究的最后PBL性能相结合的社会工作理论和解决问题的能力。年龄是一个人口因素总是与学习相关的性能;然而,在这项研究中,除了7 24岁和3学生22岁,94年的104名学生都是23岁,这意味着超过90%的学生相同的年龄。因此,我们不包括年龄作为本研究的关键影响因素。

仪器

先验知识

在课程的开始,没有任何指导社会工作知识和解决问题的能力,学生被要求写一份设计报告,试图解决这个问题在第一种情况下基于他们的先验知识。然后,两位专家打分学生”报告基于布鲁姆的分类从1到6的认知水平,包括识别、理解、分析、应用,合成、和评估。与可接受的两分的(斯皮尔曼的ρ> 0.7),可靠性的平均评级两位专家被用作最后的成绩学生的先验知识。

自律

先验知识,学生的自律倾向和技能是重要的个人特征影响在线学习性能和与在线学习参与度的互惠关系,动机,和交互(曹和金,2013年;郑et al ., 2018;苗族和马,2022年)。我们开发了一个问卷调查来衡量自我监管,包括三种结构:认知、动机、自我效能;克伦巴赫α为0.856。认知包括八个分量表采用社区的调查(CoI)框架(Arbaufvgh et al ., 2008)。动机是改编自开发的规模林et al。(2020)。自我效能包括七项改编自开发的工具Artino和McCoach (2008)

同行学习参与

正如上面提到的,我们收集了两种数据相关同行学习。一个是四个问题解决步骤的过程参与基于分类论述数据通过可选的ML分类模型。另一个是日志行为包括每个学生发布的消息数量,回复,总的话他/她的消息。

PBL的性能

在这项研究中,PBL表现相结合的社会工作理论和解决问题的能力。满分的学生PBL性能是100分两部分:道多项选择题(20分)、社会工作理论和最终报告由学生们自己解决一个架构不良社会工作问题个人(80分)。多项选择题是改编自测试银行全国研究生入学考试,旨在检查学生记忆和理解的社会工作知识教课程。最终报告的任务是设计和分级课程讲师,旨在测试学生的能力应用学到的知识解决真实的社会工作问题。最终报告的质量是由四个标准:评估的完整性分析,多样性的观点,最终解决方案的理由,和整体的逻辑推理。

数据分析和结果

图1说明了数据分析基于本研究的两个主要部分,与下面描述的细节。

话语数据收集和预处理

训练毫升分类模型,我们收集了1434的帖子在网上讨论数据从2020学年修读这门课程的学生。这些话语数据分布course-relevant编码1,或0 course-irrelevant的课程讲师和助教。Kappa值接近0.93,这意味着程序员之间的一致性。在编码结果,75%的数据被course-relevant。

语言特征提取

三个语言特征提取(纤维变性的手段都在这项研究中,包括一项频率和逆文档频率(TFIDF) Word2Vec (W2V)和Doc2Wec (D2V)。TFIDF确定一个词的贡献通过计算这个词的频率出现在文本和整个语料库(郭道,2016年)。W2V将每个单词转换成一个多维向量空间;向量之间的距离表示词语之间的相似度(Lilleberg et al ., 2015)。D2V是W2V的扩展,扩展学习单词词序列的嵌入和不可知论者的粒度词序列可以是一个单词,语法,句子,段落,或文档(Le Mikolov, 2014)。

毫升分类模型建设

3 ML算法被使用:随机森林(RF)、支持向量机(SVM)和长期短期记忆(LSTM)。1434年在线讨论帖子从2020年被随机分为两个子集:1300岗位培训和134的帖子进行测试。基于三种纤维变性方法和3 ML算法,九个不同毫升构建分类模型。

模型性能评估

一般来说,几种常见指标用来评估毫升模型性能,包括精度、精度,还记得,特异性,F1, AUC (权力,2020)。AUC代表毫升模型可以正确分类的概率随机选择course-relevant职位。AUC是采用在这项研究中,因为它可以提供公正的评价,即使不平衡数据的分类。根据人类的编码结果,75%的信息是course-relevant和25% course-irrelevant。因此,AUC是毫升模型性能的指标选择。我们评估9毫升分类模型的性能通过AUC 10倍交叉验证方法,以防止过度拟合。中列出的AUC值表1,一个更大的AUC意味着更强大的分类模型。

表1
www.雷竞技rebatfrontiersin.org

表1。ML性能评估模型。

我们也采用Kappa值识别的可靠性和比较编码之间的一致性结果从毫升分类模型和由人类的程序员。细节也所示表1;Kappa表明更高更好的人类编码结果和模型之间的一致性。平衡毫升分类模型的有效性和一致性,我们之间的权衡AUC, Kappa选择D2V_SVM作为最终毫升分类模型来分析1340年从2021学年在线讨论的帖子。

从2021年的数据可靠性检查

D2V_SVM模型分类从2021年进入course-relevant和course-irrelevant 1340个帖子。我们也随机选择了100个帖子被人类程序员编码。Kappa值毫升模型编码和人类之间的编码为0.82,这表明可接受的一致性。获得深入的调查同行学习参与每个解决问题的步骤,我们有关每个courser-relevant消息一定解决问题的步骤根据日志记录。总共有1132条相关信息分布在四个PBL步骤:Representation-relevant (Representation-rlvt,n= 376),Solution-relevant (Solution-rlvtn= 316),Justification-relevant (Justification-rlvtn= 275),Evaluation-relevant (Evaluation-rlvtn= 165)。更多的相关信息由学生表明更大的同伴互动和话语的关联性PBL的任务,从而显示了一个更高层次的对等网上学习期间参与PBL课程。

分层线性回归分析对解决问题的性能

基于教学设置和准备ML分类模型,我们最终选择的可能因素预测学生在网上出版广播公司解决问题的性能,包括性别、先验知识,自我调节,三个日志行为变量,和同行学习参与的四个步骤中PBL以的相关性信息张贴在每一个步骤。描述性统计所示表2

表2
www.雷竞技rebatfrontiersin.org

表2。变量的描述性统计(N= 104)。

五层次线性回归模型建立研究的独特和联合影响这些变量在网上出版广播公司绩效(见表3)。方差膨胀因子得分(vif)在每一个回归模型是低于2.5,这表明没有独立变量之间的共线性问题。模型1的结果表明,个体差异在性别和先验知识方差占0.057在线PBL的性能,和先验知识是唯一重要的预测(β= 0.241,p= 0.016)。在模型2中,添加的自律因素之后,20%的方差在线PBL表现解释(ΔR2= 0.204,p< 0.001),模型1变量不变。这一结果表明,学生的自我调节中扮演了重要角色在线出版广播公司(β= 0.452,p< 0.001)。的R2和调整R2模型2分别为0.261和0.239。

表3
www.雷竞技rebatfrontiersin.org

表3。分层线性回归分析预测PBL的性能。

模型3和模型3 b,我们检查了各自的同行学习的影响三个日志行为和同行学习参与四个解决问题的步骤超出模型2。我们观察到,添加三个日志行为模型3占方差解释的一个额外的0.291在线PBL性能(ΔR2= 0.291,p< 0.001),模型2变量不变。结果表明,学生经常发布消息有更好的学业成绩(β= 0.202p= 0.021),以及学生有更多消息的话(β= 0.446,p< 0.001)。的R2和调整R2模型3是0.552和0.524。添加同行学习参与四个解决问题的步骤3 b模型占方差解释的一个额外的0.323在线PBL性能超出模型2 (ΔR2= 0.323,p< 0.001)。这个结果表明,学生参与更多的问题表示步骤更有可能有更好的在线PBL性能(β= 0.286,p= 0.001),学生更多的参与问题的解决问题的步骤(0.296 - 0.001)和评价步骤(β= 0.189,p= 0.02)。的R2和调整R2模型3 b分别为0.584和0.553,分别。

模型4的综合模型,调查研究的所有变量的联合影响在线PBL的性能。的R2和调整R2模型4分别为0.713和0.682,分别。结果表明,学生的先验知识不再显著预测性能在线出版广播公司(β= 0.051,p= 0.416)。学生的自律仍显著预测性能在线出版广播公司(β= 0.233,p< 0.001)。然而,对等学习接触(日志行为和过程参与)突出显示的主要解释在线出版广播公司的性能。模型4解释的方差明显多于模型(3ΔR2= 0.161,p< 0.001)和模型3 b (ΔR2= 0.13,p< 0.001)。然而,模型比较结果也表明参与同行学习的过程(ML分类模型与每个问题解决步骤course-relevant)有较强的预测效度比同行学习的日志行为解释在线PBL性能,保持其他变量不变。

讨论

性别和先验知识对网络的影响PBL的性能

回答第一个研究问题,模型1表明学生的先验知识在网上最终PBL性能的一个重要指标设置。先前的研究已经表明先验知识可以减少认知负荷,导致更好的学习,所以它是一个强大的影响因素在决定最终学习成绩(董et al ., 2020;范Riesen et al ., 2022)。本研究的结果与先前的发现是一致的,尤其强调先验知识是有影响力的学生在线出版广播公司设置的性能。专注于这项研究中,布鲁姆的认知水平分类中,大多数学生的先验知识在3级,分析。这意味着学生们缺乏足够的知识和技能应用,合成和评估解决架构不良社会工作问题。然而,这样的高级认知能力在培养至关重要。因此,课程导师设计具体问题提示支架学生在解决问题的过程。我们想坚持理解学生的状态之前所学的知识是非常重要的,为学生提供适当和足够的便利。

学生自律在线PBL性能的影响

第二个研究问题,当前研究的结果符合一般的经验和我们的预期:在模型2中,学生的自律是验证作为一个积极的和强大的在线预测PBL的性能。由于COVID-19大流行,网上学习已经成为不可避免的支持传统的面对面教学,更受欢迎的各种各样的教育机构。目前,在线学习被认为是一种常规有效地开展学习和教学的意想不到的事件。自律或自主性始终是一个在线学习领域的研究热点。因为在线学习时间和空间的分离,改善和维持学生的自律能力是一个复杂的主题,吸引了许多研究者的关注。作为一个特定格式的在线学习,在线出版广播公司是由结构不良,需要学生与高阶思维和解决问题的技能;这意味着网上PBL组更高的要求学生的自律在解决问题的过程。因此,帮助学生调节注意力集中在认知、动机和情感通过解决问题的过程可以提高他们的学习性能(齐默尔曼,2011)。在这项研究中,老师提供了四个步骤来解决结构不良澄清的过程。研究结果表明,这种面向流程的搭建学生调节学习策略,与同行交流,并把注意力转向解决问题。

同行参与在线PBL学习性能的影响

回答第三个研究问题,模型3 a、3 b和4。在模型3,在控制了学生性别、先验知识,和自律,三个日志同行学习的行为显示在在线出版广播公司解决问题的性能产生重大影响。信息发布和总信息,特别是,对解决问题的性能的重要影响因素。一个学生回答的消息数量并不是解决问题的一个重要预测的性能。检查相关数据之后,我们发现学生张贴两倍多的信息回复。我们推测,学生更多的使用与同行分享他们的想法比回答别人的问题。这应该提醒老师注意鼓励学生帮助他们的同行在小组学习,提高自己的相关能力。

同样,在3 b模型,在控制了相同的变量在模型3,同行学习参与的四个步骤解决问题的显著预测在线PBL性能。结果符合文献,发现这些学生积极与同事沟通,分享他们的知识,讨论问题,协商解决方案,和评估策略将取得更好的性能(轩尼诗和墨菲,1999)。然而,我们发现,在解决问题的四个步骤的过程,只有参与表示,解决方案,和评估性能是解决问题的重要的预测因素。理由不产生强大的影响。我们想澄清,这些结果并不意味着理由不是解决问题的性能的一个重要因素。相反,它可能意味着学生需要提高他们的知识和技能来证明他们的解决方案结构不良的计划。

在模型4中,集成的模型,我们发现学生的先验知识不是PBL性能的一个重要预测;学生的自律、日志和消息发布的行为的话,和过程参与(表示,解决方案,和评估)仍然是重要的预测因子,特别是过程的强有力的因素参与。这表明,充足的与人类程序员编码的一致性,采用ML分类模型来识别的动态接触PBL过程可以深入我的信息在整个学期比使用心理测量或人工编码。总之,四步在线PBL的教学整合MMLA模型可以提供一个全面了解在线出版广播公司关于性别、先验知识,自我调节,和同行学习。它也支持这样的观点:ML-based LA方法可以用作一个警报或诊断模块提供深入的信息,促进学生在通过不同的在线PBL阶段。

结论和局限性

本研究构建的多通道学习分析模型来研究同行学习接触,尤其是动态过程参与表示,解决方案,理由,和评估,以及自律会影响解决问题的性能在网上PBL设置,保持性别和先验知识不变。结果显示,自律、发布消息、消息的话,过程参与表示,评估预测的在线出版广播公司的性能。毫升分类模型也话语构建和评估分类数据在网上讨论。可选模型有效地、客观地识别同行在网上出版广播公司上下文中学习参与不同的解决问题的步骤和过程指标显示更强的预测效度在线PBL性能比其他指标。

这项研究的发现可能造成这两个理论和实践的改进在线出版广播公司。有关建筑理论,本研究增加了文学的过程参与同行学习在网上解决问题可以被纳入一个集成MMLA模型来预测在线PBL的性能,这是一种稀缺的PBL(跟踪学生的研究进展Zotou et al ., 2020)。关于实际意义,本研究说明了基于NLP毫升分类模型可以被训练有效地识别进程参与从话语的数据,而不是进行密集的人类编码;MMLA模型可以适用于监视和检测通过PBL同行学习差的学生参与的过程。MMLA模型的预测可以帮助利益相关者设计策略,做出决策,培养学生解决问题的能力进行评估在网络设置。

这项研究表明,性别没有社会工作问题解决在线学习的性能产生影响,但先验知识是基础,开始进行进一步的学习。因此,我们建议之前或在网上PBL的开始,学生应该有一个预先测试来说明他们的知识和技能与学习相关的话题,它可以帮助教师建立有效的支架。在线出版广播公司在整个过程中,教师可以利用ML, MMLA或其他技术来监测和评估学生的自律和同行学习订婚,然后提供个性化的促进提高学生成绩。

然而,有一些局限性。首先,这项研究的参与者是来自只有一个社会工作课程的本科水平,这可能代表了其他学科的学生。第二,我们只有有限的NLP培训和测试方法和ML分类算法,和样本量不是很大。在未来,我们想开发更多毫升分类模型以及进一步提高可靠性。第三,虽然过程参与基于话语数据被编码成course-relevant或course-irrelevant,与四个解决问题的步骤,话语也许在将来会被编码成多个类调查更深入的信息有价值的数据。最后,正如PBL和在线学习都依赖self-regulation-especially内在动机在learning-future研究可能包括更多的多通道数据从各种学习设置,如社会媒体、智能代理、网络平台、现场教室,或面对面的环境,整合自我调节和同行学习培养综合MMLA模型在线出版广播公司。

数据可用性声明

原始数据支持了本文的结论将由作者提供,没有过度的预订。

道德声明

研究过程,综述了本研究的工具和机构审查委员会批准华中师范大学(ccnu (irb) 201909021, 2019/09/16批准)。参与者提供了他们的书面知情同意参与这项研究。

作者的贡献

DS和HL:概念化和writing-review和编辑。XW和DS:方法、调查和原创作品草稿准备。DS和GC:正式的分析。霍奇金淋巴瘤和GC:资源。DS和GC:项目管理。DS:融资收购。所有作者已阅读及同意发布版本的手稿。

资金

这项工作是由聪明的大数据研究和社区建设和平,授予“中国辽宁省社会科学基金会”(L21BSH002)。

的利益冲突

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

出版商的注意

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。

引用

Arbaufvgh, j·B。,Cleveland-Innes, M., Diaz, S. R., Garrison, D. R., Ice, P., Richardson, J. C., et al. (2008). Developing a community of inquiry instrument: testing a measure of the Community of Inquiry framework using a multi-institutional sample.网络高。建造。11日,133 - 136。doi: 10.1016 / j.iheduc.2008.06.003

CrossRef全文|谷歌学术搜索

Artino, a。R。,和Mccoach, D. B. (2008). Development and initial validation of the online learning value and self-efficacy scale.j .建造。第一版。Res。38岁,279 - 303。doi: 10.2190 / EC.38.3.c

CrossRef全文|谷歌学术搜索

Binkley, M。,Erstad, O., Herman, J., Raizen, S., Ripley, M., Miller-Ricci, M., et al. (2012).定义21世纪技能。21世纪评估和教学技能。多德雷赫特:施普林格。

谷歌学术搜索

Blikstein, P。,和Worsley, M. (2016). Multimodal learning analytics and education data mining: using computational technologies to measure complex learning tasks.j .学习。肛交。3,220 - 238。doi: 10.18608 / jla.2016.32.11

CrossRef全文|谷歌学术搜索

陈,L。,Yoshimatsu, N., Goda, Y., Okubo, F., Taniguchi, Y., Oi, M., et al. (2019). Direction of collaborative problem solving-based STEM learning by learning analytics approach.Pract >,抛光工艺。Enhanc。学习。14日,14 - 24。doi: 10.1186 / s41039 - 019 - 0119 - y

CrossRef全文|谷歌学术搜索

曹,M.-H。,和Kim, B. J. (2013). Students’ self-regulation for interaction with others in online learning environments.网络高。建造。17日,69 - 75。doi: 10.1016 / j.iheduc.2012.11.001

CrossRef全文|谷歌学术搜索

护墙板,M。,和Bodemer, D. (2017). A review of methodological applications of social network analysis in computer-supported collaborative learning.建造。牧师》。22日,159 - 180。doi: 10.1016 / j.edurev.2017.08.005

CrossRef全文|谷歌学术搜索

迪米特里D。,Schneider, J., Specht, M., and Drachsler, H. (2018). From signals to knowledge: a conceptual model for multimodal learning analytics.j .第一版。协助。学习。34岁,338 - 349。doi: 10.1111 / jcal.12288

CrossRef全文|谷歌学术搜索

盾,。,Jong, M. S.-Y., and King, R. B. (2020). How does prior knowledge influence learning engagement? The mediating roles of cognitive load and help-seeking.前面。Psychol。11、1 - 10。doi: 10.3389 / fpsyg.2020.591203

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

爱默生,A。,Cloude, E. B., Azevedo, R., and Lester, J. (2020). Multimodal learning analytics for game-based learning.Br。j .建造。抛光工艺。51岁,1505 - 1526。doi: 10.1111 / bjet.12992

CrossRef全文|谷歌学术搜索

弗格森r (2012)。学习分析:司机、发展和挑战。Int。j .抛光工艺。Enhanc。学习。4,304 - 317。doi: 10.1504 / IJTEL.2012.051816

CrossRef全文|谷歌学术搜索

福斯特,E。,和Siddle, R. (2020). The effectiveness of learning analytics for identifying at-risk students in higher education.评估。Eval。高。建造。45岁,842 - 854。doi: 10.1080 / 02602938.2019.1682118

CrossRef全文|谷歌学术搜索

郭,。,和Tao, Y. (2016). Research improvement of feature words weight based on TFIDF algorithm. IEEE Information Technology, Networking, Electronic and Automation Control Conference, 2016 Chongqing, China. 415–419.

谷歌学术搜索

轩尼诗,S。,和Murphy, P. (1999). The potential for collaborative problem solving in design and technology.Int。j .抛光工艺。Des,建造。9,1-36。doi: 10.1023 /: 1008855526312

CrossRef全文|谷歌学术搜索

Hogaboam, P。陈,Y。,Hmelo-Silver, C. E., Lajoie, S. P., Bodnar, S., Kazemitabar, M., et al. (2016). Data dashboards to support facilitating online problem-based learning.问:启Dist。学习。17日,95 - 97。

谷歌学术搜索

霍,a K。,和Galluzzo, G. R. (2017). Gifted middle school students’ achievement and perceptions of science classroom quality during problem-based learning.j .放置专科学校28日,下。doi: 10.1177 / 1932202 x16683424

CrossRef全文|谷歌学术搜索

乔希,。,Desai, P., and Tewari, P. (2020). Learning analytics framework for measuring students’ performance and teachers’ involvement through problem based learning in engineering education.Proc, Comp。科学。172年,954 - 959。doi: 10.1016 / j.procs.2020.05.138

CrossRef全文|谷歌学术搜索

哈利勒,M。,和Ebner, M. (2016). What is learning analytics about? A survey of different methods used in 2013-2015. ArXiv, abs/1606.02878.

谷歌学术搜索

Kilinska D。,和Ryberg, T. (2019). Connecting learning analytics and problem-based learning–potentials and challenges.j .概率。基础学习。高。建造。7 - 24。doi: 10.5278 / ojs.jpblhe.v7i1.2545

CrossRef全文|谷歌学术搜索

勒,Q。,和Mikolov, T. Distributed representations of sentences and documents. The 31st international conference on machine learning (ICML 2014), (2014). Beijing, China. 1188–1196.

谷歌学术搜索

Lilleberg, J。Yun, Z。,和Zhang, Y.. Support vector machines and Word2vec for text classification with semantic features. IEEE international conference on Cognitive Informatics and Cognitive Computing. (2015). Beijing, China.

谷歌学术搜索

林,L。,Ginns, P., Wang, T., and Zhang, P. (2020). Using a pedagogical agent to deliver conversational style instruction: what benefits can you obtain?第一版。建造。143:103658。doi: 10.1016 / j.compedu.2019.103658

CrossRef全文|谷歌学术搜索

路德维格。,和Rausch, A. (2022). The relationship between problem-solving behaviour and performance–Analysing tool use and information retrieval in a computer-based office simulation.j .第一版。协助。学习。,1-27。doi: 10.1111 / jcal.12770

CrossRef全文|谷歌学术搜索

苗族,J。,和Ma, L. (2022). Students’ online interaction, self-regulation, and learning engagement in higher education: the importance of social presence to online learning.前面。Psychol。13:815220。doi: 10.3389 / fpsyg.2022.815220

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

内维尔,a . j . (2009)。问题式学习,医学教育四十年。地中海,Princ。Pract。18日,1 - 9。doi: 10.1159 / 000163038

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Nkhoma C。,Dang-Pham, D., Hoang, A.-P., Nkhoma, M., Le-Hoai, T., and Thomas, S. (2020). Learning analytics techniques and visualisation with textual data for determining causes of academic failure.Behav。通知。抛光工艺。39岁,808 - 823。doi: 10.1080 / 0144929 x.2019.1617349

CrossRef全文|谷歌学术搜索

奥乔亚,X。,和Worsley, M. (2016). Augmenting learning analytics with multimodal sensory data.j .学习。肛交。3,213 - 219。doi: 10.18608 / jla.2016.32.10

CrossRef全文|谷歌学术搜索

锅,Z。,Li, C., and Liu, M. (2020). Learning Analytics Dashboard for Problem-based Learning.第七届ACM会议学习@规模(L@S 20)。纽约,纽约,美国。

谷歌学术搜索

Permatasari B。Gunarhadi, G。,和Riyadi, R. (2019). The influence of problem based learning towards social science learning outcomes viewed from learning interest.Int。j . Eval。研究建造。8,39-46。doi: 10.11591 / ijere.v8i1.15594

CrossRef全文|谷歌学术搜索

权力,d . (2020)。评价:从精度、回忆和F-measure民国,informedness、醒目和相关性。ArXiv1504:854。doi: 10.48550 / arXiv.2010.16061

CrossRef全文|谷歌学术搜索

Saqr, M。,和Alamro, A. (2019). The role of social network analysis as a learning analytics tool in online problem based learning.BMC地中海,建造。19:160。doi: 10.1186 / s12909 - 019 - 1599 - 6

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Saqr, M。,Nouri, J., Vartiainen, H., and Malmberg, J. (2020). What makes an online problem-based group successful? A learning analytics study using social network analysis.BMC地中海,建造。20:80。doi: 10.1186 / s12909 - 020 - 01997 - 7

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Savery, j . (2006)。问题式学习的概述:定义和区别。Interdisc。j .问题学习。1,9-20。doi: 10.7771 / 1541 - 5015.1002

CrossRef全文|谷歌学术搜索

沙玛,K。,和Papamitsiou, Z. And Giannakos, M. (2019). Building pipelines for educational data using AI and multimodal analytics: a “grey-box” approach.Br。j .建造。抛光工艺。,50岁,3004 - 3031 doi: 10.1111 / bjet.12854

CrossRef全文|谷歌学术搜索

西门子(Siemens)、g (2013)。学习分析:一门学科的出现。点。Behav。科学。57岁,1380 - 1400。doi: 10.1177 / 0002764213498851

CrossRef全文|谷歌学术搜索

Slof B。,Erkens, G., Kirschner, P., Jaspers, J., and Janssen, J. (2010). Guiding students’ online complex learning-task behavior through representational scripting.第一版。嗡嗡声。Behav。26日,927 - 939。doi: 10.1016 / j.chb.2010.02.007

CrossRef全文|谷歌学术搜索

Sohmen,诉(2020)。“基于项目的学习(PBL)在高等教育项目引进加速PBL(然后)模式”手册的研究在高等教育成人学习。eds。m·c·p·o·Okojie和t·c·博尔德(宾夕法尼亚:IGI全球)。

谷歌学术搜索

Spikol D。,Ruffaldi, E., Dabisias, G., and Cukurova, M. (2018). Supervised machine learning in multimodal learning analytics for estimating success in project-based learning.j .第一版。协助。学习。34岁,366 - 377。doi: 10.1111 / jcal.12263

CrossRef全文|谷歌学术搜索

Tempelaar, d . T。,Rienties B。,和Giesbers, B. (2014). “Computer assisted, formative assessment and dispositional learning analytics in learning mathematics and statistics” in创新艺人经纪公司2014:通信在计算机和信息科学。eds。m . Kalz和e . Ras(泽斯特、荷兰:施普林格,Cham), 67 - 78。

谷歌学术搜索

Triantafyllou E。Xylakis E。,Nilsson, N. C., and Timcenko, O. Employing learning analytics for monitoring student learning pathways during problem-based learning group-based group work: a novel approach. The 7th international research symposium on PBL: Innovation, PBL and competences in engineering education, (2018). Beijing, China. 542–551.

谷歌学术搜索

蔡,Y.-S。,利率,D。,Moreno-Marcos, P. M., Muñoz-Merino, P. J., Jivet, I., Scheffel, M., et al. (2020). Learning analytics in European higher education—trends and barriers.第一版。建造。155:103933。doi: 10.1016 / j.compedu.2020.103933

CrossRef全文|谷歌学术搜索

Unal,大肠(2019)。Web 2.0技术支持基于问题的学习:一个系统的文献回顾。j .概率。基础学习。高。建造。7,25 - 50。doi: 10.5278 / ojs.jpblhe.v7i1.2845

CrossRef全文|谷歌学术搜索

范Riesen, s . a . N。Gijlers, H。,Anjewierden, A. A., and De Jong, T. (2022). The influence of prior knowledge on the effectiveness of guided experiment design.交互。学习。环绕。30,17-33。doi: 10.1080 / 10494820.2019.1631193

CrossRef全文|谷歌学术搜索

荀,G。,和Land, S. M. (2004). A conceptual framework for scaffolding III-structured problem-solving processes using question prompts and peer interactions.建造。抛光工艺。研究开发。52岁的5-22。doi: 10.1007 / BF02504836

CrossRef全文|谷歌学术搜索

郑,C。,Liang, J. C., Li, M., and Tsai, C. C. (2018). The relationship between English language learners’ motivation and online self-regulation: a structural equation modelling approach.系统76年,144 - 157。doi: 10.1016 / j.system.2018.05.003

CrossRef全文|谷歌学术搜索

齐默尔曼,b (2011)。“自主学习的动机来源和结果和性能”手册的自我调节学习和性能。eds。b·j·齐默尔曼和d·h·Schunk (Abingdon-on-Thames:泰勒和弗朗西斯)。

谷歌学术搜索

Zotou, M。,Tambouris, E., and Tarabanis, K. (2020). Data-driven problem based learning: enhancing problem based learning with learning analytics.建造。抛光工艺。研究开发。68年,3393 - 3424。doi: 10.1007 / s11423 - 020 - 09828 - 8

CrossRef全文|谷歌学术搜索

关键词:问题式学习、同伴交往、学习过程中,多通道分析学习,在线学习

引用:太阳王X, D,程罗G和H(2023)在网络环境中关键因素预测问题式学习:学习分析多通道的证据。前面。Psychol。14:1080294。doi: 10.3389 / fpsyg.2023.1080294

收到:2022年10月26日;接受:2023年1月18日;
发表:2023年2月06。

编辑:

哈里森郝阳在奥斯维戈的纽约州立大学,美国

审核:

Juilong挂博伊西州立大学,美国
Lam-for郭HKCT高等教育研究所,中国香港特别行政区

版权程©2023王,太阳,和罗。这是一个开放分布式根据文章知识共享归属许可(CC)。使用、分发或复制在其他论坛是允许的,提供了原始作者(年代)和著作权人(s)认为,最初发表在这个期刊引用,按照公认的学术实践。没有使用、分发或复制是不符合这些条件的允许。

*通信:Di的太阳,sundi@dlut.edu.cn;亨罗,luoheng@mail.ccnu.edu.cn

__这些作者对这项工作同样做出了贡献,分享第一作者

下载