查看原文
其他

高等教育数字化发展研究|高守宝 张舒婷 孟现美 丁雨楠 王晶莹.机器学习在科学教育评估中的应用:维度、领域与规律

编辑部 中国教育信息化 2024-04-16

引用格式

高守宝 张舒婷 孟现美 丁雨楠 王晶莹.机器学习在科学教育评估中的应用:维度、领域与规律[J].中国教育信息化,2023,29(10):083-092.DOI:10.3969/j.issn.1673-8454.2023.10.009

高等教育数字化发展研究

机器学习在科学教育评估中的应用:

维度、领域与规律

守宝 张舒婷 孟现美 丁雨楠 王晶莹

摘 要: 为阐明机器学习优化教育评估与教育教学过程的效用及其规律,重构机器学习教育应用效果分析框架,从技术性、有效性、应用性三方面分析机器学习应用于科学教育的六个案例,阐明机器学习在评分策略、学习测评与教育干预领域的应用优势。同时,归纳机器学习在科学教育评估中的应用规律:机器学习通过复杂实践参与和自动反馈系统提高评估效率;机器学习支持多模态评估,帮助拓宽评估途径;机器学习在复杂结构、高阶思维和多维学习的应用中表现出巨大潜力;机器学习整合神经科学,能够帮助还原认知发展过程。然后,就机器学习进一步广泛应用给出建议:重视反馈在教学中的作用;聚焦机器学习应用的具体场景;关注教师在应用场景中扮演的角色。关键词: 机器学习;科学教育评估;维度分析中图分类号: G434文献标志码: A文章编号: 1673-8454(2023)10-0083-10

作者简介: 高守宝,山东师范大学物理与电子科学学院副教授,博士(山东济南  250000);张舒婷,山东省滕州市第一中学教师,硕士(山东济南  250000);孟现美,山东师范大学物理与电子科学学院讲师,博士(山东济南  250000);丁雨楠,北京师范大学教育学部硕士研究生,共同第一作者(北京 100875);王晶莹,通讯作者,北京师范大学教育学部教授,博士(北京  100875)

基金项目: 北京市教育科学“十四五”规划2022年度优先关注课题“大数据教育评价研究”(编号:CDEA22008)


一、研究背景               

  教育评估是在一定的环境下根据教育目的和教育原则,按照一定的价值标准利用可行的评价方法及技术,对教育教学过程和参与教育教学活动的对象及教育预期效果给予价值上的判断,是一种有组织、有计划、系统性的教育活动。恰当的评估不仅能给教师的教学提供指导信息,还能对学生的学习产生积极作用。面向教师的教育评估是通过诊断教学质量,使教师明晰当前不足,从而改进教学工作;面向学生的教育评估的目的不是评判学生,而是通过关注学生的学习过程与学习结果,激发其学习动机,从而促进学生学习。新的时代背景下,教育评估应与时俱进,走向更加科学、更加多元化的道路。[1]信息技术使机器学习渗透到教育领域,使教育评估的发展迎来新的机遇。机器学习使计算机能够模拟人的学习行为,并自动通过学习获取经验,且能通过经验不断完善其性能,是涉及概率论、统计学、凸分析等多门学科的新兴学科,它主要使用归纳、综合等方法,实现自我完善。作为人工智能的一个重要的研究领域,机器学习研究的是,如何使机器通过识别和利用现有数据来获取新的知识和技能,其研究工作主要围绕学习机理、学习方法、面向任务这三个基本方面进行。[2]

  科学教育评估中的机器学习方法实际是通过对数据的采集和应用,根据专家的标准建立模型,通过不断采集和利用新的数据来训练模型,使其不断完善;通过机器学习构建起的模型能够自动化处理新数据并对未来的数据加以预测。将机器学习引入教育评估的相关研究包括,使用粗糙集理论解决指标权重不合理问题、引入决策树分析评教数据、采用关联规则算法分析影响教学质量的因素等。此外,很多学者采用人工神经网络进行建模实现教育评估。有学者将人工神经网络的理论引入民族高校教育质量评估中,建立相关数学模型,将指标予以量化,构造出BP(Back Propagation)神经网络模型,得到较合理的结果。[3]另外,机器学习在教育评估中表现出许多优势:①提高教育评估的效率,增加对信息的利用率。在教育过程中很容易积累关于教学过程和学生学习的大量数据,然而,单凭教师很难做到对这些数据背后的信息加以有效利用,而机器学习可以帮助大规模处理数据并提供更多有价值的信息。②丰富教育评估模式。传统评估方式倾向于关注学生的学习结果,而利用机器学习并结合计算机技术可以帮助实时采集教与学过程中的师生数据,从而在过程层面改进教学,甚至可以实时监测传统方法难以测量的学生情感数据,以达到对认知、过程以及情感的全面评估。③支持定量评价,使评价更加科学客观。使用机器学习进行教育评估的第一步是专家设置规则,之后根据规则对数据进行评分,因此,这种方式相比传统方法更加科学客观。④与神经网络理论结合,对认识学生的认知结构和认知过程有重要意义。机器学习可以检测到传统方法不易捕捉的高阶认知能力,另外,其与神经理论的结合可以揭示学生的学习如何进行,帮助解释学生的认知能力如何发展,对促进学生的学习具有重要意义。近年来,机器学习在教育领域的应用日益广泛。

  本文选用《科学教育与科技学报》(Journal of Science Education and Technology)的《机器学习在科学评估中的应用》(ML in Science Assessment)这期特刊中,研究利用机器学习进行科学教育评估对学生学习影响机制的六篇文章,如表1所示,探讨机器学习在科学教育评估应用当中面临的机遇与挑战,并从不同维度对其进行比较分析,探究其应用规律。

表1 选取案例


二、机器学习应用于科学教育评估的维度水平                     

  本文参考相关研究者提出的机器学习在国外科学教育评估应用的分析框架[10],重新构建机器学习教育应用效果的分析框架,将技术性、有效性和教学性修正为技术性、有效性和应用性,其中,应用性保留对机器学习促进教学效果的考察,同时又将其细分为宏观、中观以及微观三个水平。对框架的重新构建不仅关注研究本身的合理性和适用性,还关注机器学习在教育评估中的应用对学生学习的切实影响。本文通过各个案例的研究过程与方法、研究结论,应用修正的机器学习教育应用效果分析框架,从技术性、有效性、应用性三个维度对六个案例进行比较。

  (一)研究技术性:复杂性与程序性并行

  技术性的考察主要包括研究的复杂性和程序性,研究的复杂性是指应用场景、研究内容、算法模型的复杂程度,程序性即机器学习程序的规范性和完备程度。机器学习在科学教育评估中的技术性内嵌于不同学习情境和学习表现两个方面。在学习情境的技术性维度水平方面,杰斯科维奇(2021)针对本科生四个建构性反应评估项目,将每个项目设置成整体和分析两套规则,同时,每个项目的整体规则也被解构成一系列的分析箱,每个分析箱旨在捕捉学生回答中与项目背景相关的一个关键概念成分,且被二分评分(0,1),而这些评分随后会整合成一个复合分数,对整体评分、复合评分进行对比得到最适宜的编码方式。以开放性复杂系统为背景,“解构—复合”的算法模型使该研究具有较高的研究复杂度和程序性。李(2021)以仿真学习为背景,比较只被提供论证反馈的学生与论证反馈、仿真反馈均被提供的学生的表现,从而研究使用机器学习生成的自动反馈系统,并探究仿真反馈如何改进学生的科学论证。该案例建构出参数响应的自动反馈模型和自动仿真反馈模型,其中,自动仿真反馈采用决策树输出变量,即算法模型复杂度较高,且合乎规范、程序完备。梅斯特莱斯(2021)以多维科学学习为应用场景,探索机器学习三维科学学习建构性反应评估项目中的表现,从算法模型上看,计分是在两个周期的过程中进行的,第一个周期人工评分,第二个周期使用人工评分来训练机器算法进行评分,因此这项研究复杂度较高。学习者的学习表现可以付诸不同层面,涉及行为层面的面部表情、肢体动作等,认知层面的思维模型、建模机制等,还有学生的作答反映等结果性表现层面。廖(2021)以运动学中学生概念转变为背景,采用“预测—观察—解释—可视化教学—类比”过程,利用机器学习收集面部微表情,进而实时预测学生表现并探究先验知识和多重表征对概念转变的影响;该案例设置前测和后测,前测旨在区分学生是否具备先验知识,后测在教学过程之后设置;研究中运用计算机实时收集学生的面部信息,之后利用基于决策树的随机森林模型来预测学生的学习;在研究的程序性上,该研究对实验中的各个变量分别控制,实验的程序完备。对于兰姆(2021),在研究的复杂性上,该案例使用认知计算模型来研究学习的潜在作用机制, 该模型将尝试研究康奈尔批判性思维测试上的认知结果与科学写作启发式的结构相联系,将认知科学、神经科学以及科学教育相结合,体现本研究的复杂性;在算法模型中引入神经科学,试图构建特定认知能力的发展模型,程序完备。

  (二)研究效用:适切性、推广度、合理性与普适性平衡

  本文采用研究的适切性、推广度、合理性以及普适性来印证研究效用。适切性指研究对象、内容,与机器学习方法的一致性、适用性;推广度即研究模型与方法的可推广程度;合理性考察研究目标、研究设计与过程的可操作性和伦理性;普适性涉及研究结论的适用性、教与学方法的迁移性。

  机器学习在科学教育评估中的研究效用反映在各个研究的应用方法以及研究结论上。研究的应用方法往往与该研究所指向的问题息息相关。杰斯科维奇(2021)旨在考察特定技术特性对机器学习性能的影响,以提高自动评分模型与学习进程相一致的建构性,来反映评估项目中的评分性能;选择通量原理学习这一情境,以通量原理学习的进程为框架比较整体编码与二分分析编码在机器学习模型中的性能,可以在一定程度上为之后的研究提供指导,因此,其在一定程度上具有推广度和普适性。李(2021)利用机器学习,开发出用于学生论证文本以及仿真互动使用情况的自动评分系统,并将自动反馈整合到在线课程中,从而影响学生的表现。该研究利用机器学习为学生使用模拟任务的表现打分,并且根据学生的反应,提供不同的反馈,探讨仿真互动反馈对学生的学习表现有何影响,机器学习算法具有识别和检测学生在各种科学任务中表现的潜力,因此,机器学习与本案例有很好的适切性和合理性。廖(2021)的研究旨在利用机器学习预测学生是否会在与直觉相反的运动学实验场景中发生概念转变,该研究用计算机捕捉学生面部微表情信息,最后运用决策树模型中的随机森林模型得到预测信息,随机森林模型不仅能对收集到的数据进行分类和预测,并且能在若干结果中选择出最优项,具有良好的适切性和合理性。梅斯特莱斯(2021)针对基于表现的建构性反应的评估项目,以多维科学学习为背景,与机器学习方法相适切。研究结果体现机器学习在多维科学学习应用中的巨大潜力,具有较强的普适性和推广度。并且该研究将在两个周期内计分,第一个周期人工计分,使用人工评分校准模型,第二个周期力图建立一个合理的数据集,以训练模型根据维度将学生的反应正确分类,该研究使用“新一代科学标准”(Next Generation Science Standards)划分学习维度,发现基于机器学习的评分系统能够对学生的反应准确分类,体现该研究在机器学习应用上的合理性。兰姆(2021)解释科学教育中的一个研究范式,使用认知计算模型来研究学习的潜在作用机制,其中计算模型包括两部分,一个是机器学习组件,另一个是概念组件。就适切性和合理性而言,为了探究启发式科学写作如何促进学生批判性思维发展,将认知结构与机器学习、神经网络相结合,因此,具有良好的适切性和合理性。

  研究结果的效用,也就是研究结果对以后研究的参考意义。对于推广度和普适性,廖(2021)在其研究中用到的软件不能捕捉学生的困惑等表情,对其他研究只能起到参考作用,且该研究只是探究面部微表情在概念转变中的意义,因此,实时自适应评价系统的开发还需进一步努力。参与李(2021)组织研究的教师均具有极强的创新意识,且他们所在的学校有相对现代化的计算机,因此,如果数据样本扩大,更多的不确定因素可能会显现,即推广度不足;但李(2021)以仿真为背景利用机器学习对学生提交的科学论证文本自动评分,证明反馈尤其是过程性的反馈对学生学习的重要性,对未来的研究意义重大。兰姆(2021)利用基于机器学习的认知计算模型开发出一种研究干预措施与认知机制联系的方法,该模型的计算(机器学习)组件旨在模拟学生科学写作时大脑的结构和功能及其认知过程,模型为科学教育研究人员和实践者提供可以在干预和课前,使用低影响、低成本的实验做出教学、课程和评估选择的可用的模拟数据,这为更深入地开发计算模型、尽量减少课堂干扰以用于教育研究和教学过程提供可能性。该研究中的认知计算模型成功地将大脑结构、认知过程以及课堂活动联系起来,且该研究证明在没有干扰的情况下研究课堂活动的可能性,整体来看具有很强的推广价值。

  (三)研究的应用度:宏观、中观与微观迥异

  研究的应用度可以分为宏观、中观以及微观三个层面。宏观研究表现在对教与学结果整体预测的应用程度。杰斯科维奇(2021)将机器学习运用到对建构性反应评估项目的自动评估上,并且探究具体的技术特性对机器学习性能的影响,该研究的意义在于它提高了使用计算机自动评分模型来评估复杂结构的能力,其影响是宏观的。梅斯特莱斯(2021)将机器学习应用到多维科学学习情境中,发现机器评分结果与人类评分结果一致性很高,这表明机器学习在这一领域应用前景广阔,因此,其应用度是宏观的。李(2021)在仿真学习环境中讨论形成性评价对学生学习的影响,对学生进行仿真互动评分,发现学生在仿真互动反馈后表现会在一定程度上提升,由此得出,反馈在教与学过程中对提升学生的学习结果有积极意义,即反馈在教学过程中尤为重要。中观即研究对教与学在认知、行为或情感等层面的一般性应用程度。廖(2021)利用机器学习探究学生在概念转变中的情感,并设想创建基于机器学习算法的自适应面部微表情状态教学系统,这种从情绪情感上评估学生的学习情况对实际教学实践是一种有意义的启示,因此,该研究在应用度上属中观。微观指研究对教与学在具体知识、技能、思维、态度等方面的应用程度。兰姆(2021)尝试将康奈尔批判性思维测试上的认知结果与启发式科学写作联系起来,利用基于机器学习的认知计算模型来研究启发式科学写作如何作用于批判性思维的发展,该研究针对特定的认知能力展开,但其价值和影响不止于此,其创举之一是利用机器学习和人工神经网络还原复杂认知结构,这表明机器学习在测量教育干预对学习的影响上有很大的应用前景。



三、机器学习应用于科学教育评估的关键领域

          

  近年来,许多研究者从不同的角度、在不同的学习情境下研究机器学习在科学教育中的应用效果及其面临的机遇与挑战。具体来说,机器学习在教育评估中的应用大致可以概括为建立标准以及构建机器学习模型两个方面。本文通过横向与纵向相结合的方式对六个案例定性分析,将机器学习在科学教育评估中的应用分为三类。

  (一)评分策略:改善评分策略,优化评分性能

  机器学习表现出对复杂开放系统评价的巨大潜力,然而,运用机器学习进行评估所使用的评分策略并非一成不变,对于不同的学习情境应该采取不同的策略进行评分,以达到最高的效率以及精确度。杰斯科维奇(2021)针对以科学学习进程为背景的建构性反应评估项目,“整体—分析—复合规则”这一策略在其实验中成功适用,具体来说,该案例以离子环境中通量原理的学习为背景,选择四个建构性反应评估项目,每个项目设计整体和分析两套规则,共八套规则。为应对使用有限训练集开发精确的机器学习模型这一挑战,该研究将整体分数分解为单个的分析分数,后将分析分数组合成一个复合分数,通过仔细监控解构和重建过程确保复合分数与对应的整体分数相一致,这种方式也可以使复杂的结构分成精细片段,识别关键的学生反应,从而提高总体机器学习模型的性能。梅斯特莱斯(2021)针对以多维科学学习为背景的建构性反应评估项目,学科核心思想(DCIs)、科学与工程实践(SEPs)与横切概念(CCs)的结合,以及两周期的评分,使实验呈现出机器学习在多维科学学习评估中的巨大潜力,为了适应DCIs、SEPs、CCs相结合的多维推理,以及学生回答的多样性,该研究从原始的二进制规则中改编三个响应分类,包括“不正确、正确和多维正确(MDC)”。仅当学生能够证明具备有关DCI、CC和SEP的推理能力时,才会授予MDC评分,结果表明,机器学习对多维科学学习的建构性反应评分表现出很高的一致性。

  (二)学习测评:文本与情绪等多模态测评

  机器学习能促进学习测评的发展,主要应用在文本测评和情绪测评两方面。在科学实践中对每一个学生提交的科学论证文本提供实时个性化评价与反馈使教师面临巨大压力,机器学习的应用为解决此问题提供思路。兰姆(2021)利用机器学习对复杂开放性项目进行评价,机器学习的一个主要优势是自动对学生生成的文本进行评分,包括学习者提供的解释和论证现象的文本、描述科学调查设计的文本,以及学习者构建的潜在图表。在课堂环境中开发和使用复杂的建构性反应评估,可以为教师提供反馈以便做出教育决策促进学生学习,即机器学习可以促进教学的改变。总的来说,机器学习的进步使科学教育研究人员能够分析学生在开放式文本回答中的复杂现象,从而改变K-16科学教育的教学。这样的研究可以帮助改善评估、教学和课程资源,以促进学生的学习。李(2021)测试一个机器学习支持的针对学生科学论证的自动评分系统,实验结果表明,该自动评分系统能为学生提供实时反馈并促进学生改进其科学论证的过程以及结果。相对于传统的教师人工评分,机器学习实现的自动文本评分使教师拥有更多时间、精力在课堂上进行建构性问答,以纳入形成性评价或总结性评价中,最终优化学生的学习。

  学生情感的外在表现对判断学生的学习情况具有重要意义。廖(2021)认为,机器学习可以用来在研究数据中寻找新模式。该研究的作者采用“预测—观察—解释—可视化教学—类比”过程来测试反直觉演示诱发的概念转变与学习者面部表情之间的关系,并通过加入可视化教学和类比进行改进。不仅如此,该研究还关注先验知识以及多重表征与学生概念转变的关系。然后,用收集到的面部识别数据构建随机森林模型,其分类性质能识别最优数据,以这些数据预测学生学习。依据随机森林模型和面部微表情能够得到学生理解概念的轨迹以及趋势。

  机器学习可以通过所提供的学生实时学习情况反馈促进学生的学习,值得一提的是,机器学习对学生学习情况的评估是多模态的,不仅可以对学生的文本反应提供自动反馈,还能如廖(2021)所说,在第一现场对学生的面部表情数据进行收集和分析,通过情绪状态判断甚至预测学生的学习情况。机器学习展现出对大规模数据实时反馈的能力,而这种反馈对改善学生的学习有积极意义。

  (三)教育干预测评:针对特定认知能力,模拟学习过程

  机器学习在教育评估中的应用不局限于评估、预测学生的学习表现以及帮助教师做出教育决策,当前,机器学习与神经网络的结合被越来越多地应用于神经科学领域,为研究大脑的结构、认知过程和课堂行为之间的联系,阐明其中的相互作用提供可能性。兰姆(2021)基于启发式科学写作,以完成康奈尔大学批判性思维测试为背景,使用机器学习算法进行计算建模,研究科学写作学习相关的潜在认知机制(结构和功能)如何促进科学情境中的学习和批判性思维发展。计算模型是在学生任务和认知模型、对启发式科学写作测验进行修改的基础上建立的,在研究中,批判性思维和执行功能等系统的相互连接是通过人工神经网络在功能层面上进行建模实现的,它是概念框架、机器学习和方程组的组合,构成启发式科学写作测验的计算和预测部分。该研究采用认知科学、神经科学与科学教育相结合的方法,将批判性思维解构成一种片段式的认知结构,其中,计算建模的成功说明其对课堂活动进行研究的可能性,并且证明机器学习具有研究认知系统和个体成分的巨大潜力。


四、机器学习应用于科学教育评估的基本规律

          

  通过对案例的分析发现,机器学习融入科学教育评估,旨在利用先进技术为教师提供学生学习进度和学习效果的信息,从而帮助教师进行教育决策;为学生提供更加有效率的反馈,从而促进他们的学习。本文总结出机器学习应用于科学教育评估的四点规律。

  (一)提高评估效率:参与复杂实践和自动反馈系统

  机器学习对评估效率的促进作用体现在,机器学习可以参与到复杂的实践环境中,具有快速识别的特性,能提供实时的自动反馈。基于机器学习模型的自动反馈系统拥有传统评估方式无法匹敌的优势,在评价开放性文本响应方面,机器学习可以与开放性在线仿真学习环境相结合,快速识别仿真参数、捕捉学生复杂表现、判断学生参与程度,从而提供仿真反馈以促进学生学习。另外,利用机器学习开发自动反馈系统能帮助教师对学生进行个性化反馈,且反馈后能够促进学生的科学学习。例如,李(2021)利用机器学习对学生的开放性文本以及学生使用仿真互动情况提供实时反馈,且验证仿真互动反馈在改进仿真互动行为的同时能够促进修改后的科学论证。同时,与认知系统相关的复杂结构在学生工作时的出现很短暂,而机器学习在科学教育中的应用为研究这些复杂结构提供可能:机器学习方法有助于实现传统教育研究时无法捕捉学生学习过程中高阶思维能力表现的即时检测。教育教学的场景往往复杂多变,学生的表现和反应也趋向多样化,在复杂实践中,机器学习也表现出巨大的潜力。例如,杰斯科维奇(2021)选择通量原理学习这一情境,开发通量原理学习的学习进程并以此为框架,系统地比较两种生成机器学习训练数据集的编码方法,结果表明,应用“整体—分析”编码方法的模型性能更强,并且此案例证明机器学习能够快速准确地识别复杂开放性文本,对学生的学习表现及时监测,在复杂实践中表现出巨大潜力。

  (二)拓宽评估途径:认知与情感结合预测学生学习

  随着教育领域的发展,教育者越来越认识到对学生学习的评估应该是多方面的,而技术的发展恰恰能支撑这种构想。面部微表情是判断学生认知和情感的强有力证据,与传统方式相比,机器学习作为一种现场技术可以实时监测学生的情感状态,探究学生认知投入状态和情感投入状态之间的联系,从而把握学生的认知轨迹,并基于此预测学生的学习以达到自适应的教学,不仅如此,通过持续输入学生的回答和学习成果,还可以为学生提供反馈从而促进学生的学习。例如,廖(2021)在基于概念转变的科学学习情境中,学生的面部微表情被视为实时预测学生表现的可靠指标,该研究将面部微表情融合到运动学多重表征的教学情境中,以研究面部微表情是否可帮助建构学生的概念路径以及帮助预测学生的学习成果。根据学生先验知识和多重表征之间的关系,探究不同面部微表情状态的含义;为了预测学生是否会在结果与直觉相反的运动学实验场景中发生概念转变,该研究用收集到的面部识别数据构建决策树模型,基于数据预测学生学习,并且此技术成熟后可应用在课堂教学中。但是,如果想要创建基于机器学习算法的自适应面部微表情教学系统,则需要对学生面部微表情及其相应的含义有更多理解。

  (三)适应复杂结构:针对高阶思维评估多维反应

  在教育教学中,复杂结构往往内含于学生的认知结构或教学设置的具体目标中。对于学生的认知结构,帮助学生发展高阶的认知能力是当今教育的关键目标,因此,认识到哪些教育干预可以促进高阶思维发展、如何促进高阶思维发展至关重要;机器学习可以成为测试教育干预影响及其如何作用的重要工具,机器学习、认知计算模型与神经科学的结合,有利于整合学习机制与行为层面的差异,并帮助理解认知结构的变化,将大脑的结构、认知过程和课堂行为相联系,可以促进对学生学习的认识;计算模型表现出自动且适应地评估学生的巨大潜力,这与其底层机器学习算法的强大数据集合能力相关。例如,兰姆(2021)使用与机器学习结合的认知计算模型,研究启发式科学写作对学生批判性思维的发展有什么影响、是如何起作用的,研究使用机器学习、概念框架和计算模型相结合的方式。该研究基于计算模型,结合特定的识别认知系统,提出两种不同的测量方法:一是认知诊断分析;二是项目反应理论。使用机器学习计算模型不仅可以让科学教育研究人员对大量的数据进行分类分析,还可以在多个层次的分析中模拟各种学习过程,模拟科学课堂教学的干预措施和策略,以便在课堂实施之前进行分析。另外,鉴于当今教学关注的是学生达到真正理解以及在不同情境中达到迁移的能力,多维学习可以促成教学设置的具体目标;同时,对学生在多维学习中的反应进行评估往往存在一些挑战,而机器学习能识别学生反应中涉及各个维度的关键词,以达到对多维学习任务的评估。例如,梅斯特莱斯(2021)将机器学习应用于三维科学学习背景下,将DCIs、SEPs与CCs结合起来,探索机器学习对三维科学学习下建构性反应评估项目的评估能力。

  (四)整合神经科学:还原认知发展过程

  机器学习和神经科学的整合是当前研究热门领域之一,而这一领域的发展也将带来教育上的重大变革。以神经科学为基础,使用机器学习进行计算建模,可以仿真复杂认知结构的发展过程、教育干预对学生认知发展所起的作用及其作用如何得以清晰展现,因此,机器学习成为测量教育干预的重要资源。兰姆(2021)通过人工神经网络在功能层面上对批判性思维和执行功能等系统的相互连接进行建模,是计算认知科学和神经科学的一个研究领域。研究中,概念框架、机器学习和方程组的组合构成认知计算模型,随着时间的推移,将模型转换为数据。一旦实现数学模型的拟合,模型的概念部分就可以阐明行为、认知系统和大脑活动区之间的相互关系,即启发式科学写作如何促进批判性思维的发展。

五、总结与建议

          

  综上所述,机器学习在科学教育评估中的运用,在复杂性、有效性以及应用性层面上都超过传统评估方式,并且机器学习可以适应现代技术渗透在教育教学各个方面的变化,运用机器学习进行多元化的教育评估,在提高评估效率、拓宽评估途径、适应复杂结构,以及通过整合神经科学帮助认识认知发展过程等方面的优势均在案例中得到证实。

  在教育研究中应用机器学习对促进学生的学表现出巨大潜力,存在效率高、便捷等优点,但仍有些问题值得深入思考。本文针对已经显现的抑或是潜在的问题给出以下建议。首先,机器学习在科学教育中的运用并非机械的,教育者应根据学习情境和学生情况灵活设置机器学习。其次,机器学习的应用结果也印证了反馈在学生学习中的重要作用,特别是具体的、非判断性的反馈将促进学生的学习;机器学习能够提供有效的评估和高质量的反馈,但是,支持学生使用并介绍反馈的权力仍然掌握在教师手中,因此,在教师教育过程中增设相关课程从而提高教师相应素质迫在眉睫。最后,研究表明,机器学习并非在所有实例中适用,教育教学是人的活动,教学主体在教学活动中具有特殊性,因此,在应用机器学习时要考虑各个过程、各个场景中人的特点。[11]在教育场景下,不仅需要机器学习提供的信息,还需要根据这些信息以及真实的教育场景对学习者提供教育服务,真正体现以学习者为中心的教育理念。[12]机器学习在应用效率、范围广度和交互程度上表现出巨大的优势,预示需要建立一种新的课堂沟通模式,其对教师与学生的提升,乃至整个教与学过程的提升、优化无疑是下一步科学教育研究的重点领域之一。


参考文献:          

  [1]李定仁,刘旭东.教学评价的世纪反思与前瞻[J].教育研究,2001(2):44-49.

  [2]白雪梅,王锋,张晨洁.基于机器学习的教学评价体系研究[J].教育教学论坛,2016(15):173-174.

  [3]胡延雪.基于机器学习的教学评价模型的研究与实现[D].延边:延边大学,2019.

  [4]LAUREN N  JESCOVITCH, et al. Comparison of machine learning performance using analytic and holistic coding approaches across constructed response assessments aligned to a science learning progression[J]. Journal of Science Education and Technology, 2021,30(2):150-167.

  [5]HEE-SUN LEE, et al. Machine learning enabled automated feedback: supporting students’ revision of scientific arguments based on data drawn from simulation[J]. Journal of Science Education and Technology, 2021,30(2):168-192.

  [6]HONGMING LIAW, et al. Relationships between facial expressions, prior knowledge, and multiple representations: a case of conceptual change for kinematics instruction[J]. Journal of Science Education and Technology, 2021,30(2):227-238.

  [7]SARAH MAESTRALES, et al. Using machine learning to score multi dimensional assessments of chemistry and physics[J]. Journal of Science Education and Technology 2021, 30(2):239-254.

  [8]RICHARD LAMB, et al. Computational modeling of the effects of the science writing heuristic on student critical thinking in science using machine learning[J]. Journal of Science Education and Technology, 2021,30(2):283-297.

  [9]JOSEPH S KRAJCIK. Commentary-applying machine learning in science assessment: opportunity and challenges[J]. Journal of Science Education and Technology, 2021,30(2):313-318.

  [10]ZHAI X M, YIN Y, PELLEGRINO J W, et al. Applying machine learning in science assessment: a systematic review[J]. Studies in Science Education, 2020,56(1):111-151.

  [11]谭维智.计算社会科学时代需要什么教育学——兼与《计算教育学:内涵与进路》作者商榷[J].教育研究,2020,41(11):46-60.

  [12]王萍,田小勇,孙侨羽.可解释教育人工智能研究:系统框架、应用价值与案例分析[J].远程教育杂志,2021,39(6):20-29.


Application of Machine Learning in Science Education Evaluation:Dimensions, Domains and Laws

Shoubao GAO1, Shuting ZHANG2, Xianmei MENG1, Yunan DING3, Jingying WANG3

(1.School of Physics and Electronics, Shandong Normal University , Jinan 250000, Shandong;

2.Tengzhou No.1 Middle School, Tengzhou 277500, Shandong;

3.Faculty of Education, Beijing Normal University, Beijing 100875)


Abstract:  In order to clarify the efficacy and laws of machine learning optimizing education evaluation and education and teaching process, this research reconstructs the analysis framework of the application effect in education of machine learning, and analyzes six cases from three aspects: technology, efficacy and applicability and illustrates the advantages of machine learning in the fields of scoring strategies, learning assessment, and educational intervention assessment. At the same time, the application laws of machine learning in science education evaluation are summarized: Machine learning improves evaluation efficiency through complex practice participation and automatic feedback systems; It supports multi-modal evaluation and helps to broaden evaluation approach; Machine learning shows great potential in the application of complex structure, higher-order thinking and multi-dimensional learning; Machine learning integrated with neuroscience can help restore the cognitive development process. Finally, suggestions are given for further extensive application of machine learning: Pay attention to the role of feedback in teaching; Focus on specific scenarios of machine learning applications; And focus on the role of teachers in application scenarios.Keywords: Machine learning; Science education evaluation; Dimension analysis

编辑:王天鹏   校对:王晓明


点击阅读更多精彩内容!


往期目录|超链接版

《中国教育信息化》2023年第9期


《中国教育信息化》2023年第8期


《中国教育信息化》2023年第7期


《中国教育信息化》2023年第6期


《中国教育信息化》2023年第5期


《中国教育信息化》2023年第4期


《中国教育信息化》2023年第3期


《中国教育信息化》2023年第2期


《中国教育信息化》2023年第1期





点击此处 在线投稿



期刊简介

《中国教育信息化》创刊于1995年8月,是由中华人民共和国教育部主管,教育部教育管理信息中心主办,面向国内外公开发行的国家级学术期刊。期刊内容力求全面深入地记录我国教育信息化的建设进展、研究与应用成果和行业发展状况,开展我国教育信息化发展状况调研和教育信息化国际比较研究,服务于国家教育宏观决策;力求全面准确地把握教育信息化相关的方针政策和标准规范,及时追踪ICT前沿技术的发展趋势及其与教育的融合,深度挖掘教育信息化建设与应用的体制、机制创新,服务于我国教育信息化实践。


●RCCSE中国核心学术期刊

●中国人文社会科学(AMI)扩展期刊

●中国期刊全文数据库收录期刊

●中文科技期刊数据库收录期刊

●国家哲学社会科学学术期刊数据库收录期刊

●中国核心期刊(遴选)数据库收录期刊

●龙源期刊网收录期刊


一年12期,每月20日出版

20元 / 期,邮发代号:82-761

编辑部邮箱:mis@moe.edu.cn

通讯地址:北京市西城区华远北街2号921室



继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存