基础教育数字化发展研究｜朱雪梅 潘竹娟：基于数据分析的数字化课堂教学评价研究
引用格式
朱雪梅 潘竹娟.基于数据分析的数字化课堂教学评价研究[J].中国教育信息化,2023,29(9):091-098.DOI：10.3969/j.issn.1673-8454.2023.09.011
基础教育数字化发展研究
基于数据分析的数字化课堂教学评价研究
朱雪梅 潘竹娟
摘 要： 在现代信息技术推进教育数字化转型的时代背景下，探索课堂教学评价的新理念、新特征、新方法，更精准地揭示课堂奥秘，更科学地制定课堂改进方案，是一项具有前瞻性的研究工作。传统课堂教学评价存在诸多问题，其走向数字化是时代发展的必然趋势。当前的课堂教学评价改革应立足于教师专业发展、学生素养提升，充分利用互联网、云计算、大数据、人工智能等现代信息技术，对经典教育评价理论进行改造，设计多元主体交互协同的课堂教学观察体系，研发数字化课堂教学观察大数据平台，由此建构“教—学—评—研—管”一体化机制与“数据驱动决策”课堂教学评价模型，使评价具有网络化、可视化、数字化、精准化、智能化等新特点，并成为数据驱动的信息采集与决策咨询系统。关键词： 教育数字化转型；课堂教学评价；课堂观察平台；在线评价；数据驱动决策中图分类号： G434 文献标志码： A文章编号： 1673-8454（2023）09-0091-08作者简介： 朱雪梅，南京师范大学教师教育学院教授、硕士生导师，南京师范大学数字化教育评价研究中心主任（江苏南京 210023）；潘竹娟，南京师范大学数字化教育评价研究中心副主任，正高级教师（江苏南京 210023）
基金项目： 江苏省教育科学“十四五”规划2021年度重大课题“未来学校建设研究”（编号：A/2021/05）；国家新闻出版署出版融合发展（人教社）重点实验室、人民教育出版社人教数字教育研究院 2021 年度规划重点课题“基于SPOC平台的在线教学评价模式的研究”（编号：RJA0521003）
课堂是学校教育的主阵地，课堂教学是教师与学生在这一主阵地中开展对话、协作的互动过程，而课堂教学评价是对这一实然互动效果与应然设计目标之间的差距进行衡量、评估，并找出缩小这种差距的改进措施。在互联网、云计算、大数据、人工智能等现代信息技术正在加快教育数字化转型的时代背景下，探索课堂教学评价的新理念、新特征、新方法，更精准地揭示课堂奥秘，更科学地制定课堂教学改进方案，是一项具有前瞻性的研究工作。
一、对传统课堂教学评价的理性反思
当前，我国的课堂教学评价活动普遍采用“庭辩式”听评课活动，对教学过程及效果进行定性化的观察、诊断与建议，属于表现性评价方法的运用，包括采用观察法采集课堂中教与学的表现性行为信息，采用研讨法对观察的信息进行诊断并提出改进建议。这种评价方法的显著优点是简便易行，能够充分展现参与者的教学主张，不管是授课者还是听课者，都能结合自己观察到的信息与教学经验，评估教学理念、教学方法、教学过程中的得与失。但是，这种评价方法的缺点也显而易见，由于听评课活动是缺少标准的经验式观察与交流，对课堂教学质量的评估就鲜见客观的科学论证，因此很难建立起令人信服的评估结论。崔允漷曾指出，教师听评课的专业化程度不高，主要体现为“三无”：听课，无合作的任务，无明确的分工；评课，无证据的推论，基于假设的话语居多；听评课，无研究的实践，应付任务式的居多。[1]其后，崔允漷提出的课堂观察LICC 范式着力推进这一问题的解决，在全国形成了积极影响。
追溯传统课堂教学评价中信息采集与处理不够规范、评价过程不够清晰、评价解释不够精准等问题形成的根本原因，是传统教育评价模式不能适应现代课堂教学变革的需求，难以有效衡量现代课堂教学的育人价值。近百年来，教育评价理论大致分为“测量”“描述”“判断”“建构”四个发展阶段。[2]当前普遍采用的庭辩式评课法，主要是依循“描述”与“判断”两个时代的评价范式而建立。
评价理论的“描述”时代形成于上世纪30年代后期，以“目标本位”评价模式为标志。拉尔夫·泰勒（Ralph W. Tyler）被认为是“现代教育评价之父”，他提出“评估的过程从本质上讲就是判断课程和教学计划在多大程度上实现了教育目标的过程。”[3]在此基础上，本杰明·布鲁姆（Benjamin Bloom）的教育目标分类学理论则为课堂教学目标制定提供了记忆、理解、运用、分析、综合、评价六个水平层级的认知要求，增强了操作性。但由于课堂教学目标的制定具有很强的主观性，其定性化的“描述”难以作为学生学习过程、学习效果的显性检测标准，导致对“教学目标是否实现”的判断往往沦为经验式的感性认知，也就必然出现主观性、随意性等问题。评价理论的“判断”时代则形成于20世纪60年代后期，以“决策导向”为典型范式，核心观点是“评价最重要的意图不是为了证明（Prove），而是为了改进（Improve）。”[4]该评价模式深刻影响课堂教学评价的思路，其基本思维逻辑是判断教与学过程中存在的优点、主要问题以及改进建议，至今这一思路仍得到广泛应用。但是，由于主观式的“判断”往往缺乏行之有效的课堂教学评价标准作为参照，使得“判断”结论表现为经验性描述，其产生的信度、效度都比较低。以上传统评价理论还有一个共同特征，即评估者不会为评估中所显示的内容或使用结果而负责，这也增加了评估结论的随意性与不延续性，因此难以产生持续改进教学的推动力，即难以形成增值效果。
20世纪80年代以来，由库巴（Egong Guba）和林肯（Y. S. Lincoln）提出的“共同建构模式”成为第四代评价的典型代表，其强调评价是协商与建构的过程。我国新课程改革倡导的发展性评价主要建立于“建构”评价理论基础之上，现在，发展性评价观及基于过程性论证的评价思路已得到广泛认同，发展性课堂教学评价可定义为：“对课堂教学过程中体现出来的教学目标、教学内容、教学环节以及课堂环境、师生活动等运行状态与成效，进行定性与定量相结合的分析与评估，以促进教学行为的改进与师生素养的提升。”[5]但是，发展性课堂教学评价理念并未转换为强大的行动力与影响力，在实践中还普遍存在着评价者与评价对象相对立、评价手段与评价理念相脱节、评价路径与教学过程相游离、科学化测评工具开发不足等问题。[6]以上问题的解决，需要重构课堂教学评价理念，借助现代信息技术改进评价方式，利用课堂教学的过程性数据进行挖掘与分析，为改进教学提供更客观的依据。我国有学者曾呼吁“课堂评价亟需信息技术的支持”[7]。当前，国家宏观政策已提出利用信息技术建立评价平台的要求。例如，“要充分利用现代信息技术，建立和完善教育质量综合评价数字化管理平台，开发评价工具，为开展评价、促进工作提供技术支撑”[8]；“要坚持科学有效，改进结果评价，强化过程评价，探索增值评价，健全综合评价，充分利用信息技术，提高教育评价的科学性、专业性、客观性”[9]。但是，评价资源平台、评价工具开发在教育各环节中的研究却非常薄弱，特别是成熟、简便易操作的数字化课堂教学评价工具尤为缺乏。
作为对以上时代需求的回应，本研究着力分析互联网、云计算、大数据技术对重构课堂教学评价的意义，探索将信息技术融合于教学评价过程中的方法，以试图解决以下问题：①建立“数据驱动决策”评价模型，解决现有教学评价理论不适应现代信息技术支持下师生发展需要的问题；②研发课堂观察大数据平台，用手机、平板、电脑等终端替代传统纸笔听课工具，解决测评工具开发不足的问题；③实现学生、同行、专家等多元主体线上与线下交互协作，克服评价者与评价对象相对立及时空限制的问题；④将多元化课堂观察量表及行为标准嵌入评价平台，克服传统评课缺乏科学依据的问题；⑤便捷获取教学过程中的行为信息，进行数据分析与可视化呈现，克服评价路径与教学过程相游离的问题。
综上，传统的教学评价走向数字化是时代发展的必然趋势，它可望彻底突破原有课堂观察的困境，使传统听评课活动迎来一场“静悄悄的革命”。[10]
二、数字化课堂教学评价系统创新建构
本研究依循理论研究与实证研究并行、定性评价与定量评价相结合、评价活动与信息技术相融合的思路开展工作，对经典教育评价理论进行改造，持续开展基于互联网、云计算、大数据技术的课堂教学评价理念、内容、指标、标准、方法、工具等方面的研究；先后设计涵盖中小学15门学科的教学行为评价标准与课堂观察量表，研发部署于云端的课堂观察软件应用程序，建构“数据驱动决策”课堂教学评价模型，并使之成为一个数据驱动的信息采集与决策咨询系统，开启课堂教学评价的数据分析云时代，如图1所示。
图1 基于信息技术的“数据驱动决策”课堂教学评价模型
（一）评价理念关注人的发展，倡导“教—学—评—研—管”一体化新思路
“建构”时代的教育评价，强调评价是师生在教学过程中的“共同建构”，具有“教—学—评”一致性特征。由此可认为，评价的根本目的是促进人的发展、促进人的智慧生长，包括教师的专业成长与学生的素养提升，评价是镶嵌于教学过程中不可分割的部分。在信息技术的支持下，评价数据库的建立及应用能够实现教学过程可视化，并为教学研究与教学管理提供实证数据，从而赋予评价更多功能。在“教—学—评”一致性的基础上，又增加了“课堂行动研究”与“数据化管理”的功能。因此，基于互联网的“数据驱动决策”课堂教学评价系统是“教—学—评—研—管”的一体化过程，也是多元主体之间相互学习、彼此促进、共同建构的过程，不仅具有发展性评价所倡导的过程性、交互性、合作性、反思性等特点，其与信息技术融合后，还具备网络化、可视化、数字化、精准化、智能化等新特点，从而成为智能时代教学评价的文化基因。
（二）评价内容突出教学行为，建立多元主体交互协同的课堂教学观察体系
如果将课堂教学这一复杂系统解构为观念、行为、资源三个子系统，其中行为子系统最易于观测。当前，世界教学评价的趋向是一种结构化的课堂行为观察，借助预设的观察协议，以描述性方式捕捉教学行为的细微差别，并获得实证数据，常用于课堂实践研究、课程评估与教师发展评估。[11]本研究亦将行为子系统作为重点，建立教与学并重的评价内容体系，并研制主题突出、可供选择的课堂观察量表，以改革传统经验式、流水帐式的听课记录表。多维度的评价内容体系需要多元评价主体的协作，评价是学生、教师、管理者进行交互协商，透过教学行为评估观念价值与资源应用效果的过程，从而促使学生成为发现者、探索者与协作者，教师成为指导者、质询者与品鉴者。如图2所示，在评价过程中，根据课例研究的需要，选取相应评价项目开展主题式研究。
图2 多元主体交互协同的课堂教学评价内容体系
（三）评价标准嵌入网络平台，提供评价教与学过程及成效的可操作性依据
评价标准模糊甚至缺失是传统课堂教学评价最显著的缺点之一，因此，本研究根据多维度评价内容体系研制中小学15门学科共10类主题、55份课堂教学评价量表。其中，每一份评价量表制定了一级指标与二级指标，每项观察指标按SOLO分类理论设计五等级制的评价标准，所有评价量表的指标与标准的设计均指向发现、协作与建构，体现标准、教学与评价的一致性，为教师教学设计提供基本依据，为学生精准学习提供参照指标。同时，所有评价量表及其标准均嵌入到课堂观察平台中，嵌入到教学流程并先于教学设计，从而使评价从经验导向型转向为标准导向性。
（四）评价手段走向信息互联，研发基于互联网的数字化课堂教学观察平台
依照“课堂观察＋互联网＋数据思维＝科学的课堂教学评估”评价思路，本研究采用普元SOA标准及J2EE开放技术平台，引入文字输入、语音识别、图像识别、视频捕获等功能，研发集数据采集、数据存储、数据处理、查询检索、分析挖掘等功能为一体的“数字化课堂教学观察平台”，其架构大致包含展示层、应用层、决策层、管理层等组块，如图3所示。在课堂观察活动中可以利用软件平台中的观察表单，通过展示层、应用层采集教与学的表现性行为信息与数据；通过开放端口，接入部分MOOC平台、质量监测平台与课堂教学视频，抓取教学行为数据。而每节课的过程性小数据可形成课例电子档案，并逐渐汇集为课堂教学大数据仓库。
图3 “多元交互式”课堂观察平台的主要功能
（五）评价路径融合教学全程，形成可视化的循环跟进式课堂行动研究范式
课堂教学评价应该是一个循环跟进的研究过程，以“课例”为载体，以“问题解决”为中心，遵循“共研设计—课堂观察—协商研讨—行为反思—再设计”的路径开展行动研究，如图4所示。其中，课堂观察形成“四结合四诊断”的范式，即田野式观察与聚焦式观察相结合、直接观察与间接观察相结合、定性观察与定量观察相结合、结构观察与系统观察相结合。课堂观察活动充分利用数字化平台采集信息，并根据可视化数据分析结果与课堂教学行为标准，诊断优点与偏差性教学行为，探究问题产生的原因，提出矫正的方案与措施，并重返课堂，重塑教学行为。
（六）评价解释强调增值评估，提供精准化数字化的课堂教学质量决策报告
基于数字化课堂观察活动的循环跟进式行动研究，能够清晰地记录教师成长的过程，对课堂教学行为进行增值性评估。图5为对一位初中语文教师连续3次《变色龙》授课的“语文专业表达行为”中“帮助知识构建”评价维度下，各观察指标的变化情况。从图5中可以发现：该教师的“板书运用恰当”“活动指导到位”两项指标逐级提升，分别从C等级提升到A等级、从D等级提升到B等级；“原理讲解精准”前两次授课均为C等级，而第三次授课则进步显著，至A等级；而“讲解精彩之处”三次授课均为B等级，说明精彩讲解能力非一日之功，提升难度较大；“合理强调重点”指标缺失，说明教学中存在重点不突出的问题。
图5 某教师“语文专业表达行为之帮助知识构建”发展曲线
对于课堂观察平台采集的课例研究数据，利用数据分析技术进行清洗、统计、挖掘。例如，运用数学统计（SPSS）、机器学习（Spark）、分布式系统架构（Hadoop）等技术挖掘数据价值，生成可视化统计结果，从而为课堂教学决策提供客观、真实的决策报告。
数字化课堂观察平台生成的评估报告可分为三种类型：①每节课堂的小数据分析报告；②所有课例信息集成的动态大数据分析报告；③按区域、学校、观察主题等筛选信息提供的专项动态分析报告。所有评估报告利用数据分析技术预测潜在的“增值”点，并生成可视化的图谱分析结论，为学生提供促进学习的反馈信息，为教师提供改进教学的证据与方向，为教育管理者提供课堂教学质量的统计报表，从而使评价解释从归类结论性评价转向鉴赏增值性评价。
三、数字化课堂教学评价研究的实践思考
（一）揭示教育数字化对教学评价改革具有推动作用
基于互联网、云计算、大数据技术的数字化课堂教学评价，实现了教学评价与信息技术的融合，建成了集即时性评价、过程性评价、反思性评价、诊断性评价、结果性评价于一体的可视化课堂教学行为评价系统，为课堂教学行为改进及个性化深度学习提供解决方案，推动课堂教学评价从“感性经验描述”走向“数据驱动决策”。可以预见，未来的课堂教学评价将是数据驱动的信息采集与决策咨询系统，也是数据驱动的个性化学习与精准化教学的可视化展示过程。
（二）创建“互联网＋课堂教学评价”的参考范例
在“互联网+教育”的大背景下，本研究将互联网技术与课堂教学评价相融合，采用大数据平台架构，通过嵌入可预设、可调节的各类专门化课堂教学行为观察量表，利用手机、平板、电脑等移动终端，以行为编码的方式在听课过程中采集“教”与“学”的表现性数据信息，结合数据的采集、存储、处理、挖掘等技术，经过后台计算与可视化处理，为评估结论提供客观的量化证据，实现科学的课堂诊断，从而将主观的、经验式的听评课转变为数字化、标准化、可测量的课堂教学观察，达到评价的精准性与客观性，为矫正偏差性教学行为提供定量与定性相结合的证据与指导方案。实践证明，这种基于信息技术与移动终端的在线观课活动，具有可行性与可复制性，为探索未来教学评价提供了一项可参考范例。
（三）建立全国性的基础教育课堂教学大数据平台
在全国中小学推进数字化课堂教学观察活动，通过课堂观察平台采集教与学的行为信息，能够建立我国基础教育课堂教学大数据，为国家教育信息化“人人通”与教育大数据工程作出贡献。该平台不仅有利于师生提升数据思维能力，也有利于教育主管部、学校校长提升信息化领导力。
基于对课堂教学行为大数据的运算、分析，教育主管部门能够动态掌握各区域课堂教学的实际情况，了解其差异性，为提升区域性课堂教学质量、破解区域教育不均衡问题提供数据支持与决策依据。例如，基于数字化课堂观察平台中31个省（自治区、直辖市）的1万多节课例数据，本研究将“课堂提问类型”与学生“正确有逻辑地回答”进行相关分析，发现课堂提问中“论证性问题”与学生“正确有逻辑地回答”呈显著正相关，而与“判断性问题”“描述性问题”则呈负相关，说明强化“论证性问题”的教学更有利于学生认知与思维能力培养，如表1所示。
表1 “课堂提问类型”与学生“正确有逻辑地回答”的相关性注：**表示在 0.01 级别（双尾），相关性显著
利用课堂教学观察的数据库，可对我国不同地区的课堂教学质量进行比较分析。例如，按东部与中西部地区进行区域比较分析，发现东部地区的低阶思维水平“判断性问题”“描述性问题”类型比例低于中西部地区，中阶思维水平的“归纳性问题”略低于中西部地区，但“操作性问题”与高阶思维水平的“论证性问题”比例则明显高于中西部地区，说明东部地区的课堂提问更注重学生探究、推理、逻辑思考能力的培养，从一个侧面反映我国不同区域的教学质量存在不均衡问题，如图6所示。
图 6 我国东部地区与中西部地区“课堂提问类型”的比较
（四）转变课例研究方式，促进教师专业发展
毋庸置疑，基于课例的行动研究是提升课堂教学质量、促进教师专业发展的最重要研究方式。当前，普遍使用的课例研究是一种质性研究方式，这种研究方式的不足是效率较低、精准度不足，对教师评价素养与教学质量的提升作用较小。而数字化的课堂教学评价，则能借助课堂教学行为标准与课例分析数据，精准定位教学行为的优缺点，更有针对性地提出改进教学的建议，并为研究成果的表达提供可视化证据，因此能够较快提升教师的评价素养，有效落实“教—学—评—研—管”一致性理念。
总之，本研究的核心价值是发现与建构课堂教学评价的新理念与新方法。可以认为，在大数据时代，教学、评价、管理的边界已经模糊，课堂教学评价必将从“用经验说话”转向“用数据分析，用数据决策，用数据创新”的云时代。
参考文献：
[1]崔允漷.论课堂观察LICC范式：一种专业的听评课[J].教育研究,2012(5):79-80.
[2]埃贡·G·古贝等著.第四代评估[M].秦森,等译.北京:中国人民大学出版社,2008:9.
[3]泰勒.课程与教学的基本原理[M].罗康,张阅,译.北京:中国轻工业出版社,2014:113.
[4]卢立涛.测量、描述、判断与建构——四代教育评价理论述评[J].教育测量与评价(理论版),2009(3):6-11.
[5]朱雪梅.“多元交互式”教学评价[M].北京:北京师范大学,2019:61-62.
[6]朱雪梅.“多元交互式”教学评价体系的建构与实践——基于地理教学观察的行动研究[J].课程·教材·教法,2014,34(11):63-68.
[7]李芒,蔡旻君.课堂评价亟需信息技术的支持[J].中国电化教育,2016(1):63-69.
[8]教育部.关于推进中小学教育质量综合评价改革的意见[EB/OL].(2013-06-08)[2023-05-10].http://http://www.moe.ov.cn/srcsite/A06/s3321/201306/t20130608_153185.html.
[9]新华社.中共中央、国务院印发《深化新时代教育评价改革总体方案》[EB/OL].(2020-10-13)[2023-05-21].http://www.moe.gov.cn/jyb_xxgk/moe_1777/moe_1778/202010/t20201013_ 494381.html.
[10]朱雪梅.课堂观察在新时代的发展趋向[J].江苏教育,2019(6):24-27.
[11]HORA M T, OLESON A, FERRARE J J. Teaching dimensions observation protocol (TDOP) user’s anual, madison: wisconsin center for education research, university of wisconsin-madison[EB/OL].(2012)[2023-05-20]. http://tdop.wceruw.org/Document/TDOP-Users-Guide.pdf.
Research on Digital Classroom Teaching Evaluation Based on Data Analysis
Xuemei ZHU1,2, Zhujuan PAN2
（1.School of Teacher Education, Nanjing Normal University, Nanjing 210023, Jiangsu;
2.Digital Education Evaluation Research Center, Nanjing Normal University, Nanjing 210023, Jiangsu）
编辑：王晓明 校对：李晓萍
期刊简介
《中国教育信息化》创刊于1995年8月，是由中华人民共和国教育部主管，教育部教育管理信息中心主办，面向国内外公开发行的国家级学术期刊。期刊内容力求全面深入地记录我国教育信息化的建设进展、研究与应用成果和行业发展状况，开展我国教育信息化发展状况调研和教育信息化国际比较研究，服务于国家教育宏观决策；力求全面准确地把握教育信息化相关的方针政策和标准规范，及时追踪ICT前沿技术的发展趋势及其与教育的融合，深度挖掘教育信息化建设与应用的体制、机制创新，服务于我国教育信息化实践。
●RCCSE中国核心学术期刊
●中国人文社会科学（AMI）扩展期刊
●中国期刊全文数据库收录期刊
●中文科技期刊数据库收录期刊
●国家哲学社会科学学术期刊数据库收录期刊
●中国核心期刊（遴选）数据库收录期刊
●龙源期刊网收录期刊
一年12期，每月20日出版
20元 / 期，邮发代号：82-761
编辑部邮箱：mis@moe.edu.cn
通讯地址：北京市西城区华远北街2号921室