人工智能与未来教育前沿研究｜贾积有 王光迪：应用大语言模型快速有效分析教育访谈文本
引用格式
贾积有 王光迪.应用大语言模型快速有效分析教育访谈文本[J].中国教育信息化,2023,29(12):034-041.DOI:10.3969/j.issn.1673-8454.2023.12.004
人工智能与未来教育前沿研究
应用大语言模型快速有效分析教育访谈文本贾积有 王光迪摘 要： 教育科学研究中经常采用访谈调查法，通过对访谈文本进行内容分析以满足研究的需要，传统的访谈文本分析依赖人工逐一编码和标注，费时费力。而大语言模型因其强大的自然语言处理能力，为自动化处理教育访谈文本提供一种新的可能。基于以某创客教育项目为主题的学生访谈文本内容，利用大语言模型对初始访谈文本进行预处理、提炼摘要式总结，归纳出一套针对教育访谈文本处理的提示词框架。研究结果表明，应用大语言模型自动化处理教育访谈文本不仅可行，而且快速有效；提出的提示词框架可以生成一份基于初始访谈文本，简明扼要、主题清晰、信息要素齐全的高质量摘要式总结。
关键词： 大语言模型；提示工程；生成式人工智能；访谈法；教育技术
中图分类号： G434
文献标志码： A
文章编号： 1673-8454（2023）12-0034-08
作者简介： 贾积有，北京大学教育学院教授、博士生导师，博士（北京 100871）；王光迪，北京第二外国语学院汉语学院硕士研究生（北京 100024）基金项目： 全国教育科学规划2022年国家一般项目“基于大数据挖掘的学生智能评测和辅导研究”（编号：BCA220208）一、引言
二、访谈文本的相关研究
三、大语言模型相关研究
四、应用大语言模型处理访谈文本
（一）研究内容
本研究分析的访谈文本整理自对8所山西省和陕西省的小学生的访谈录音。访谈主题为学生参加学校里创客教育项目的感想体会，访谈采取半结构化方式，以集体访谈的形式进行，录音转录后得到总数为37,440字的8份初始访谈文本。访谈文本处理工具为ChatGPT3.5 turbo大语言模型，ChatGPT的全称是聊天生成预训练转换器（Chat Generative Pre-trained Transformer），是美国人工智能实验室OpenAI公司开发的人工智能聊天机器人程序。[5]
（二）研究方法
使用大语言模型处理访谈文本主要包含三个步骤：一是预处理文本，二是总结访谈文本内容，三是生成摘要式综合总结，流程如图1所示。其中，基于上文提到的提示类型，本文对不同提示做研究和调整，构建三个提示工程的提示类型如表1所示。
图1 使用大语言模型分析访谈文本流程
表1 提示类型预处理阶段采用提示工程一。提示工程一包括两组提示词。第一组提示由一个任务性提示和一个单一样本学习（one-shot learning）示例性提示组成。单一样本学习可以让大语言模型明确访谈文本优化的标准，如标注句末标点、整合同一说话人的访谈内容、去除重复表达等，是在文本预处理阶段使用效果最好的提示方式。
（1）任务性提示
请按照以下要求对访谈文本进行优化：
①去除文中重复词语和句子。
②去除汉语常见口头禅，如“这/那个”“呃”“就是”“然后”等。
③改正错别字和相关术语。
④加上合适的汉语标点符号，保持原来的分行。
（2）单一样本学习示例性提示
例如：
访谈文本：
都学习过了
那
还有那个涂染
涂染湿度的什么
火焰
火焰
那是温度的那种传感器
温度也试过
温度是试过的
那这种尝试就是在老师的这个指导之下
然后做一个项目的过程中去使用到的是吗
那就是有没有比如说自己有一些想法的过程之中
会想着比如说我们在课下或者是完成老师任务之后
去做一个什么样的东西
优化后文本：
都学习过了。
还有那个涂染、湿度的什么?
火焰。
那是温度的那种传感器。
温度也试过。
温度是试过的。
那这种尝试在老师的这个指导之下，做一个项目的过程中去使用到的，是吗？
那有没有比如说自己有一些想法的过程之中会想着我们在课下或者是完成老师任务之后去做一个什么样的东西？
访谈文本：
第二组提示由一组重复的任务性提示组成。ChatGPT3.5 turbo大语言模型单次处理文本限制为1,500到2,000个汉字，需要对各个访谈文本进行切分，该组提示重复到对单个访谈文本处理完结束。
（1）任务性提示
请按照以上要求优化以下访谈文本：
（2）任务性提示
请按照以上要求优化以下访谈文本：
……
预处理阶段结束之后将得到8份优化后的访谈文本。为测试大语言模型的预处理质量，本研究对比对同一访谈文本进行人工预处理和大语言模型预处理两种方式的文本相似度，如表2所示。由于人工预处理根据访谈录音补充了访谈文本细节，而大语言模型是基于原本转录文字材料进行删减，所以预处理后字数出现一增一减的情况。但是高达77.02%的文本相似度说明，提示工程一操作大语言模型执行文本预处理任务的结果具有较高可信度。
表2 两种预处理方式效果对比分总结阶段使用提示工程二。提示工程二由一组重复的任务性提示组成，同样囿于大语言模型单次处理字数限制，需要对每个优化后的访谈文本进行切分，该组提示重复到对单个访谈文本处理结束。该阶段处理完毕之后将得到8份针对各个优化后访谈文本的分总结。
（1）任务性提示
请对以下访谈文本进行总结：
（2）任务性提示
请对以下访谈文本进行总结：
……
3.综合总结
提示工程三是对所有分总结进行摘要式综合总结。由于大语言模型的交互形式为单轮对话，而任务需求是对超出单次处理字数限制的多个文本进行一次性总结，所以提示工程三由一组形成多轮对话的闭合式任务性提示组成。提示工程三的任务性提示一中，对话次数根据处理访谈文本个数进行修改，该提示重复次数和处理访谈文本个数相等。
（1）任务性提示一
接下来的8次对话中，我每次发给你一个总结，请在每次收到后回复“好的”。
①分总结一
②分总结二
……
（2）任务性提示二
请综合以上8个总结进行综合总结。
（三）研究结果
根据每一步研究需求，最终设计出一套针对教育访谈文本处理的提示工程框架，如表3所示。
表3 提示工程框架学生积极参与创客活动，并通过创客课程和比赛展示自己的学习成果。他们对创客活动持有积极态度，认为它有趣且简单，能够培养他们的动手能力和创造力。学生喜欢教师的指导和任务安排，并计划参加比赛展示自己的作品。他们通过学习编程和手工技能不断提高自己，并希望在未来的课程中挑战和超越其他案例。
学生在创客课程中使用机房电脑进行编程，并完成多个项目。他们喜欢使用模块拼装的方式学习编程，并通过观看视频教程、向教师或同学请教来学习。小组合作是他们喜欢的学习方式，通过讨论和合作来完成任务。在创客课程中，学生的思维能力、问题解决能力和创新思维得到提升。他们希望未来的课程能包括更多有趣的内容，如游戏编程，并提出一些自己想要制作的项目。学生的家人对他们参与创客活动持支持态度，并认为这是一种新颖的学习方式。
综合来看，学生通过积极参与创客活动，在实践项目、小组合作和教师指导下，能提高编程技能和创新能力。他们对未来的课程和项目有积极的期望，并得到家人的支持和认可。这些访谈能使我们深入了解学生在创客课程中的经验获得和未来的发展方向。
这段摘要式综合总结表达清晰，内容简洁明了，没有冗余的词语和句子，以客观的角度描述学生在创客活动中的积极参与和成果展示，突出他们对创客活动的态度和认可。文中基本以事实为基础，提到学生使用机房电脑进行编程、喜欢小组合作、通过讨论和合作来提高思维能力、问题解决能力等细节。说明大语言模型对访谈文本的重点内容的抓取、受访者情感态度的把握、关键信息的组织方面表现较好。
五、总结与展望
研究表明，针对教育领域常见的访谈文本处理问题，使用大语言模型作为文本分析工具具有一定的现实价值。总体而言，应用大语言模型对教育访谈文本进行分析具有以下特点。
第一，耗时短且效果佳。大语言模型具备强大的自然语言处理能力，可以高效地分析大规模的教育访谈文本。相比使用传统的编码辅助软件结合人工的内容分析方法，使用大语言模型能节省大量的时间和人力成本，并且能够提供高质量的分析结果，显然具有很大优势。
第二，交互简单易上手，提示工程具有普遍性。通用型大语言模型可以应用于各个领域的文本分析，包括教育领域的访谈文本，它的推广也意味着可以广泛应用于不同的教育研究和实践场景。同时，自然语言指令的交互方式使分析过程更加直观和对用户友好，每一个人都可以借鉴这套提示工程框架指导大语言模型个性化地执行私人文本分析任务。
需要注意的是，尽管大语言模型具备极大的潜力和应用价值，但它目前仍然存在一些教育应用和伦理问题。包括且不限于：①真实性难以保证，存在算法隐藏、文化偏见现象。[6]虽然大语言模型相较于传统编码软件已经具备更加完善的世界知识，但仍需使用者明确文本分析的目的要求、仔细甄别分析结果中是否存在虚假内容。②倾向于生成模棱两可的回应。大语言模型作为一个大规模的语言模型，只能在数据的基础上对人类的语言行为进行模仿，内容随机、不透明、不可控。[7]
有学者认为，如果人工智能将导致人类的终结，那么在教育中使用人工智能可能会加快人类终结的到来。因此，对人工智能在教育中的应用应当慎之又慎。[8]也有学者认为，我们应该保持开放，拥抱技术变革，不故步自封，不过早下结论。[9]作为教育研究者，应该具备足够的人工智能素养，拥有以开发、实施，以及使用人工智能技术为核心的知识、技能和价值观，[10]在应用大语言模型提升研究效率的同时应遵守社会伦理道德规范。
参考文献：
[1]EDUCAUSE.2023 EDUCAUSE horizon report:teaching and learning edition[EB/OL].(2023-05-08)[2023-10-18].https://library.educause.edu/resources/2023/5/2023-educause-horizon-report-teaching-and-learning-edition.
[2]克劳斯·迈因策尔,贾积有,张誉月.ChatGPT和人工智能:从基本原理到教育应用[J].北京大学教育评论,2023,21(1):35-48,188.
[3]李志民.ChatGPT本质分析及其对教育的影响[J].中国教育信息化,2023,29(3):12-18.
[4]朱光辉,王喜文.ChatGPT的运行模式、关键技术及未来图景[J].新疆师范大学学报(哲学社会科学版),2023,44(4):113-122.
[5]KEVIN ROOSE.The brilliance and weirdness of ChatGPT[N].The New York Times,2022-12-05.
[6]杨海燕,李涛.ChatGPT教学应用:场景、局限与突破策略[J].中国教育信息化,2023,29(6):26-34.
[7]贾积有,张誉月.人工智能与教育:机遇、挑战与对策[J].北京大学教育评论,2023,21(1):49-61,188-189.
[8]谭伟,张曼茵,陈良.人工智能应用于教育的风险及其应对[J].中国教育信息化,2023,29(7):22-29.
[9]焦建利,陈丽,吴伟伟.由ChatGPT引发的教育之问:可能影响与应对之策[J].中国教育信息化,2023,29(3):19-32.
[10]韦恩·霍姆斯,孙梦,袁莉.人工智能与教育:本质探析和未来挑战[J].中国教育信息化,2023,29(2):16-26.
Analyzing Educational Interview Texts Using Large Language Model
（1.School of Education, Peking University, Beijing 100871;
2.Chinese Language Institute, Beijing International Studies University, Beijing 100024）
编辑：王天鹏 校对：王晓明
期刊简介
《中国教育信息化》创刊于1995年8月，是由中华人民共和国教育部主管，教育部教育管理信息中心主办，面向国内外公开发行的国家级学术期刊。期刊内容力求全面深入地记录我国教育信息化的建设进展、研究与应用成果和行业发展状况，开展我国教育信息化发展状况调研和教育信息化国际比较研究，服务于国家教育宏观决策；力求全面准确地把握教育信息化相关的方针政策和标准规范，及时追踪ICT前沿技术的发展趋势及其与教育的融合，深度挖掘教育信息化建设与应用的体制、机制创新，服务于我国教育信息化实践。
●RCCSE中国核心学术期刊
●中国人文社会科学（AMI）扩展期刊
●中国期刊全文数据库收录期刊
●中文科技期刊数据库收录期刊
●国家哲学社会科学学术期刊数据库收录期刊
●中国核心期刊（遴选）数据库收录期刊
●龙源期刊网收录期刊
一年12期，每月20日出版
20元 / 期，邮发代号：82-761
编辑部邮箱：mis@moe.edu.cn
通讯地址：北京市西城区华远北街2号921室