查看原文
其他

学生都用ChatGPT写作业,老师是如何识破的?香港教育大学老师的万字反思

李越民、孙宇凡 社会学理论大缸 2023-08-19


文/李越民(香港教育大学社会科学系讲师)
评论/孙宇凡(爱丁堡大学社会学博士生)
编辑/兰雅婷

【宇凡按语】
其实,老师一直知道你在ChatGPT交作业交论文!
我的朋友李越民,在香港教育大学任教。他坦白说:如果用GPT作答,得分会是B-。他不反对学生用GPT,甚至预设学生会以GPT作为学习工具。
问题来了。
到底怎么样才能拿到A分?难道人人都拿B-分?这公平吗?那些自己作答、认真学习的学生可就亏死了。通宵写论文,结果才比人家搞多一点点分呀!
同时,老师当然希望学生能够超越GPT。否则,学生上大学毕业,还没找到工作,就先被GPT淘汰了!
怎么超越呢?
李老师也进行教学改革,开发了两大办法:一是带学生精读那些能拿A分的优秀文章。二是用师生一对一的口试方式作为期末考核。
ChatGPT对大学教学、对我们的就业前景的冲击越来越大。我之前已经推送了6期《GPT社会学》系列。合集见页底。

以下是李老师的教学札记:
- 1 - ChatGPT上社会理论课,能B-分

这个学期接到一个新的教学任务:教授一门名为「Social Theory for Critical Thinking」的本科生科目。这是非常典型社会学理论的科目,在course description 已经罗列了诸如 Karl Marx、Max Weber、Emile Durkhiem、Geroge Herbert Mead 以及 Erving Goffman、Anthony Giddens、Howard Becker 等理论家。但这门课的定位十分奇怪,虽然这是本科生科目,但它不属于任何本科课程(即连社会学课程也不算这科为主修科,只能当作填满学分的非主修科)。

学系本来也只像仪式把此课放入时间表供学生修读,但如果太少学生修读就取消 (事实上这门课之前也因为太少学生取消过好几次),但过去学期因为时间表的时间太好了,竟然有20人报读,但来自五湖四海的学系,就是没有社会学(连社会科学其他课程也占少数)。我第一节问大家为何读此科,主要回答就是迁就自己时间表考虑为主,完全对社会理论一无所知(那就自然不太感兴趣)。
原任老师非常慷慨地在离开学校时把这门课的材料分享给我,据说这些材料也是原任老师在上一位老师手上流传下来。原任老师已经因材施教,把理论家的理论拆为主题(如 Alienation、 Bureaucracy、 Religion等),并以简单原文与生活例子串插而成,把理论简单而不失精神地解释出来。我是十分感激的。
这门科目的评估是典型的论文, 我把论文题目列出来,大家就明白了:
Final Assignment (1,500 words)
Choose one theory from among the course topics and readings. Using these points as reference for search keywords, explore any online websites (video, social network, reference, shopping, news, games, discussion forum, etc.) that can provide real-life, contemporary, first-hand insight, information, and/or opinion about your chosen topic and main points. For example, what can any content on Facebook tell you about capitalism as a social structure?
Once you identify the theory and the social issue, please explain your thoughts about the relationship between the points in the assigned reading and the first-hand data that you have found online.
An optional consultation is offered on 14 April 2023. You are advised to bring your thoughts to discuss with me on that day. But I am open for consultation for any time in the semester if you have ideas.
宇凡按语:以上题目的大意:从本学期课程教授内容中挑出你感兴趣的社会理论,再从网上找到一些一手材料,进行理论应用到现象的分析)。
事后看,这不就是ChatGPT 最「擅长」回答的问题吗?随便要求 ChatGPT 用一个理论概念去解释一个选定的社会现象。我后来试用了,如果学生直接问ChatGPT 再把所得的答案直接作为功课,大概能有B-左右的分数,而且ChatGPT的书写风格是很容易辨识的。但如果学生有技巧地使用,把题目拆散几条的子题目去问ChatGPT ,其实很容易获得更高分数而又不被辨识。
- 2 - 为什么ChatGPT拿不到高分?
但在设计课程时,大约是十二月至一月左右,那个时候虽然ChatGPT 已经面世,当时我们学系有其他同事已经把学系课程不同科目的论文题目放入ChatGPT ,而且获得非常高质量的响应。但我与我的同事讨论已经觉得未来的大学科目考评已经要大变了,但当时判断是科技的扩散有滞后现象,估计到2023/24学年的上学期会普遍懂得与习惯使用ChatGPT , 所以 2022/23 年的下学期只需要针对个别科技的先行同学就可以了。当时大家的判断是这样的。
回到这社会理论课,我设计时不认为ChatGPT 会在此学年有大的影响。当时反而在考虑一个问题。我过往在不同类型的高校教社会理论的经验,学生即使明白、理解个别的理论家的说法(理解的意思往往是指能够以口头报告或书面报告总结理论家的思路),但若考核是「应用」理论到实际社会现象,误用错用、张冠李戴、无视理论前设等等的情况时常发生。连能力比较高、对文本掌握比较精熟的同学也有时犯这些错误。
我明白:理论内容的掌握、与应用理论内容到实际社会现象,是相关、但并不是相同的能力。如果我的评估是应用理论的话,需要在课程设计时针对应用能力提供相应的学习的情境。

针对此,我抽取部分课节时间进行分组小组导修。每位同学需要有两次导修, 导修前需要阅读由导师选取节录理论文本,而在导修课却是阅读一些与理论文本相关的文本。这样说大家不明白,我把导修阅读材料列上来,大家应该明白了:
第一次导修阅读文章:

1. Erving Goffman(戈夫曼) “Behavior in Public Places” (有关 civic inattention部分的讨论)

2. Howard Becker(霍华德.贝克尔) 为Art World 诞生 25周年时写的新序(均由我节录段落,不多于6页原文)

3. Peter Kaufman: A Sociology of My death(《关于我的死亡的社会学》)节录 (不多于3页原文)


(Peter Kaufman教授生前照片)

这节导修一方面让学生感受一下美国社会学理论微观学系的特色,学生事前读过文章,我在导修上会提问一下文章的基本概念,测验学生读不读得懂,以及让其实没有看文章的同学(总会有的)也知道这些概念。
课上导修所选读的是已故社会学家Peter Kaufman 的博客文章。这篇文章是Kaufman 突然被告知自己癌症末期,命不久矣前,他在这段时间的社会学反思,非常易读,但文章在描述自己的经验时,不经意地使用了微观社会学的 collective Action 与 civic Inattention 这些概念,但不特别造作。明显这真是把这些概念内化成为他的思考一部分了。我让学生在导修前阅读理论文章,导修时反而就读这篇博客文章,再用提问方法引起他们的讨论。
我在讨论中说明,这是一等的社会学个人反思的文章,如果大家的习作有此水平,就是A的水平。所以文章也有典范的作用,让学生明白何谓好的应用的理论应用文章。
第二次导修阅读的文章

1.“ Karl Marx “Economic and Philosophic Manuscripts of 1844” (3页)

2. Emile Durkhiem “Suicide” (3页)

这两篇文章的选段我已经由 Calhoun 的Classical Sociological Theory 文集的撮要文章的再选段撮要。

3. Munesuke Mita 见田宗介 Hell of Eyes: A Case Study of an Alienated Youth (选段:约5页) 

(日本社会学家见田宗介)

第二次导修课的结构也是一样。第二次导修的理论文本就是欧陆的古典社会学文本,比起第一次导修用字艰深,也是学生之前未遇过的文字。例如有些学生在读马克思的Alienation from species being (异化使人失去人作为人的重要特性)时跟我说完全不知马克思在说什么。所以第二次导修课需要更多的支持。
导修论上阅读的是日本社会学家见田宗介的文章撮要,那篇文章是见田收集了日本六十年代一位无差别的连续杀人犯永山则夫的故事,一个朴素上进的农村孩子为什么到了城巿打工会变成无差别杀人犯呢?部分内地同学对这个个案的掌握比香港同学高,大概是因为永山则夫背景与心态,极像中国农村来城巿打工的青年。
见田宗介作为战后日本最重要的社会学家之一,在记录与收集这位杀人犯的故事时,巧妙地与马克思的「异化」、涂尔干的「失范」理论对话。学生也惊讶欧陆古典理论文章竟然也可以在另一个社会背景(日本)下应用。

我选见田宗介文章的另一个原因,就是第一次导修我选了Kaufman 的个人经验文章,所以第二次导修我选了见田宗介对社会现象的分析。尤其我让学生发现见田宗介在写文章时,其实搜集了很多对永山则夫个人的材料、以及当时农村青年到城巿的数据等等。虽然这些材料都是二手,但不妨碍见田宗介以二手材料写了一篇精彩的分析。
我希望这篇文章是当作 「应用概念到社会现象分析」的模范文章,一如Kaufman是「应用概念作自我经验反思分析」的模范文章。
设计是这样简单,但执行时上因为种种技术与行程上原因,效果未必理想。但至少我觉得学生也可以明白 「理解理论内容文本」是一回事,「应用理论」可能需要另外一些巧思才行。
时间到农历新年后一两星期左右(约二月),我与其他高校老师同时目睹ChatGPT 在学生间的大流行。我开始思考ChatGPT 对我的理论课的影响了。我有点庆幸我的导修设计,因为导修让我有时间让学生细读我觉得是有助他们应用理论的模范文本,让学生明白了「理解理论」与「应用理论」的分别,而且给他们一些东西去掌握。这很重要。对一些学习动机不高(我的班级大半只是因为时间表原因修读的)、而且并非最出色的学生,如果面对一份太抽象茫无头绪的习作,这很难抵抗ChatGPT诱惑的。 
- 3 - 如何让学生超越ChatGPT?
我仍然要做调整去应对ChatGPT。 
因为学期已经开始了,现在难以大模范修改作业要求, 我只是改了一点 ,就是这一点:
An optional consultation is offered on 14 April 2023. You are advised to bring your thoughts to discuss with me on that day. But I am open for consultation for any time in the semester if you have ideas.
孙按:大意是,让学生来和老师面谈讨论)

我把本来的个别论文咨询由optional改为必须出席,我也把本来给论文的一点分数(5分)变成咨询的出席分。由于全班只有20人,我用了一整天(由9点到3点)逐一见学生。学生必须在咨询时把他所选定的理论概念与社会现象向我口头汇布,我再给他们意见。 
我没有跟学生解释修改要求的原因,学生也没有大的响应,也只是在咨询当天带他们的想法(有些勤力的学生也带了他们搜集有关社会现象的资料)跟我汇报。 
这做法的好处就是,就算学生用了 ChatGPT 去帮他们思考,但因为中间要由他们作口头汇报,他们不得不自己消化一次再给我汇报,而且我会对他的报告有提问,他们就只能实时响应,他们在过程中向我展示更多的理论思考过程。
我会在交流中,主动向学生告知大学对 ChatGPT 的立场,以及我的立场。我不介意学生使用 ChatGPT 作概念的头脑风暴,也不介意学生在写好初稿使用ChatGPT 修改文字,但我不能够接受学生直接使用ChatGPT 提供的论点或文字,若你使用ChatGPT 提供的论点,我希望他可以如同引用文章作citation。
但也跟学生说 ChatGPT 提供的论点只是起点,要作多方的查证与修改,才足以成为论文的论据。我也重申让学生在写论文时重读Kaufman与见田宗介的文章,以他们的蓝本。
我相信有一个可接触的、具体的标杆,学生反而更能够把 ChatGPT 当作工具好好运用,而不会被ChatGPT 提供的诱惑所吸引 。 
这是在不能大幅调整课程要求时,我尽可以响应ChatGPT对社会理论的挑战,我总结三点吧:
1. 如果理论的习作题有关应用理论到实际生活,我想在课程设计上会留空间在「应用」理论,否则的话上课只在阐释理论,学习理论内容,功课却是「应用」,会让部分茫无头绪的学生抵受不到ChatGPT的诱惑的。
2. 我建议所有以「应用」理论作为习作的理论课教师,要求学生在你面前以口头对答方法把他们的写作想法与大纲作汇报。我们避不开的,学生肯定会使用ChatGPT,但我们可以让即使使用了ChatGPT的学生也能做做理论思考。
3. 我反对禁用ChatGPT ,我倒觉得在ChatGPT大流行的情况下, 我们更需要设计能够让学生明白习作的标杆,例如细读应用理论的佳作。理论课的习作一直以来都有点「虚无」。我觉得有标杆,有学习动机的学生就会各施各法(包括使用ChatGPT) 尽力达到此标杆。

- 4 - 教学生超越GPT,有方法可循,但确实很难

以下是来自孙宇凡的回复与评论。

感谢Ben的分享呀!非常有意义的教学体会。我一直觉得以美国精英名校为代表的研究型大学,极度缺乏对学科教学的专门研究。

看看Teaching Sociology的期刊地位就知道了——基本上没有精英名校教授在上面发表论文。但在如今GPT的冲击之下,正好是反思的机会。

(Teaching Sociology期刊)

看到你关心的核心问题在于:怎么看应用理论解释现象的问题?既然GPT擅长这一项,那学生要如何掌握不同于GPT的能力?

从你的反思来看,也许在于学生要掌握lived experience和life narrative。用我们都相熟的吕炳强老师的话来说,“社会理论是活在我的身上”。但老实地讲,我接触到学生往往都太老实了,但这也不怪学生,因为在升学主义、绩效主义环境下,很难有丰富的生命体验。所以这一点对于大学生来说有些困难。

然而,这也是我们作为教育者的责任——就像我今天在课上,鼓励学生如果想做真学问,就得说真话一样。就像我之前写过关于“高考人格”的推送,分享《学做工》一书作者威利斯的最新研究。

梦想+压抑+迷失=高考人格?文化社会学新书解读

这里的张力,也许在于——用认识论一些的话来说:如何理解研究者作为lay people的position/reflexivity?如果只是应用/观察社会现象,那么确实研究者是观察者——这太适合GPT了。但如果是lived experience/narrative,那确实需要体现出自己作为参与者的position/reflexivity。

这也是现在定性研究方法论很关注的议题。我最近在公众号上也分享这方面的讨论,因为中国有些学生在社会调查时碰到一些研究伦理问题。

国际高中的学生访谈职高女生引发争议:到底犯了什么学术伦理问题?

怎么把这样的认识论问题结合到教学考评上?我觉得还是有一些研究资源可以参考:

1. 负面案例法
通过用diverse cases做generalization。不管是学生还是GPT,在做题目时候之所以套用理论解释现象,因为案例太简单、故事太单一。所以就像我们都喜欢的学者Howard Becker的话来说:nothing happens in my field——好像官僚制/异化概念都讲了,我的田野没什么新鲜事。但如果做负面案例法之类,其实瞄准的是修改“应用”的研究方式。

所以,我在教学生的时候,强调要教学生用8/2原则,专门找那些有80%适合解释你手上现象的框架,剩20%给我自己发挥。

(美国社会学家Howard Becker)

2. 认知不正义或女性主义认识论

前面说到 position/reflexivity,很大程度上基于女性主义的认识论发展出来的“认知不正义”等方面研究。如果希望研究者作为类似于笛卡尔座标系一样去套到研究现象中,这样自己作为研究者是”无具体位置“,于是很多利益就被掩盖了。

同样的,就在上周三,欧盟刚出法案草案,关于GPT的管制问题,要继续投票通过将会有很大的影响,其中一条就是要求这些GPT公司公开训练材料的摘要,至少要出版。

为什么GPT等公司不公开,因为要公开别人就知道他的立场了。这其实是很好的训练机会,对学生来说。

有一些类似分析,比如韦伯的官僚制只是基于德国的财政/律政史。韦伯做官僚制研究时,当时英国的官僚制都和他的结论不一样。韦伯也是认识到中世纪教会和他眼中的现代官僚制一样,但还是选择性忽视。

Höpfl, Harro M. 2006. “Post‐bureaucracy and Weber’s ‘Modern’ Bureaucrat” edited by M. Harris and H. Höpfl. Journal of Organizational Change Management 19(1):8–21.

Rethinking modernity(2007/2023)这本书对韦伯式及后继的现代性理论研究,就是认为比较方法以欧洲为中心作为benchmark,其它只是variation,于是没有回过头思考欧洲现代性形成是殖民化过程,是基于connected histories。因此,只做比较历史分析是不够的。如果GPT有类似的偏见,那对学生来说是很好的锻炼epistemic injustice修正的机会。

甚至对于G.H.Mead,我觉得也可以教学做类似的训练。就像我们读Mead的《心灵、自我与社会》,我们不读第一部分(即“心灵”,关于当时的心理学),以及第三部分关于当时的社会(如宗教等)的分析,只读第二部分,就变得自我过程的社会理论模型了。如何同步更新关于心灵/心理学知识重新理解Mead,或者回到Mead当时他接触的社会活动理解他的自我,都有意义。

比如,米德与当时的定居运动,简直就是他的自我理论的现实版,见下面这篇文章:

Rigney, Ernest G., and Timothy C. Lundy. 2015. ‘GEORGE HERBERT MEAD ON TERRORISM, IMMIGRANTS, AND SOCIAL SETTLEMENTS: A 1908 LETTER TO THE CHICAGO RECORD HERALD’. The Journal of the Gilded Age and Progressive Era 14(2):160–72.

最近儿童/婴儿心理学也有很多更新,其实都会有重新思考米德,比如他说孩子先有play再有更复杂的game,但我印象中也有反驳说play是更难的。我最近看《愤怒与宽恕 : 愤恨、大度与正义》中,也有对孩子成长心理很好的更新,和米德有些对话。

换句话说,今后我们的学生,不是“应用”GPT,而是“改进”GPT,这可能是我们今后面对人工智能的方式。

- 5 - 再回应:学生应该精读范本

宇凡你的回应比我想象中详细!

我在设计课程时没有太考虑ChatGPT (因为当时判断是下半年才会流行) , 的确我考虑的是所谓“应用”理论,究竟“应用”理论是怎样一回事。我的确觉得把所谓理论“应用”个人经验上,很多我的学生也觉得困难:主要可能是个人经验问题吧。

我的办法是让他们看 Kaufman 、看见田宗介,他们把 microsociology,Durkhiem,Marx 融入他们的分析中,又不属于太 empirical oriented (真的做研究、问卷又好访问又好),属于个人reflection (blog) 、或者是New Yorker式的深度专题之类型,却看得出他们在使用理论在其中。

我觉得让学生细读这些作品,才能够让他们慢慢掌握何谓“应用”理论,那与“认识”理论不大是一回事。

ChatGPT的出现让我发现,我更要走这一条路,如果还有机会教的话。

(上文中的小标题为宇凡所加)

这是“社会学理论大缸”的第758期推送

往期相关推送合集

中国互联网大厂造不出ChatGPT,也和性别有关?(GPT社会学第6期)

以人类的名义:ChatGPT公司CEO提出乌托邦计划(GPT社会学第4期)

让ChatGPT更像人类?社会学家的百年前预言,今日更值得思考(GPT社会学第3期)

为什么ChatGPT回答得很差,你非要说它很厉害?(GPT社会学第2期)

ChatGPT时代,北大将不如蓝翔技校?(GPT社会学第1期)



您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存