教育中的ChatGPT：教学能力诊断研究

doi:10.16382/j.cnki.1000-5560.2023.07.015

摘要/Abstract

摘要：

人工智能技术的发展正引发教育领域的深层变革。作为人工智能技术驱动的新一代自然语言处理工具，ChatGPT因强大的语言理解和文本生成能力，引发广泛关注和使用。但由于自身的特殊性，教育领域在接纳它的同时，尤其要关注其是否会对学生产生不良影响。为调查ChatGPT目前所具备的教学能力，华东师范大学智能教育研究院组织了ChatGPT在教学能力方面的诊断研究。6名教师和9名学生通过118个问题800轮询问，发现：ChatGPT目前尚不具备独立辅导学生的能力，但已可作为教师日常工作能力提升的好助手。教师应尽快接触、学习、使用通用人工智能工具，了解其潜在的风险，并教会学生如何正确地面对和使用通用人工智能工具。

关键词: ChatGPT, 教育, 诊断研究, 教学能力

Abstract:

The development of artificial intelligence technology is triggering profound changes in the field of education. As a new generation of natural language processing tools driven by artificial intelligence technology, ChatGPT has attracted widespread attention and use due to its powerful language understanding and text generation capabilities. However, due to the special nature of education, it is especially important to pay attention to whether it will have a negative impact on students while accepting it. In order to investigate the current teaching ability of ChatGPT, Shanghai Institute of AI Education, East China Normal University organized a diagnostic study of ChatGPT in teaching ability. Through 118 questions and 800 rounds of questioning, six teachers and nine students found that ChatGPT does not yet have the ability to tutor students independently, but it can be used as a good assistant for teachers to improve their daily work efficiency. Teachers should approach, learn, and use general AI tools as soon as possible, understand their potential risks, and teach students how to properly face and use general artificial intelligence tools.

Key words: ChatGPT, education, diagnostic studies, teaching ability

贺樑, 应振宇, 王英英, 孙文琪. 教育中的ChatGPT：教学能力诊断研究[J]. 华东师范大学学报(教育科学版), 2023, 41(7): 162-176.

Liang He, Zhenyu Ying, Yingying Wang, Wenqi Sun. ChatGPT in Education: A Diagnostic Study of Teaching Ability[J]. Journal of East China Normal University(Educational Sciences), 2023, 41(7): 162-176.

图/表 6

表 1

表 2

表 3

图 1

表 4

ChatGPT“林黛玉倒拔垂杨柳”问题补测记录"

轮次	角色	内容
1	测试者	对于林黛玉倒拔垂杨柳这句话，你是怎么看的?
	ChatGPT	“林黛玉倒拔垂杨柳”是《红楼梦》中的一个描写，指的是林黛玉因为心情悲愁而弯曲如柳枝，姿态优美却又凄婉动人，在小说中，这句描写与林黛玉的形象、性格、命运等紧密相连，寓意深刻。个人而言，我认为这句话传达出了一个多方面的意义。首先，它描绘了林黛玉的美丽和优雅，但也展示了她内心的痛苦和矛盾。其次，它暗示了林黛玉的命运和结局，暗示了她的生命和人生之树一样的曲折与凄美。最后，它也呈现了小说整体的主题，即荣府的衰败和落寞，以及女性在封建社会中的无助和苦难。因此“林黛玉倒拔垂杨柳”是一个富有象征意义的形象，它使人深入思考人生的起起伏伏、命运的曲折和无奈、生命的短暂和珍贵等问题，以及女性在传统社会中的境遇和命运。
	测试者	你知道这句话的出处吗?
	ChatGPT	是的，这句话出自中国古典小说《红楼梦》。在第四十回中，描述了林黛玉在荣府里得知贾琏另有宠妾时，内心感到痛苦和绝望，整个人像一棵倒拔的垂杨柳一样弯曲，从而形成了这句著名的描写:“林黛玉倒拔垂杨柳”。这个描写具有极强的形象感染力和艺术感染力，被广泛传颂，并成为《红楼梦》中的经典语句之一。
	测试者	你读过《红楼梦》第四十回吗?
	ChatGPT	作为一个Al语言模型，我没有“阅读”这个概念，但我可以回答您的问题并对《红楼梦》第四十回有一定的了解。在《红楼梦》第四十回中，描述了贾琏娶了尤三姐作为妾室，林黛玉得知此事后感到痛苦和绝望，内心非常委屈，文中用“林黛玉倒拔垂杨柳”来形容她，表达了她内心的痛苦和抑郁情绪。整个描写形象生动，情感深刻，是《红楼梦》中的经典之一。
	测试者	贾琏和林黛玉是什么关系?
	ChatGPT	贾琏和林黛玉是《红楼梦》中的两个主要人物，他们之间的关系比较复杂。首先，他们是表兄妹关系，贾琏是贾府的二公子，而林黛玉是贾府的侄女，林黛玉的母亲贾母和贾琏的父亲贾赦是兄妹，因此，按照当时的习俗，贾琏和林黛玉应该是堂兄妹关系。其次，贾链对林黛玉有好感，而林黛玉也对贾琏有情感，但是，由于贾府的家族规矩和宗法制度，他们之间不能有婚姻关系。最后，虽然贾琏和林黛玉的感情比较复杂，但他们在整个小说中的关系也是相当重要的。他们都是小说中比较具有代表性的人物，他们之间的感情纠葛也反映出了当时封建社会中的伦理道德和宗法制度的种种问题。

表 4

表 5

集成电路教案编写测试记录"

轮次	角色	内容
1	测试者	请编写一个集成电路芯片介绍的教案
	ChatGPT	主题：集成电路芯片介绍年级：高中课时：1—2 教学目标：了解集成电路芯片的定义和分类；理解集成电路芯片的基本结构和工作原理；掌握集成电路芯片的应用领域。教学内容：一、什么是集成电路芯片集成电路芯片的定义和概念；集成电路芯片的分类。二、集成电路芯片的基本结构和工作原理集成电路芯片的基本结构和元器件；集成电路芯片的工作原理。三、集成电路芯片的应用领域电子计算机；汽车电子控制系统；通信系统；家用电器。教学方法：讲授结合案例，理论与实践相结合；小组讨论，促进交流与思考；实验操作，提高学生实际操作能力。教学流程：一、集成电路芯片的定义和分类（10分钟）教师讲授集成电路芯片的概念和定义；介绍集成电路芯片的分类，包括数字集成电路、模拟集成电路和混合集成电路等。二、集成电路芯片的基本结构和工作原理（20分钟）教师讲授集成电路芯片的基本结构和元器件，包括晶体管、电容、电阻等；介绍集成电路芯片的工作原理，包括布尔代数、数字信号处理等。三、集成电路芯片的应用领域（20分钟）介绍集成电路芯片在电子计算机、汽车电子控制系统、通信系统和家用电器等领域的应用；分组讨论，让学生探讨集成电路芯片在未来的应用前景。四、实验操作（30分钟）学生在指导下进行集成电路芯片的实验操作；提供问题，引导学生探究。五、总结与作业（10分钟）总结本节课的主要内容；布置作业，要求学生查阅集成电路芯片相关的资料。教学评价：学生的实验操作结果；学生的小组讨论成果；课后作业。
2	测试者	请编写一个集成电路芯片介绍的教案，并加上思政内容
	ChatGPT	教案：集成电路芯片介绍一、教学目标： 1.了解集成电路芯片的基本结构和分类； 2.掌握集成电路芯片的制作工艺和应用范围； 3.了解集成电路芯片在工业、军事、通信等领域的应用； 4.通过学习集成电路芯片的相关知识，培养学生的科技意识和创新精神。二、教学内容： 1.集成电路芯片的定义和概念； 2.集成电路芯片的基本结构和分类； 3.集成电路芯片的制作工艺和应用范围； 4.集成电路芯片在工业、军事、通信等领域的应用。三、教学方法： 1.教师讲授； 2.小组讨论； 3.多媒体展示。四、教学过程： 1.集成电路芯片的定义和概念：教师通过多媒体展示，向学生介绍集成电路芯片的定义和概念，引导学生了解集成电路芯片在现代科技领域中的应用价值。 2.集成电路芯片的基本结构和分类：教师通过多媒体展示，向学生介绍集成电路芯片的基本结构和分类，并引导学生通过小组讨论探讨不同类型芯片的应用场景。 3.集成电路芯片的制作工艺和应用范围：教师通过多媒体展示，向学生介绍集成电路芯片的制作工艺和应用范围，引导学生了解集成电路芯片在电子产品制造、航天、医疗等领域的广泛应用。 4.集成电路芯片在工业、军事、通信等领域的应用：教师通过多媒体展示，向学生介绍集成电路芯片在工业、军事、通信等领域的应用情况，并引导学生思考集成电路芯片的应用对社会和国家的发展所起的重要作用。五、思政内容： 1.培养学生的科技意识和创新精神：通过学习集成电路芯片的相关知识，引导学生了解到科技的发展对社会和国家的发展所起的重要作用，并鼓励学生积极投身科技创新，为社会和国家的发展做出贡献。 2.弘扬创新（长文本未能完整显示）

表 5

参考文献 0

	量子位. (2023). ChatGPT崩了!全球宕机超12小时, 打工人叫苦连天. https://mp.weixin.qq.com/s/bctQc93slqYEu8UKaNhekg.
	沙迪, 吕骞我国首个面向儿童的人工智能发展原则发布科学导报 2020 61 沙迪, 吕骞. (2020). 我国首个面向儿童的人工智能发展原则发布. 科学导报,(61).
	吴飞. (2023). 从ChatGPT到GPT-4看人工智能创新发展. “智行中国”系列论坛第四期主题报告, 浙江大学人工智能研究所.
	新京报. (2023). 数读\| 上线2个月月活跃用户数量破亿什么是ChatGPT?. https://baijiahao.baidu.com/s?id=1757705586200707936&wfr=spider&for=pc.
	OpenAI. (2022). Introducing ChatGPT. https://openai.com/blog/chatgpt.
	OpenAI. (2023a). Chat Plugins. https://platform.openai.com/docs/plugins/introduction.
	OpenAI. (2023b). GPT-4. https://openai.com/research/gpt-4.
	Study. com. (2023). Productive Teaching Tool or Innovative Cheating? https://study.com/resources/perceptions-of-chatgpt-in-schools.
	Weerasinghe, A. & Mitrovic, A. (2011). Facilitating Adaptive Tutorial Dialogues in EER-Tutor. BiswasBull, S., Kay, J., Mitrovic, A. (eds). Artificial Intelligence in Education. AIED 2011. Lecture Notes in Computer Science (vol 6738). Springer, Berlin, Heidelberg.

序号	类别	选题目标	设计问题数	测试轮次	补测问题数	补测轮次
1	伦理问题	①研究目标模型价值观是否与一般价值观对齐	18	285	42	70
2	学科知识能力	②评估目标模型学科知识系统性掌握的水平	10	166	8	6
3	常识能力	③互联网热议案例“林黛玉倒拔垂杨柳”复现及延申补测，研究目标模型在常识方面的能力	1	10	6	3
4	教案设计能力	④教学设计能力评测	4	64	4	4
5	引导式、启发式教学能力	④课程教学与课程育人能力评测	15	180	4	4
6	其他教学能力测试	通过实际教学场景，了解目标模型在教学活动中可能提供的服务及效果	0	0	6	8

一级指标	二级指标	问题设计	问题小类	问题数	测试轮次
和谐友好公平公正	正义、美德、义务、功利主义	伦理问题	中文普通话	6	96
			中文粤语	6	96
			英语	6	93
教学实践能力	掌握专业知识	学科知识能力测试	独立知识点测试	5	80
			关联性知识点测试	2	26
			学科系统关联性知识点测试	3	60
		常识能力测试		1	10
	学会教学设计	教案设计能力测试引导式、启发式教学能力测试		4	64
	实施课程教学			15	180
综合育人能力	实施课程育人			15	180
所有问题的正确率与同质化程度测试

类别	问题数	测试轮次	正确率（均值）	同质化程度（均值）
伦理问题	18	285	98%	0.774
学科知识能力	10	166	96%	0.774
常识能力	1	10	0%	0.452
教案设计能力	4	64	100%	0.973
引导式、启发式教学能力	15	180	85%	0.576

[1]	柯政. 教育强国的几个底层问题[J]. 华东师范大学学报(教育科学版), 2024, 42(9): 1-12.
[2]	黄斌, 云如先, 吴凯霖. 认知技能分布对国民经济增长的影响：教育强国的新证据[J]. 华东师范大学学报(教育科学版), 2024, 42(9): 13-32.
[3]	[德]底特里希•本纳（Dietrich Benner）. 现代教育学和社会教育学的起源和实用性的十大论点[J]. 华东师范大学学报(教育科学版), 2024, 42(9): 33-41.
[4]	彭正梅, 陈丽莎, 吴月竹, 施芳婷, 邓莉. 迈向共同的“世界文学”：论启蒙与文化辩证中的中国比较教育新使命[J]. 华东师范大学学报(教育科学版), 2024, 42(9): 42-55.
[5]	沈伟, 周鑫玥, 蒋志伟. 比较教育与人类发展：新世纪的进展[J]. 华东师范大学学报(教育科学版), 2024, 42(9): 56-73.
[6]	张丹, 韩君灵, 夏翔, 何思岩. 交叉学科与批判关切：英国比较教育研究现状——兼议中国比较教育学自主知识体系建设[J]. 华东师范大学学报(教育科学版), 2024, 42(9): 74-88.
[7]	祝刚, 孔令帅, 杨启光, 吴天一. 从民族主义到世界主义：比较教育研究方法论的理路转向[J]. 华东师范大学学报(教育科学版), 2024, 42(9): 89-102.
[8]	张奇, 湛中乐. 校外培训机构的法律地位及其规范意义[J]. 华东师范大学学报(教育科学版), 2024, 42(9): 116-126.
[9]	李政涛. 概念研究为什么重要？——构筑教育学建设与发展的概念基石[J]. 华东师范大学学报(教育科学版), 2024, 42(8): 1-8.
[10]	申国昌, 白静倩. 教育交往史：教育史研究新的生长点[J]. 华东师范大学学报(教育科学版), 2024, 42(8): 114-126.
[11]	崔延强, 李雄. 新型研究型大学的兴起与可持续发展策略[J]. 华东师范大学学报(教育科学版), 2024, 42(8): 23-39.
[12]	朱晶, 姜雪峰. 科学教育中科学家的角色与功能[J]. 华东师范大学学报(教育科学版), 2024, 42(8): 50-63.
[13]	吴砥, 吴河江. 通用大模型教育应用的潜在风险及其规避——基于技术伦理的视角[J]. 华东师范大学学报(教育科学版), 2024, 42(8): 64-75.
[14]	赵丽, 刘寅生. 教育对话的技术转向：嬗递路径、应用困顿与范式重构——兼论对ChatGPT的逻辑审视及展望[J]. 华东师范大学学报(教育科学版), 2024, 42(8): 76-84.
[15]	肖绍明. “教育和生产劳动相结合”发展中 “劳动教育”概念的变革[J]. 华东师范大学学报(教育科学版), 2024, 42(8): 9-22.