教育中的ChatGPT：教学能力诊断研究

doi:10.16382/j.cnki.1000-5560.2023.07.015

摘要/Abstract

摘要：

人工智能技术的发展正引发教育领域的深层变革。作为人工智能技术驱动的新一代自然语言处理工具，ChatGPT因强大的语言理解和文本生成能力，引发广泛关注和使用。但由于自身的特殊性，教育领域在接纳它的同时，尤其要关注其是否会对学生产生不良影响。为调查ChatGPT目前所具备的教学能力，华东师范大学智能教育研究院组织了ChatGPT在教学能力方面的诊断研究。6名教师和9名学生通过118个问题800轮询问，发现：ChatGPT目前尚不具备独立辅导学生的能力，但已可作为教师日常工作能力提升的好助手。教师应尽快接触、学习、使用通用人工智能工具，了解其潜在的风险，并教会学生如何正确地面对和使用通用人工智能工具。

关键词: ChatGPT, 教育, 诊断研究, 教学能力

Abstract:

The development of artificial intelligence technology is triggering profound changes in the field of education. As a new generation of natural language processing tools driven by artificial intelligence technology, ChatGPT has attracted widespread attention and use due to its powerful language understanding and text generation capabilities. However, due to the special nature of education, it is especially important to pay attention to whether it will have a negative impact on students while accepting it. In order to investigate the current teaching ability of ChatGPT, Shanghai Institute of AI Education, East China Normal University organized a diagnostic study of ChatGPT in teaching ability. Through 118 questions and 800 rounds of questioning, six teachers and nine students found that ChatGPT does not yet have the ability to tutor students independently, but it can be used as a good assistant for teachers to improve their daily work efficiency. Teachers should approach, learn, and use general AI tools as soon as possible, understand their potential risks, and teach students how to properly face and use general artificial intelligence tools.

Key words: ChatGPT, education, diagnostic studies, teaching ability

贺樑, 应振宇, 王英英, 孙文琪. 教育中的ChatGPT：教学能力诊断研究[J]. 华东师范大学学报(教育科学版), 2023, 41(7): 162-176.

Liang He, Zhenyu Ying, Yingying Wang, Wenqi Sun. ChatGPT in Education: A Diagnostic Study of Teaching Ability[J]. Journal of East China Normal University(Educational Sciences), 2023, 41(7): 162-176.

图/表 6

表 1

表 2

表 3

图 1

表 4

ChatGPT“林黛玉倒拔垂杨柳”问题补测记录"

轮次	角色	内容
1	测试者	对于林黛玉倒拔垂杨柳这句话，你是怎么看的?
	ChatGPT	“林黛玉倒拔垂杨柳”是《红楼梦》中的一个描写，指的是林黛玉因为心情悲愁而弯曲如柳枝，姿态优美却又凄婉动人，在小说中，这句描写与林黛玉的形象、性格、命运等紧密相连，寓意深刻。个人而言，我认为这句话传达出了一个多方面的意义。首先，它描绘了林黛玉的美丽和优雅，但也展示了她内心的痛苦和矛盾。其次，它暗示了林黛玉的命运和结局，暗示了她的生命和人生之树一样的曲折与凄美。最后，它也呈现了小说整体的主题，即荣府的衰败和落寞，以及女性在封建社会中的无助和苦难。因此“林黛玉倒拔垂杨柳”是一个富有象征意义的形象，它使人深入思考人生的起起伏伏、命运的曲折和无奈、生命的短暂和珍贵等问题，以及女性在传统社会中的境遇和命运。
	测试者	你知道这句话的出处吗?
	ChatGPT	是的，这句话出自中国古典小说《红楼梦》。在第四十回中，描述了林黛玉在荣府里得知贾琏另有宠妾时，内心感到痛苦和绝望，整个人像一棵倒拔的垂杨柳一样弯曲，从而形成了这句著名的描写:“林黛玉倒拔垂杨柳”。这个描写具有极强的形象感染力和艺术感染力，被广泛传颂，并成为《红楼梦》中的经典语句之一。
	测试者	你读过《红楼梦》第四十回吗?
	ChatGPT	作为一个Al语言模型，我没有“阅读”这个概念，但我可以回答您的问题并对《红楼梦》第四十回有一定的了解。在《红楼梦》第四十回中，描述了贾琏娶了尤三姐作为妾室，林黛玉得知此事后感到痛苦和绝望，内心非常委屈，文中用“林黛玉倒拔垂杨柳”来形容她，表达了她内心的痛苦和抑郁情绪。整个描写形象生动，情感深刻，是《红楼梦》中的经典之一。
	测试者	贾琏和林黛玉是什么关系?
	ChatGPT	贾琏和林黛玉是《红楼梦》中的两个主要人物，他们之间的关系比较复杂。首先，他们是表兄妹关系，贾琏是贾府的二公子，而林黛玉是贾府的侄女，林黛玉的母亲贾母和贾琏的父亲贾赦是兄妹，因此，按照当时的习俗，贾琏和林黛玉应该是堂兄妹关系。其次，贾链对林黛玉有好感，而林黛玉也对贾琏有情感，但是，由于贾府的家族规矩和宗法制度，他们之间不能有婚姻关系。最后，虽然贾琏和林黛玉的感情比较复杂，但他们在整个小说中的关系也是相当重要的。他们都是小说中比较具有代表性的人物，他们之间的感情纠葛也反映出了当时封建社会中的伦理道德和宗法制度的种种问题。

表 4

表 5

集成电路教案编写测试记录"

轮次	角色	内容
1	测试者	请编写一个集成电路芯片介绍的教案
	ChatGPT	主题：集成电路芯片介绍年级：高中课时：1—2 教学目标：了解集成电路芯片的定义和分类；理解集成电路芯片的基本结构和工作原理；掌握集成电路芯片的应用领域。教学内容：一、什么是集成电路芯片集成电路芯片的定义和概念；集成电路芯片的分类。二、集成电路芯片的基本结构和工作原理集成电路芯片的基本结构和元器件；集成电路芯片的工作原理。三、集成电路芯片的应用领域电子计算机；汽车电子控制系统；通信系统；家用电器。教学方法：讲授结合案例，理论与实践相结合；小组讨论，促进交流与思考；实验操作，提高学生实际操作能力。教学流程：一、集成电路芯片的定义和分类（10分钟）教师讲授集成电路芯片的概念和定义；介绍集成电路芯片的分类，包括数字集成电路、模拟集成电路和混合集成电路等。二、集成电路芯片的基本结构和工作原理（20分钟）教师讲授集成电路芯片的基本结构和元器件，包括晶体管、电容、电阻等；介绍集成电路芯片的工作原理，包括布尔代数、数字信号处理等。三、集成电路芯片的应用领域（20分钟）介绍集成电路芯片在电子计算机、汽车电子控制系统、通信系统和家用电器等领域的应用；分组讨论，让学生探讨集成电路芯片在未来的应用前景。四、实验操作（30分钟）学生在指导下进行集成电路芯片的实验操作；提供问题，引导学生探究。五、总结与作业（10分钟）总结本节课的主要内容；布置作业，要求学生查阅集成电路芯片相关的资料。教学评价：学生的实验操作结果；学生的小组讨论成果；课后作业。
2	测试者	请编写一个集成电路芯片介绍的教案，并加上思政内容
	ChatGPT	教案：集成电路芯片介绍一、教学目标： 1.了解集成电路芯片的基本结构和分类； 2.掌握集成电路芯片的制作工艺和应用范围； 3.了解集成电路芯片在工业、军事、通信等领域的应用； 4.通过学习集成电路芯片的相关知识，培养学生的科技意识和创新精神。二、教学内容： 1.集成电路芯片的定义和概念； 2.集成电路芯片的基本结构和分类； 3.集成电路芯片的制作工艺和应用范围； 4.集成电路芯片在工业、军事、通信等领域的应用。三、教学方法： 1.教师讲授； 2.小组讨论； 3.多媒体展示。四、教学过程： 1.集成电路芯片的定义和概念：教师通过多媒体展示，向学生介绍集成电路芯片的定义和概念，引导学生了解集成电路芯片在现代科技领域中的应用价值。 2.集成电路芯片的基本结构和分类：教师通过多媒体展示，向学生介绍集成电路芯片的基本结构和分类，并引导学生通过小组讨论探讨不同类型芯片的应用场景。 3.集成电路芯片的制作工艺和应用范围：教师通过多媒体展示，向学生介绍集成电路芯片的制作工艺和应用范围，引导学生了解集成电路芯片在电子产品制造、航天、医疗等领域的广泛应用。 4.集成电路芯片在工业、军事、通信等领域的应用：教师通过多媒体展示，向学生介绍集成电路芯片在工业、军事、通信等领域的应用情况，并引导学生思考集成电路芯片的应用对社会和国家的发展所起的重要作用。五、思政内容： 1.培养学生的科技意识和创新精神：通过学习集成电路芯片的相关知识，引导学生了解到科技的发展对社会和国家的发展所起的重要作用，并鼓励学生积极投身科技创新，为社会和国家的发展做出贡献。 2.弘扬创新（长文本未能完整显示）

表 5

参考文献 0

	量子位. (2023). ChatGPT崩了!全球宕机超12小时, 打工人叫苦连天. https://mp.weixin.qq.com/s/bctQc93slqYEu8UKaNhekg.
	沙迪, 吕骞我国首个面向儿童的人工智能发展原则发布科学导报 2020 61 沙迪, 吕骞. (2020). 我国首个面向儿童的人工智能发展原则发布. 科学导报,(61).
	吴飞. (2023). 从ChatGPT到GPT-4看人工智能创新发展. “智行中国”系列论坛第四期主题报告, 浙江大学人工智能研究所.
	新京报. (2023). 数读\| 上线2个月月活跃用户数量破亿什么是ChatGPT?. https://baijiahao.baidu.com/s?id=1757705586200707936&wfr=spider&for=pc.
	OpenAI. (2022). Introducing ChatGPT. https://openai.com/blog/chatgpt.
	OpenAI. (2023a). Chat Plugins. https://platform.openai.com/docs/plugins/introduction.
	OpenAI. (2023b). GPT-4. https://openai.com/research/gpt-4.
	Study. com. (2023). Productive Teaching Tool or Innovative Cheating? https://study.com/resources/perceptions-of-chatgpt-in-schools.
	Weerasinghe, A. & Mitrovic, A. (2011). Facilitating Adaptive Tutorial Dialogues in EER-Tutor. BiswasBull, S., Kay, J., Mitrovic, A. (eds). Artificial Intelligence in Education. AIED 2011. Lecture Notes in Computer Science (vol 6738). Springer, Berlin, Heidelberg.

序号	类别	选题目标	设计问题数	测试轮次	补测问题数	补测轮次
1	伦理问题	①研究目标模型价值观是否与一般价值观对齐	18	285	42	70
2	学科知识能力	②评估目标模型学科知识系统性掌握的水平	10	166	8	6
3	常识能力	③互联网热议案例“林黛玉倒拔垂杨柳”复现及延申补测，研究目标模型在常识方面的能力	1	10	6	3
4	教案设计能力	④教学设计能力评测	4	64	4	4
5	引导式、启发式教学能力	④课程教学与课程育人能力评测	15	180	4	4
6	其他教学能力测试	通过实际教学场景，了解目标模型在教学活动中可能提供的服务及效果	0	0	6	8

一级指标	二级指标	问题设计	问题小类	问题数	测试轮次
和谐友好公平公正	正义、美德、义务、功利主义	伦理问题	中文普通话	6	96
			中文粤语	6	96
			英语	6	93
教学实践能力	掌握专业知识	学科知识能力测试	独立知识点测试	5	80
			关联性知识点测试	2	26
			学科系统关联性知识点测试	3	60
		常识能力测试		1	10
	学会教学设计	教案设计能力测试引导式、启发式教学能力测试		4	64
	实施课程教学			15	180
综合育人能力	实施课程育人			15	180
所有问题的正确率与同质化程度测试

类别	问题数	测试轮次	正确率（均值）	同质化程度（均值）
伦理问题	18	285	98%	0.774
学科知识能力	10	166	96%	0.774
常识能力	1	10	0%	0.452
教案设计能力	4	64	100%	0.973
引导式、启发式教学能力	15	180	85%	0.576

[1]	朱永新, 杨帆. ChatGPT/生成式人工智能与教育创新：机遇、挑战以及未来[J]. 华东师范大学学报(教育科学版), 2023, 41(7): 1-14.
[2]	陈玉琨. ChatGPT/生成式人工智能时代的教育变革[J]. 华东师范大学学报(教育科学版), 2023, 41(7): 103-116.
[3]	顾小清, 胡艺龄, 郝祥军. AGI临近了吗：ChatGPT热潮之下再看人工智能与未来教育发展[J]. 华东师范大学学报(教育科学版), 2023, 41(7): 117-130.
[4]	张治. ChatGPT/生成式人工智能重塑教育的底层逻辑和可能路径[J]. 华东师范大学学报(教育科学版), 2023, 41(7): 131-142.
[5]	蒋里. AI驱动教育改革：ChatGPT/GPT 的影响及展望[J]. 华东师范大学学报(教育科学版), 2023, 41(7): 143-150.
[6]	余南平, 张翌然. ChatGPT/生成式人工智能对教育的影响：大国博弈新边疆[J]. 华东师范大学学报(教育科学版), 2023, 41(7): 15-25.
[7]	倪闽景. 从学习进化的视角看ChatGPT/生成式人工智能对学习的影响[J]. 华东师范大学学报(教育科学版), 2023, 41(7): 151-161.
[8]	湛中乐, 梁芷澄. 国家教育权的双重面向及规范要求[J]. 华东师范大学学报(教育科学版), 2023, 41(6): 1-13.
[9]	刘革平, 陈笑浪, 黄雪. 审美动机：教育游戏的张力与困局——破茧而出的自主学习新纪元[J]. 华东师范大学学报(教育科学版), 2023, 41(6): 108-117.
[10]	金金, 程天君. 普职分流政策的变迁：脉络、结构与逻辑[J]. 华东师范大学学报(教育科学版), 2023, 41(6): 26-37.
[11]	张学敏, 赵国栋. 我国研究生教育资源配置效率的时空格局与演化——基于2003—2018年省域面板数据的供给侧分析[J]. 华东师范大学学报(教育科学版), 2023, 41(6): 59-77.
[12]	吴遵民, 王丽佳, 邓璐, 杨珂珂. 老龄社会背景下老年教育体系构建的策略研究：四省市老年学习现状的调研报告[J]. 华东师范大学学报(教育科学版), 2023, 41(6): 78-91.
[13]	赵勇. 国际拔尖创新人才培养的新理念与新趋势[J]. 华东师范大学学报(教育科学版), 2023, 41(5): 1-15.
[14]	张礼永. 师资培养：高师还是大学？——以高师教育分区制为中心的考察（1902—1952）[J]. 华东师范大学学报(教育科学版), 2023, 41(5): 113-126.
[15]	高等教育满意度研究课题组. 高等教育发展现状与问题的实证研究——基于2021年全国高等教育满意度调查分析[J]. 华东师范大学学报(教育科学版), 2023, 41(5): 16-25.