ChatGPT in Education: A Diagnostic Study of Teaching Ability

doi:10.16382/j.cnki.1000-5560.2023.07.015

Abstract

Abstract:

The development of artificial intelligence technology is triggering profound changes in the field of education. As a new generation of natural language processing tools driven by artificial intelligence technology, ChatGPT has attracted widespread attention and use due to its powerful language understanding and text generation capabilities. However, due to the special nature of education, it is especially important to pay attention to whether it will have a negative impact on students while accepting it. In order to investigate the current teaching ability of ChatGPT, Shanghai Institute of AI Education, East China Normal University organized a diagnostic study of ChatGPT in teaching ability. Through 118 questions and 800 rounds of questioning, six teachers and nine students found that ChatGPT does not yet have the ability to tutor students independently, but it can be used as a good assistant for teachers to improve their daily work efficiency. Teachers should approach, learn, and use general AI tools as soon as possible, understand their potential risks, and teach students how to properly face and use general artificial intelligence tools.

Key words: ChatGPT, education, diagnostic studies, teaching ability

Liang He, Zhenyu Ying, Yingying Wang, Wenqi Sun. ChatGPT in Education: A Diagnostic Study of Teaching Ability[J]. Journal of East China Normal University(Educational Sciences), 2023, 41(7): 162-176.

Figures/Tables 6

轮次	角色	内容
1	测试者	对于林黛玉倒拔垂杨柳这句话，你是怎么看的?
	ChatGPT	“林黛玉倒拔垂杨柳”是《红楼梦》中的一个描写，指的是林黛玉因为心情悲愁而弯曲如柳枝，姿态优美却又凄婉动人，在小说中，这句描写与林黛玉的形象、性格、命运等紧密相连，寓意深刻。个人而言，我认为这句话传达出了一个多方面的意义。首先，它描绘了林黛玉的美丽和优雅，但也展示了她内心的痛苦和矛盾。其次，它暗示了林黛玉的命运和结局，暗示了她的生命和人生之树一样的曲折与凄美。最后，它也呈现了小说整体的主题，即荣府的衰败和落寞，以及女性在封建社会中的无助和苦难。因此“林黛玉倒拔垂杨柳”是一个富有象征意义的形象，它使人深入思考人生的起起伏伏、命运的曲折和无奈、生命的短暂和珍贵等问题，以及女性在传统社会中的境遇和命运。
	测试者	你知道这句话的出处吗?
	ChatGPT	是的，这句话出自中国古典小说《红楼梦》。在第四十回中，描述了林黛玉在荣府里得知贾琏另有宠妾时，内心感到痛苦和绝望，整个人像一棵倒拔的垂杨柳一样弯曲，从而形成了这句著名的描写:“林黛玉倒拔垂杨柳”。这个描写具有极强的形象感染力和艺术感染力，被广泛传颂，并成为《红楼梦》中的经典语句之一。
	测试者	你读过《红楼梦》第四十回吗?
	ChatGPT	作为一个Al语言模型，我没有“阅读”这个概念，但我可以回答您的问题并对《红楼梦》第四十回有一定的了解。在《红楼梦》第四十回中，描述了贾琏娶了尤三姐作为妾室，林黛玉得知此事后感到痛苦和绝望，内心非常委屈，文中用“林黛玉倒拔垂杨柳”来形容她，表达了她内心的痛苦和抑郁情绪。整个描写形象生动，情感深刻，是《红楼梦》中的经典之一。
	测试者	贾琏和林黛玉是什么关系?
	ChatGPT	贾琏和林黛玉是《红楼梦》中的两个主要人物，他们之间的关系比较复杂。首先，他们是表兄妹关系，贾琏是贾府的二公子，而林黛玉是贾府的侄女，林黛玉的母亲贾母和贾琏的父亲贾赦是兄妹，因此，按照当时的习俗，贾琏和林黛玉应该是堂兄妹关系。其次，贾链对林黛玉有好感，而林黛玉也对贾琏有情感，但是，由于贾府的家族规矩和宗法制度，他们之间不能有婚姻关系。最后，虽然贾琏和林黛玉的感情比较复杂，但他们在整个小说中的关系也是相当重要的。他们都是小说中比较具有代表性的人物，他们之间的感情纠葛也反映出了当时封建社会中的伦理道德和宗法制度的种种问题。

轮次	角色	内容
1	测试者	请编写一个集成电路芯片介绍的教案
	ChatGPT	主题：集成电路芯片介绍年级：高中课时：1—2 教学目标：了解集成电路芯片的定义和分类；理解集成电路芯片的基本结构和工作原理；掌握集成电路芯片的应用领域。教学内容：一、什么是集成电路芯片集成电路芯片的定义和概念；集成电路芯片的分类。二、集成电路芯片的基本结构和工作原理集成电路芯片的基本结构和元器件；集成电路芯片的工作原理。三、集成电路芯片的应用领域电子计算机；汽车电子控制系统；通信系统；家用电器。教学方法：讲授结合案例，理论与实践相结合；小组讨论，促进交流与思考；实验操作，提高学生实际操作能力。教学流程：一、集成电路芯片的定义和分类（10分钟）教师讲授集成电路芯片的概念和定义；介绍集成电路芯片的分类，包括数字集成电路、模拟集成电路和混合集成电路等。二、集成电路芯片的基本结构和工作原理（20分钟）教师讲授集成电路芯片的基本结构和元器件，包括晶体管、电容、电阻等；介绍集成电路芯片的工作原理，包括布尔代数、数字信号处理等。三、集成电路芯片的应用领域（20分钟）介绍集成电路芯片在电子计算机、汽车电子控制系统、通信系统和家用电器等领域的应用；分组讨论，让学生探讨集成电路芯片在未来的应用前景。四、实验操作（30分钟）学生在指导下进行集成电路芯片的实验操作；提供问题，引导学生探究。五、总结与作业（10分钟）总结本节课的主要内容；布置作业，要求学生查阅集成电路芯片相关的资料。教学评价：学生的实验操作结果；学生的小组讨论成果；课后作业。
2	测试者	请编写一个集成电路芯片介绍的教案，并加上思政内容
	ChatGPT	教案：集成电路芯片介绍一、教学目标： 1.了解集成电路芯片的基本结构和分类； 2.掌握集成电路芯片的制作工艺和应用范围； 3.了解集成电路芯片在工业、军事、通信等领域的应用； 4.通过学习集成电路芯片的相关知识，培养学生的科技意识和创新精神。二、教学内容： 1.集成电路芯片的定义和概念； 2.集成电路芯片的基本结构和分类； 3.集成电路芯片的制作工艺和应用范围； 4.集成电路芯片在工业、军事、通信等领域的应用。三、教学方法： 1.教师讲授； 2.小组讨论； 3.多媒体展示。四、教学过程： 1.集成电路芯片的定义和概念：教师通过多媒体展示，向学生介绍集成电路芯片的定义和概念，引导学生了解集成电路芯片在现代科技领域中的应用价值。 2.集成电路芯片的基本结构和分类：教师通过多媒体展示，向学生介绍集成电路芯片的基本结构和分类，并引导学生通过小组讨论探讨不同类型芯片的应用场景。 3.集成电路芯片的制作工艺和应用范围：教师通过多媒体展示，向学生介绍集成电路芯片的制作工艺和应用范围，引导学生了解集成电路芯片在电子产品制造、航天、医疗等领域的广泛应用。 4.集成电路芯片在工业、军事、通信等领域的应用：教师通过多媒体展示，向学生介绍集成电路芯片在工业、军事、通信等领域的应用情况，并引导学生思考集成电路芯片的应用对社会和国家的发展所起的重要作用。五、思政内容： 1.培养学生的科技意识和创新精神：通过学习集成电路芯片的相关知识，引导学生了解到科技的发展对社会和国家的发展所起的重要作用，并鼓励学生积极投身科技创新，为社会和国家的发展做出贡献。 2.弘扬创新（长文本未能完整显示）

References 0

	量子位. (2023). ChatGPT崩了!全球宕机超12小时, 打工人叫苦连天. https://mp.weixin.qq.com/s/bctQc93slqYEu8UKaNhekg.
	沙迪, 吕骞我国首个面向儿童的人工智能发展原则发布科学导报 2020 61 沙迪, 吕骞. (2020). 我国首个面向儿童的人工智能发展原则发布. 科学导报,(61).
	吴飞. (2023). 从ChatGPT到GPT-4看人工智能创新发展. “智行中国”系列论坛第四期主题报告, 浙江大学人工智能研究所.
	新京报. (2023). 数读\| 上线2个月月活跃用户数量破亿什么是ChatGPT?. https://baijiahao.baidu.com/s?id=1757705586200707936&wfr=spider&for=pc.
	OpenAI. (2022). Introducing ChatGPT. https://openai.com/blog/chatgpt.
	OpenAI. (2023a). Chat Plugins. https://platform.openai.com/docs/plugins/introduction.
	OpenAI. (2023b). GPT-4. https://openai.com/research/gpt-4.
	Study. com. (2023). Productive Teaching Tool or Innovative Cheating? https://study.com/resources/perceptions-of-chatgpt-in-schools.
	Weerasinghe, A. & Mitrovic, A. (2011). Facilitating Adaptive Tutorial Dialogues in EER-Tutor. BiswasBull, S., Kay, J., Mitrovic, A. (eds). Artificial Intelligence in Education. AIED 2011. Lecture Notes in Computer Science (vol 6738). Springer, Berlin, Heidelberg.

序号	类别	选题目标	设计问题数	测试轮次	补测问题数	补测轮次
1	伦理问题	①研究目标模型价值观是否与一般价值观对齐	18	285	42	70
2	学科知识能力	②评估目标模型学科知识系统性掌握的水平	10	166	8	6
3	常识能力	③互联网热议案例“林黛玉倒拔垂杨柳”复现及延申补测，研究目标模型在常识方面的能力	1	10	6	3
4	教案设计能力	④教学设计能力评测	4	64	4	4
5	引导式、启发式教学能力	④课程教学与课程育人能力评测	15	180	4	4
6	其他教学能力测试	通过实际教学场景，了解目标模型在教学活动中可能提供的服务及效果	0	0	6	8

一级指标	二级指标	问题设计	问题小类	问题数	测试轮次
和谐友好公平公正	正义、美德、义务、功利主义	伦理问题	中文普通话	6	96
			中文粤语	6	96
			英语	6	93
教学实践能力	掌握专业知识	学科知识能力测试	独立知识点测试	5	80
			关联性知识点测试	2	26
			学科系统关联性知识点测试	3	60
		常识能力测试		1	10
	学会教学设计	教案设计能力测试引导式、启发式教学能力测试		4	64
	实施课程教学			15	180
综合育人能力	实施课程育人			15	180
所有问题的正确率与同质化程度测试

类别	问题数	测试轮次	正确率（均值）	同质化程度（均值）
伦理问题	18	285	98%	0.774
学科知识能力	10	166	96%	0.774
常识能力	1	10	0%	0.452
教案设计能力	4	64	100%	0.973
引导式、启发式教学能力	15	180	85%	0.576

[1]	Zheng Ke. Some Fundamental Issues on Educational Great Power [J]. Journal of East China Normal University(Educational Sciences), 2024, 42(9): 1-12.
[2]	Bin Huang, Ruxian Yun, Kailin Wu. Impact of Cognitive Skills Distribution on National Economic Growth: New Empirical Evidence from the Building of a Powerful Country in Education [J]. Journal of East China Normal University(Educational Sciences), 2024, 42(9): 13-32.
[3]	Dietrich Benner. Ten Theses on the Origins and Pragmatics of Modern Pedagogy and Social Pedagogy [J]. Journal of East China Normal University(Educational Sciences), 2024, 42(9): 33-41.
[4]	Zhengmei Peng, Lisha Chen, Yuezhu Wu, Fangting Shi, Li Deng. Towards a Shared “World Literature”: On the New Mission of Chinese Comparative Education in the Dialectic of Enlightenment and Culture [J]. Journal of East China Normal University(Educational Sciences), 2024, 42(9): 42-55.
[5]	Wei Shen, Xinyue Zhou, Zhiwei Jiang. Comparative Education and Human Development: Progress in the New Century [J]. Journal of East China Normal University(Educational Sciences), 2024, 42(9): 56-73.
[6]	Dan Zhang, Junling Han, Xiang Xia, Siyan He. Interdisciplinary and Critical Concerns: Current Comparative Education Research in the United Kingdom — Also on the Construction of Independent Knowledge System of Comparative Education in China [J]. Journal of East China Normal University(Educational Sciences), 2024, 42(9): 74-88.
[7]	Gang Zhu, Lingshuai Kong, Qiguang Yang, Tianyi Wu. From Nationalism to Cosmopolitanism: A Shift in The Methodology of Comparative Education Research [J]. Journal of East China Normal University(Educational Sciences), 2024, 42(9): 89-102.
[8]	Qi Zhang, Zhongle Zhan. The Legal Status of Tutoring Institutions and its Normative Significance [J]. Journal of East China Normal University(Educational Sciences), 2024, 42(9): 116-126.
[9]	Guochang Shen, Jingqian Bai. The History of Educational Communiaction: A New Growth Point in the Study of Educational History [J]. Journal of East China Normal University(Educational Sciences), 2024, 42(8): 114-126.
[10]	Yanqiang Cui, Xiong Li. The Rise of Emerging-model Research Universities and Strategies for Sustainable Development [J]. Journal of East China Normal University(Educational Sciences), 2024, 42(8): 23-39.
[11]	Jing Zhu, Xuefeng Jiang. The Roles and Functions of Scientists Engaging in Science Education [J]. Journal of East China Normal University(Educational Sciences), 2024, 42(8): 50-63.
[12]	Di Wu, Hejiang Wu. Potential Risks of the Application of General Large Model Education and Their Avoidance: From the Perspective of Technology Ethics [J]. Journal of East China Normal University(Educational Sciences), 2024, 42(8): 64-75.
[13]	Li Zhao, Yinsheng Liu. The Technological Turn in Educational Dialogue: Transmutation Paths, Application Dilemma and Paradigm Reconfiguration—Logical Reflection and Prospect on the Application of ChatGPT [J]. Journal of East China Normal University(Educational Sciences), 2024, 42(8): 76-84.
[14]	Shaoming Xiao. Reform of the Concept of “Labor Education” in the Development of “Integration of Education and Labor” [J]. Journal of East China Normal University(Educational Sciences), 2024, 42(8): 9-22.
[15]	Yong Zhao, Chun Lai, Ruojun Zhong. Directions of Education in the World [J]. Journal of East China Normal University(Educational Sciences), 2024, 42(7): 1-14.