智慧教育视野下基于Rasch模型的知识掌握与认知能力分析研究

doi:10.16382/j.cnki.1000-5560.2021.08.005

摘要/Abstract

摘要：

如何对学习者进行精准化、个性化的诊断和评价是智慧教育时代的重要议题。目前学习诊断的主流方式依然是通过考试成绩对学生知识掌握程度进行评价，容易忽略对学生认知能力的评价，不符合智慧教育既重视知识传授也重视能力培育的价值取向。本研究基于Rasch模型，以政治学科为例，组建月考试卷，并编制双向细目表为试题标记知识点属性和认知能力属性，进而探索一种基于考试成绩挖掘学生认知能力的方法。本研究收集了195名学生的作答数据，使用Rasch模型，分析成绩背后每位学生的知识掌握情况，并判断学生对各认知能力层次的达成情况，同时根据分析结果生成雷达图进行可视化输出，实现学生认知分析在混合式课堂中的常态化使用。本研究试图为智慧教育时代学习的精准诊断提供一种新思路。

关键词: 智慧教育, Rasch模型, 知识掌握分析, 认知能力分析, 精准诊断

Abstract:

How to accurately and personally diagnose and evaluate learners is an important issue in the era of smart education. At present, the main method of learning diagnosis is still to evaluate the students’ knowledge acquisition through exam scores, ignoring the evaluation of students’ cognitive ability. So, it is not in line with the value of smart education, which emphasizes both knowledge transfer and ability cultivation. Based on the Rasch model, this study explored a method for mining students’ cognitive ability via exam scores. Took the political course as an example, set up a monthly exam paper, and compiled a two-way specification table to mark the knowledge point attribute and cognitive ability attribute. The data of 195 students were collected and the Rasch model was used to analyze the knowledge of each student behind the scores and to determine the students’ achievement of each level of cognitive ability. At the same time, according to the analysis results, radar images were generated for visual output, and the normalization of student cognitive analysis in the blended classroom was realized. This study provided a new way of the accurate diagnosis in smart education.

Key words: smart education, Rasch model, knowledge acquisition analysis, cognitive ability analysis, accurate diagnosis

武法提, 田浩, 王瑜, 樊敏生. 智慧教育视野下基于Rasch模型的知识掌握与认知能力分析研究[J]. 华东师范大学学报(教育科学版), 2021, 39(8): 57-69.

Fati Wu, Hao Tian, Yu Wang, Minsheng Fan. Research on Analysis of Knowledge Acquisition and Cognitive Ability Based on Rasch Model in Smart Education[J]. Journal of East China Normal University(Educational Sciences), 2021, 39(8): 57-69.

图/表 9

图 1

表 1

表 2

图 2

图 3

图 4

图 5

表 3

图 6

参考文献 0

	黄莺, 彭丽辉, 杨心德知识分类在教学设计中的作用——论对布卢姆教育目标分类学的修订教育评论 2008 05 165 168 黄莺, 彭丽辉, 杨心德. (2008). 知识分类在教学设计中的作用—论对布卢姆教育目标分类学的修订. 教育评论,(05),165—168.
	李玉斌, 武书宁, 姚巧红网络学习评价研究的现状与分析现代远距离教育 2013 05 34 39 李玉斌, 武书宁, 姚巧红. (2013). 网络学习评价研究的现状与分析. 现代远距离教育,(05),34—39. doi: 10.3969/j.issn.1001-8700.2013.05.006
	马世晔, 章建石基于考试结果挖掘的教育评价: 理论与实践心理学探新 2012 32 05 461 465 马世晔, 章建石. (2012). 基于考试结果挖掘的教育评价: 理论与实践. 心理学探新,32(05),461—465. doi: 10.3969/j.issn.1003-5184.2012.05.012
	牟智佳电子书包中基于教育大数据的个性化学习评价模型与系统设计远程教育杂志 2014 32 05 90 96 牟智佳. (2014). 电子书包中基于教育大数据的个性化学习评价模型与系统设计. 远程教育杂志,32(05),90—96. doi: 10.3969/j.issn.1672-0008.2014.05.011
	彭红超, 祝智庭以测辅学: 智慧教育境域中精准教学的核心机制电化教育研究 2017 38 03 94 103 彭红超, 祝智庭. (2017). 以测辅学: 智慧教育境域中精准教学的核心机制. 电化教育研究,38(03),94—103.
	苏芃, 李曼丽基于OBE理念, 构建通识教育课程教学与评估体系——以清华大学为例高等工程教育研究 2018 02 129 135 苏芃, 李曼丽. (2018). 基于OBE理念, 构建通识教育课程教学与评估体系—以清华大学为例. 高等工程教育研究,(02),129—135.
	王小明布卢姆认知目标分类学(修订版)对课程目标制定的启示全球教育展望 2011 40 04 20 24 王小明. (2011). 布卢姆认知目标分类学(修订版)对课程目标制定的启示. 全球教育展望,40(04),20—24.
	王映学也谈“高分低能”: 认知领域学习分类的视野课程·教材·教法 2016 36 10 46 51 王映学. (2016). 也谈“高分低能”: 认知领域学习分类的视野. 课程·教材·教法,36(10),46—51.
	王志军, 陈丽远程学习中的概念交互与学习评价中国远程教育 2017 12 12 20+79 王志军, 陈丽. (2017). 远程学习中的概念交互与学习评价. 中国远程教育,(12),12—20+79.
	魏玉平, 潘虹辉双向细目表在学业测评中的应用研究当代教育论坛 2016 04 71 76 魏玉平, 潘虹辉. (2016). 双向细目表在学业测评中的应用研究. 当代教育论坛,(04),71—76. doi: 10.3969/j.issn.1671-8305.2016.04.010
	晏子心理科学领域内的客观测量——Rasch模型之特点及发展趋势心理科学进展 2010 18 08 1298 1305 晏子. (2010). 心理科学领域内的客观测量—Rasch模型之特点及发展趋势. 心理科学进展,18(08),1298—1305.
	周群, 雷新勇从单纯考试向全面评价发展——考试机构应对新课程改革的必然选择上海教育科研 2008 01 29 32 周群, 雷新勇. (2008). 从单纯考试向全面评价发展—考试机构应对新课程改革的必然选择. 上海教育科研,(01),29—32. doi: 10.3969/j.issn.1007-2020.2008.01.009
	Bowles, R. P., & Ram, N Using Rasch measurement to investigate volleyball skills and inform coaching Journal of Applied Measurement 2006 7 1 39 54 Bowles, R. P., & Ram, N. (2006). Using Rasch measurement to investigate volleyball skills and inform coaching. Journal of Applied Measurement, 7(1), 39—54.
	Dunham, B., Yapa, G., & Yu, E Calibrating the difficulty of an assessment tool: the blooming of a statistics examination Journal of statistics education 2015 23 3 1 33 Dunham, B., Yapa, G., & Yu, E. (2015). Calibrating the difficulty of an assessment tool: the blooming of a statistics examination. Journal of statistics education, 23(3), 1—33.
	Kumpas-Lenk, K., Eisenschmidt, E., & Veispak, A Does the design of learning outcomes matter from students’ perspective? Studies in Educational Evaluation 2018 59 179 186 Kumpas-Lenk, K., Eisenschmidt, E., & Veispak, A. (2018). Does the design of learning outcomes matter from students’ perspective?. Studies in Educational Evaluation, 59, 179—186. doi: 10.1016/j.stueduc.2018.07.008
	Osman, S. A., Naam, S. I., Jaafar, O., Badaruzzaman, W. H. W., & Rahmat, R. A. A. O Application of Rasch model in measuring students’ performance in Civil Engineering Design II Course Procedia-Social and Behavioral Sciences 2012 56 59 66 Osman, S. A., Naam, S. I., Jaafar, O., Badaruzzaman, W. H. W., & Rahmat, R. A. A. O. (2012). Application of Rasch model in measuring students’ performance in Civil Engineering Design II Course. Procedia-Social and Behavioral Sciences, 56, 59—66. doi: 10.1016/j.sbspro.2012.09.632
	Ramirez, T. V On pedagogy of personality assessment: Application of Bloom's taxonomy of educational objectives Journal of personality assessment 2017 99 2 146 152 Ramirez, T. V. (2017). On pedagogy of personality assessment: Application of Bloom's taxonomy of educational objectives. Journal of personality assessment, 99(2), 146—152. doi: 10.1080/00223891.2016.1167059
	Sun, F. R., Hu, H. Z., Wan, R. G., Fu, X., & Wu, S. J A learning analytics approach to investigating pre-service teachers’ change of concept of engagement in the flipped classroom Interactive Learning Environments 2019 1 17 Sun, F. R., Hu, H. Z., Wan, R. G., Fu, X., & Wu, S. J. (2019). A learning analytics approach to investigating pre-service teachers’ change of concept of engagement in the flipped classroom. Interactive Learning Environments, 1—17.
	Talib, A. M., Alomary, F. O., & Alwadi, H. F Assessment of Student Performance for Course Examination Using Rasch Measurement Model: A Case Study of Information Technology Fundamentals Course Education Research International 2018 3 1 8 Talib, A. M., Alomary, F. O., & Alwadi, H. F. (2018). Assessment of Student Performance for Course Examination Using Rasch Measurement Model: A Case Study of Information Technology Fundamentals Course. Education Research International, (3), 1—8.
	Wright, B. D., & Stone, M. H. (1979). Best test design. Chicago: MESA Press.
	Vogel, S. P., & Engelhard Jr, G Using Rasch measurement theory to examine two instructional approaches for teaching and learning of French grammar The Journal of Educational Research 2011 104 4 267 282 Vogel, S. P., & Engelhard Jr, G. (2011). Using Rasch measurement theory to examine two instructional approaches for teaching and learning of French grammar. The Journal of Educational Research, 104(4), 267—282. doi: 10.1080/00220671003733815

试题编号	满分	知识点	认知能力要求	题型类别
12	4	消费	理解	单选题
13	4	价格与需求量的关系	分析	单选题
14	4	我国基本经济制度	理解	单选题
15	4	外汇、汇率	应用	单选题
16	4	公民权利与义务	理解	单选题
17	4	人民代表大会制度	理解	单选题
18	4	中国共产党	分析	单选题
19	4	传统文化	理解	单选题
20	4	群众观、矛盾的特点	分析	单选题
21	4	唯物辩证法、联系的特点	理解、应用	单选题
22	4	矛盾的特点	理解	单选题
23	4	人生价值的创造与实现	理解	单选题
38	26	经济生活、政治生活	评价、分析	材料分析题
39	26	真理、文化多样性、传统文化	分析、评价、记忆	材料分析题

作答人数	难度	加权拟合		未加权拟合		试题编号
作答人数	难度	均方误差	标准化均方误差	均方误差	标准化均方误差	试题编号
164	2.92	1.06	0.3	1.92	1.9	19
164	1.15	1.06	0.6	1.47	2.7	17
164	?2.68	1.04	0.3	1.22	0.9	15
164	?0.67	1.03	0.5	1.04	0.6	20
164	0.64	1.00	0.0	1.02	0.2	12
164	?1.73	1.00	0.1	0.94	?0.3	14
164	1.36	1.00	0.0	0.99	0.0	18
164	1.64	0.99	0.0	0.99	0.0	13
164	?0.84	0.99	?0.1	0.98	?0.2	21
164	?1.53	0.98	?0.2	0.97	?0.2	23
164	?0.52	0.91	?1.6	0.92	?1.2	16
164	0.25	0.91	?1.7	0.85	?1.8	22
164	0.36	0.96	?0.3	1.07	0.7	39
164	?0.36	0.83	?1.8	0.87	?1.3	38

客观题					主观题
认知层次	该学生	班级平均	t值	显著性	认知层次	该学生	班级平均	t值	显著性
理解	0.211	0.014	?4.290	0.000***	记忆	?0.263	?0.036	4.587	0.000***
应用	?0.138	?0.055	1.147	0.259	分析	0.001	?0.035	?0.594	0.556
分析	0.181	0.016	?4.398	0.000***	评价	0.080	?0.016	?2.949	0.005**

[1]	顾小清, 杜华, 彭红超, 祝智庭. 智慧教育的理论框架、实践路径、发展脉络及未来图景[J]. 华东师范大学学报(教育科学版), 2021, 39(8): 20-32.
[2]	郭绍青. “互联网+教育”对教育理论发展的诉求[J]. 华东师范大学学报(教育科学版), 2019, 37(4): 25-37.
[3]	肖士英. 走向智慧教育观的新境界：怀特海智慧教育观的审视与超越——怀特海智慧教育观诠解、批判与改进[J]. 华东师范大学学报(教育科学版), 2015, 33(4): 7-14.