网络出版日期: 2022-08-24
基金资助
2019年度国家社会科学基金重大项目“人工智能促进未来教育发展研究”(19ZDA364)
Research on Learning Affective Computing in Online Education: From the Perspective of Multi-source Data Fusion
Online published: 2022-08-24
学习情感是影响学习绩效、学习感知及高阶思维能力的重要因素。现有学习情感计算研究主要基于重量级生理反馈技术的小样本分析,缺少大规模在线开放课程环境下的实践研究。这一方面是由于在线课程环境下,学习情感计算的数据来源较为有限,多为单一的面部表情数据;另一方面,学习者在线学习场景下常处于监督不足的状态,学习者身体姿态的随意性较大,因此极有可能影响到面部特征的提取。然而,本研究认为在线学习者的姿态也具有情感特征,同样是情感信息的关键来源。因此,尝试将学习者的姿态数据融合到面部表情数据中,构建多源数据融合的深度学习情感计算模型,弥补学习者姿态变化带来的面部识别缺陷,同时进行多源情感数据的协同分析,实现数据的交叉印证和相互补偿。研究得出:通过训练构建的包含7878张在线学习者面部表情和姿态图像的数据集,利用卷积神经网络和决策融合的方法将学习者面部姿态数据融入表情数据中,学习情感识别准确率较单一的面部表情识别提高了3%,是在线学习情感计算的有效方法。本研究在理论上为多源数据融合在学习者情感计算的有效性提供模型基础,在实践上,为在线教育环境下的学习情感计算提供了有效的技术路径。
翟雪松 , 许家奇 , 王永固 . 在线教育中的学习情感计算研究——基于多源数据融合视角[J]. 华东师范大学学报(教育科学版), 2022 , 40(9) : 32 -44 . DOI: 10.16382/j.cnki.1000-5560.2022.09.004
Learning affection is an essential factor affecting learning performance, perception, and higher-order thinking ability. Existing research on learning affective computing is mainly based on a small sample analysis of heavyweight physiological feedback technology. There is a lack of learning affective computing research in online courses. In the online course environment, the data sources for learning affective computing are relatively limited, mainly based on a single facial expression data. On the other hand, learners are often under insufficient supervision in online learning scenarios. The body posture is more random, so it is very likely to affect the extraction of facial features. However, this study believes that the pose of online learners also has affective characteristics and is also a key source of affective information. Therefore, we try to fuse the learner’s posture data into the facial expression data, build a multi-source data fusion deep learning affective calculation model, and make up for the facial recognition defects caused by the learner’s posture change. Also, we perform collaborative analysis multi-source affective data to realize data cross verification and mutual compensation. The research concludes that it is an effective method for online learning affective calculation to build a dataset containing 7,878 facial expressions and posture images of online learners constructed through training, and use the convolutional neural networks and decision fusion methods to integrate learner posture data into facial expression data.The accuracy of affections recognition increases 3%, compared with a single facial expression recognition. In theory, this research provides a model basis for the effectiveness of multi-source data fusion in learners’ affective computing. In practice, it provides an effective technical path to learning affective computing in an online education environment.
1 | 蔡红红. (2021). 教师在线教学准备与学生学习效果的关系探究——学习者控制与学业情绪的中介作用. 华东师范大学学报(教育科学版), (07), 27- 37. |
2 | 曹晓明等. (2019). 人工智能视域下的学习参与度识别方法研究——基于一项多模态数据融合的深度学习实验分析. 远程教育杂志, (01), 32- 44. |
3 | 陈子健, 朱晓亮. (2019). 基于面部表情的学习者情绪自动识别研究——适切性、现状、现存问题和提升路径. 远程教育杂志, (04), 64- 72. |
4 | 程萌萌, 林茂松, 王中飞. (2013). 应用表情识别与视线跟踪的智能教学系统研究. 中国远程教育, (03), 59- 64. |
5 | 董妍, 俞国良. (2007). 青少年学业情绪问卷的编制及应用. 心理学报, (05), 852- 860. |
6 | 伏彩瑞等. (2017). “人工智能与未来教育”笔谈(下). 华东师范大学学报(教育科学版), (05), 13- 29. |
7 | 郭龙健, 申继亮, 姚海娟. (2012). 学习环境、成就目标定向对学业情绪和学业成就的影响: 基于物理学科的研究. 心理学探新, (02), 153- 159. |
8 | 黄昌勤等. (2021). 数据驱动的在线学习倦怠预警模型研究与实现. 电化教育研究, (02), 47- 54. |
9 | 何俊, 刘跃, 何忠文. (2018). 多模态情感识别研究进展. 计算机应用研究, (11), 3201- 3205. |
10 | 何俊等. (2020). 面向深度学习的多模态融合技术研究综述. 计算机工程, (05), 1- 11. |
11 | 韩颖等. (2019). 小学数学课堂学习中技术效应的实证研究——基于学业情绪中介的视角. 现代教育技术, (02), 101- 106. |
12 | 江波, 李万健, 李芷璇, 叶韵. (2018). 基于面部表情的学习困惑自动识别法. 开放教育研究, (04), 101- 108. |
13 | 教育部等. (2021). 关于推进教育新型基础设施建设构建高质量教育支撑体系的指导意见. 取自教育部网站(2021年7月8日): http://www.moe.gov.cn/srcsite/A16/s3342/202107/t20210720_545783.html. |
14 | 李青, 李莹莹. (2018). 大数据时代学习者隐私保护问题及策略. 中国远程教育, (01), 29- 36. |
15 | 李文昊, 祝智庭. (2020). 改善情感体验: 缓解大规模疫情时期在线学习情绪问题的良方. 中国电化教育, (05), 22- 26+79. |
16 | 梁韵基. (2016). 多源健康数据的语义分析方法研究. 西安: 西北工业大学博士论文. |
17 | 刘智等. (2019). 物理学习空间中学习者情绪感知研究综述. 远程教育杂志, (02), 33- 44. |
18 | 刘智等. (2018). SPOC论坛互动中学习者情绪特征及其与学习效果的关系研究. 中国电化教育, (04), 102- 110. |
19 | 罗森林, 潘丽敏. (2003). 情感计算理论与技术. 系统工程与电子技术, (07), 905- 909. |
20 | 孟雄, 郭鹏飞, 黎知秋. (2015). 基于情绪识别的远程教学自适应调节策略研究. 中国远程教育, (11), 18- 24+79. |
21 | 牟智佳, 符雅茹. (2021). 多模态学习分析研究综述. 现代教育技术, (06), 23- 31. |
22 | 权学良等. (2021). 基于生理信号的情感计算研究综述. 自动化学报(8): 1769?1784. |
23 | 尚俊杰, 王钰茹, 何奕霖. (2020). 探索学习的奥秘: 我国近五年学习科学实证研究. 华东师范大学学报(教育科学版), (09), 162- 178. |
24 | 唐汉卫, 张姜坤. (2020). 大数据教育应用的限度. 华东师范大学学报(教育科学版), (10), 60- 68. |
25 | 谭金波, 王广新. (2017). 学习情绪与查询任务类型的交互作用对网络信息搜索体验的影响. 中国远程教育, (09), 19- 25+79. |
26 | 武法提, 黄石华. (2020). 基于多源数据融合的共享教育数据模型研究. 电化教育研究, (05), 59- 65+103. |
27 | 伍红林. (2019). 技术时代的教育学发展——兼议人工智能背景下教育学的两种可能. 华东师范大学学报(教育科学版), (05), 26- 37. |
28 | 王丽英, 何云帆, 田俊华. (2020). 在线学习行为多模态数据融合模型构建及实证. 中国远程教育, (06), 22- 30+51+76. |
29 | 吴永和等. (2021). 多模态学习融合分析(MLFA)研究: 学理阐述、模型样态与应用路径. 远程教育杂志, (03), 32- 41. |
30 | 吴永和, 李若晨, 王浩楠. (2017). 学习分析研究的现状与未来发展——2017年学习分析与知识国际会议评析. 开放教育研究, (05), 42- 56. |
31 | 王云等. (2020). 在线讨论中动态学习情绪和认知行为序列的关系研究. 电化教育研究, (06), 60- 67. |
32 | 王永固等. (2021). 基于深度学习的孤独症儿童学习情绪智能感知. 现代教育技术, (07), 105- 111. |
33 | 徐振国等. (2019). 基于深度学习的学习者情感识别与应用. 电化教育研究, (02), 87- 94. |
34 | 薛耀锋等. (2018). 面向在线学习的多模态情感计算研究. 中国电化教育, (02), 46- 50+83. |
35 | 叶俊民, 周进, 李超. (2020). 情感计算教育应用的多维透视. 开放教育研究, (06), 77- 88. |
36 | 殷明等. (2016). 微表情的特征、识别、训练和影响因素. 心理科学进展, 24 (11), 1723- 1736. |
37 | 余胜泉, 王慧敏. (2020). 如何在疫情等极端环境下更好地组织在线学习. 中国电化教育, (05), 6- 14+33. |
38 | 喻一梵, 乔晓艳. (2017). 基于深度学习算法的正负性情绪识别研究. 测试技术学报, (05), 398- 403. |
39 | 翟雪松等. (2020). 轻量级生理反馈技术的教育应用及测量——基于2015—2020年的文献综述. 开放教育研究, (06), 37- 46. |
40 | 张琪, 武法提, 许文静. (2020). 多模态数据支持的学习投入评测: 现状、启示与研究趋向. 远程教育杂志, (01), 76- 86. |
41 | 赵宏, 张馨邈. (2019). 远程学习者在线学习情绪状态及特征差异. 现代远程教育研究, (02), 85- 94. |
42 | 赵瑜. (2019). 人工智能时代新闻伦理研究重点及其趋向. 浙江大学学报(人文社会科学版), (02), 100- 114. |
43 | 郑旭东, 高守林, 任友群. (2016). 计算机化自适应测验及应用于规模化考试的主要问题分析. 开放教育研究, (04), 40- 49. |
44 | 钟薇等. (2018). 学习分析技术发展趋向——多模态数据环境下的研究与探索. 中国远程教育, (11), 41- 49+79?80. |
45 | 钟志贤, 邱娟. (2009). 论远程学习者的情绪管理. 远程教育杂志, (05), 58- 63. |
46 | 周进, 叶俊民, 李超. (2021). 多模态学习情感计算: 动因、框架与建议. 电化教育研究, (07), 26- 32+46. |
47 | Artino, A. R., & Jones, K. D. (2012). Exploring the complex relations between achievement emotions and self-regulated learning behaviors in online learning. The Internet and Higher Education, 15 (3), 170- 175. |
48 | Bahreini, K., Nadolski, R., & Westera, W. (2016). Data fusion for real-time multimodal emotion recognition through webcams and microphones in e-learning. International Journal of Human–Computer Interaction, 32 (5), 415- 430. |
49 | Bandara, D., Song, S., Hirshfield, L., & Velipasalar, S. (2016). A more complete picture of emotion using electrocardiogram and electrodermal activity to complement cognitive data. International Conference on Augmented Cognition, 287- 298. |
50 | Clare, L., & Jones, R. S. (2008). Errorless learning in the rehabilitation of memory impairment: a critical review. Neuropsychology review, 18 (1), 1- 23. |
51 | D’Mello, S. (2013). A selective meta-analysis on the relative incidence of discrete affective states during learning with technology. Journal of Educational Psychology, 105 (4), 1082- 1099. |
52 | Dragon, T., Arroyo, I., Woolf, B. P., Burleson, W., El Kaliouby, R., & Eydgahi, H. (2008). Viewing student affect and learning through classroom observation and physical sensors. International Conference on Intelligent Tutoring Systems, 29- 39. |
53 | Cohn, J. F., Ambadar, Z., & Ekman, P. (2007). Observer-based measurement of facial expression with the Facial Action Coding System. The handbook of emotion elicitation and assessment, 1 (3), 203- 221. |
54 | Huang, Y., Yang, J., Liao, P., & Pan, J. (2017). Fusion of facial expressions and EEG for multimodal emotion recognition. Computational intelligence and neuroscience, (2),1-8. |
55 | Ilyas, C. M. A., Nunes, R., Nasrollahi, K., Rehm, M., & Moeslund, T. B. (2021). Deep Emotion Recognition through Upper Body Movements and Facial Expression. VISIGRAPP (5), 669- 679. |
56 | Lee, J., Kim, S., Kim, S., Park, J., & Sohn, K. (2019). Context-aware emotion recognition networks. Proceedings of the IEEE/CVF International Conference on Computer Vision, 10143- 10152. |
57 | Picard, R. W. (2003). Affective computing: challenges. International Journal of Human-Computer Studies, 59 (1-2), 55- 64. |
58 | Robinson, Kathy (2013). The interrelationship of emotion and cognition when students undertake collaborative group work online: an interdisciplinary approach. Computers and Education, 62 , 298?307. |
59 | Um, E., Plass, J. L., Hayward, E. O., & Homer, B. D. (2012). Emotional design in multimedia learning. Journal of Educational Psychology, 104 (2), 485- 498. |
60 | Zheng, W. L., & Lu, B. L. (2015). Investigating critical frequency bands and channels for EEG-based emotion recognition with deep neural networks. IEEE Transactions on Autonomous Mental Development, 7 (3), 162- 175. |
/
〈 |
|
〉 |