B体育官方智慧学习环境中学习画面的情感研究

　　人工智能、物联网、区块链等技术迅猛发展，将深刻改变人才需求和教育形态。习总强调，教育数字化是我国开辟教育发展新赛道和塑造教育发展新优势的重要突破口。智能学习环境能够感知学习情境、记录学习过程、推荐学习资源、提供问题解答等，并致力于促进教育数字化转型和提升学生核心素养。

　　曲阜师范大学徐振国副教授的著作《智慧学习环境中学习画面的情感研究》（中国社会科学出版社），以学习画面隐含的情感属性为切入点，关注智慧学习环境中的“情感缺失”问题，为智慧学习环境情感层面自适应交互的实现提供了新的思路与方法，能够促进学习者轻松、投入和有效地学习，充分发挥信息技术在教育数字化转型中的支撑与引领作用，推进人工智能与教育教学的深度融合，并促使教育教学走向智能化、协同化、高效化，具有重要的学术价值和现实意义。

　　“21世纪技能”是智慧时代对“数字土著”提出的新能力要求，而构建培养“21世纪技能”需要标准和评价系统、课程和教学系统、个人专业发展以及学习环境等支持。伴随计算机和网络成长起来的“数字土著”对学习环境的理解和诉求与“数字移民”截然不同，他们渴望学习资源的个性推送、学习社群的协作会话、学习工具的移动互联以及人机情感的深层交互。显然，“数字土著”与“数字移民”在学习风格、思维方式、能力倾向、社会责任等诸多方面存在差异，既有学习环境已不能满足“数字土著”的需求，而物联网、云计算、区块链、人工智能等新一代信息技术的发展与完善，为新学习环境的产生创造了可能，作为数字学习环境高端形态的智慧学习环境便应运而生。教育部印发的《教育信息化2.0行动计划》指出应大力推进智能教育，开展以学习者为中心的智能化教学支持环境建设，推动人工智能在教学、管理等方面的全流程应用。

　　学习环境的变革常由技术革新率先引起，或者学习环境的变革最终还需要通过技术革新得以实现。智慧学习环境的关键技术特征主要体现在记录过程、情境感知、自适应交互等方面，强调通过动作捕捉、情感计算、眼动追踪等感知并记录学习者在知识获取等方面的情况，以便为学习者提供个性化的学习资源和工具，以促进智慧学习的发生。与普通数字学习环境相比，智慧学习环境注重培养学习者的创新能力、问题求解能力、决策力和批判性思维能力等高阶思维能力，而认知活动在培养学习者高阶思维能力的过程中起着至关重要的协调与控制作用。情感是由外界刺激引起的心理反应，能够影响和调节注意、知觉、表象、记忆、思维和语言等认知活动。关联主义学习理论提出者乔治·西蒙斯（George Siemens）曾指出情感是我们神经网络的“看门人”，在学习者的理解过程中，将认知与情感加以结合非常重要，思维和情感会相互影响。心理学研究表明，学习过程中的专注、高兴、满意等积极情感有助于激发学习动机、培养学习兴趣，促进认知活动；而厌倦、悲伤、焦虑等消极情感则会影响注意力、耐心度，阻碍认知活动。可见，智慧学习过程中学习者的情感状态对学习效果具有重要影响。另外，智慧学习环境打破了传统的教学模式，强调以学习者为中心，以MOOC、微课、移动课件和电子教材等为学习资源的泛在学习、云学习和无缝学习。学习者多借助平板电脑、智能手机、电子书包等智能学习终端进行自主学习或协作学习，师生在时空上多处于准分离状态。在传统教学中，师生面对面直观地交流，教师满意的表情、称赞的话语、鼓励的手势可给学习者传递积极的情感，以影响学习者的学习兴趣和态度。智慧学习环境中师生由于时空上的准分离，将难以感受对方的情感和状态，普遍存在“情感缺失”的问题。知识的传递与情感的交流是相得益彰的，如果智慧学习环境无法将两者有机结合，就难以促进智慧学习的有效进行。

　　然而，现有的智慧学习环境研究重“知”轻“情”，注重对学习者认知层面的适应性和个性化，即根据学习者的认知能力和知识状态提供合适的学习资源、学习路径和问题解答等；而较少考虑学习者的兴趣、情感、动机等非智力因素在智慧学习过程中的作用，忽视智慧学习环境情感层面自适应交互的理论研究和实践探索，以致智慧学习环境缺乏情感层面的适应性和个性化，学习者在智慧学习过程中缺少情感支持。智慧学习环境要为学习者提供比数字化更加智慧化的学习服务，学习环境与学习者间的和谐情感交互必不可少。因此，智慧学习环境情感层面自适应交互的研究与实现成为急需解决的现实问题。

　　智慧学习环境中学习者主要通过智能学习终端观看学习内容的信息呈现画面即学习画面进行学习，学习画面是学习者学习的主要环境，并且是学习者与学习内容间信息交互的主通道。美国学者丹尼尔·希尔曼等曾指出学习画面是学习者与学习内容间交互的纽带，并提出远程教育中的第四种交互类型，即学习者与学习画面间的交互。学习画面的色彩搭配、配图质量、文本样式、排版布局、背景纹理等对学习者智慧学习过程中的情感、兴趣、动机、效果都有不可忽视的影响。研究表明，色彩、图形、结构等具有表象特征的符号信息与文本符号信息相比，刺激信息传递时间较短，能够快速引起第一性情感反应。美国学者罗克莎娜·莫雷诺等也曾指出多媒体学习画面的视觉设计具有认知和情感两个重要功能，认知功能主要体现在多媒体学习画面的视觉设计可以为学习者的认知过程提供支持，情感功能则体现在多媒体学习画面的视觉设计可以影响学习者的学习态度和学习动机。学习画面以视觉上的赏心悦目给学习者以美的享受，当学习者长时间面对“冷漠”的学习画面而感受不到情感交互时，就会引起反感，从而严重影响其深层次学习的发生及高层次技能的培养。因此，学习画面的情感是智慧学习环境情感特征的重要表现，智慧学习环境除为学习者提供个性化的学习资源、学习路径和问题解答外，其呈现的学习画面还应与学习者的情感状态、视觉情感偏好相适应，并能对学习者的学习情感起调节和激发作用。

　　学习者情感的准确识别是构建智慧学习环境和谐情感交互的基础，更是判断学习者学习状态的重要手段，对促进学习者的智慧学习具有重要意义。学习者情感识别作为情感计算的重要内容，研究者主要围绕生理信号、心理测量和外显行为对其开展研究。美国学者艾伯特·梅拉比安指出，感情表达＝7%的言辞＋38%的声音＋55%的面部表情。心理学家保罗·埃克曼等的研究表明，从面部表情到单一具体情感状态映射的准确率为88%。可见，学习者的情感表达方式中，面部表情起到非常关键的作用。面部表情是指通过眼部肌肉、颜面肌肉和嘴部肌肉的变化来表现各种情感状态。徐晓青等学者指出，教育领域基于面部表情的学习情感识别方法要比其他情感识别方法，可用性更高。在实际应用中，通过智能学习终端自带摄像头采集学习者的面部表情，进而判断学习者的情感状态，要比其他方法更加自然可行。

　　学习画面图像多属于计算机生成或合成图像，传统图像情感识别方法的步骤为：首先提取图像的色彩及其分布、纹理及线条、形状及其空间布局等低层视觉特征，然后使用训练样本集训练图像情感分类器，最后利用训练好的分类器识别图像的情感和强度。常用的分类器有支持向量机、线性分类器和反向传播神经网络等。由于人对图像的情感感知来自多方面的因素，一些是隐含的，难以表达和提取，因此传统图像情感识别方法的效率和准确率较低。基于面部表情的传统学习者情感识别算法主要包括图像预处理、人脸检测、特征提取、特征选择、分类器构建等过程，面部表情的视觉特征需要显式的表达和提取，并依赖经验或运气对其进行挑选。这无疑增加了识别难度，并且可能会丢失原图像的关键特征信息。随着技术的快速发展，深度学习（Deep Learning，DL）成为人工智能领域的重要机器学习算法。需要特别指出，教育领域和计算机领域均有深度学习的概念，虽文字表述相同，但含义却具有本质区别。教育领域深度学习既指对知识的深层次理解，也指主动的、批判性的学习方式，以提高学习者的学习能力、实践能力和创新能力为宗旨。计算机领域深度学习是机器学习中一种基于对数据进行表征学习（Representation Learning，RL）的方法，是人工智能领域新兴的多层神经网络学习算法。若无特别说明，本书中深度学习均指计算机领域含义。深度学习将图像特征提取与神经网络的模糊分类相结合，省略前期复杂的图像预处理和特征提取过程，使之不再依赖人工精心设计的显式特征提取方法，在提高效率和准确率的同时，也提高了识别算法的鲁棒性。深度学习已在自动驾驶、计算机视觉、医学图像分析、自然语言处理等领域得到广泛应用，但在教育领域却鲜有提及。

　　1.随着大数据、物联网、人工智能等新兴技术的出现和快速发展，教育信息化从1.0时代迈入2.0时代，智慧学习支持环境建设成为教育信息化发展的新趋势。传统课堂教学中教师可通过观察学习者以判断其情感状态，但当学习者借助平板电脑、智能手机、电子书包等智能学习终端进行自主学习或协作学习时，教师则较难掌握学习者的情感状态。智慧学习环境要为学习者提供比数字化更加智慧化的学习服务，学习环境与学习者间的和谐情感交互必不可少。但目前的智慧学习环境研究侧重认知层面的自适应交互，忽视情感层面自适应交互的理论研究和实践探索。

　　2.学习画面的色彩搭配、排版布局、背景纹理等能够影响学习画面的情感，进而影响学习者的情感状态和认知活动，学习画面的情感应能根据学习者的学习情感和视觉情感偏好以及学习画面的情感和视觉特征进行自适应调整，以实现智慧学习环境情感层面的自适应交互。对学习画面情感和学习者情感进行实时并且准确的识别是实现智慧学习环境和谐情感交互的前提和基础，但目前缺乏学习画面情感及其识别、学习画面情感对学习者情感影响、学习画面情感自适应调整对学习者情感影响的相关研究。

　　3.既有图像情感识别和学习者情感识别研究多采用传统机器学习方法，存在准确率低、算法复杂、鲁棒性差等问题，而且人工选择的特征不能很好地表达图像的全部信息。此外，学习画面情感识别和基于面部表情的学习者情感识别离不开学习画面图像数据库和学习者表情图像数据库的支撑。学习画面图像数据库目前并未见有文献提及，而现有面部表情图像数据库样本数量普遍较少，并且多为外国人脸表情。由于外国人的人脸及表情特征与中国人的人脸及表情特征具有显著差异，因此训练结果较难应用于中国，而且样本数量普遍较少，也难以满足深度学习和实际应用的需求。

　　物联网、云计算、区块链、人工智能等技术迅猛发展，将深刻改变人才需求和教育形态，并为教育信息化2.0行动提供强有力的技术支撑。在此背景下，智慧学习环境的出现与发展成为必然的趋势。作为数字学习环境高端形态的智慧学习环境，除为学习者提供个性化的学习内容和学习路径外，还应为学习者提供符合其情感状态和视觉情感偏好的学习画面。本书着眼于智慧学习环境和谐情感交互理论研究和实践探索的缺失，建设了学习画面图像数据库和学习者表情图像数据库，采用深度学习领域的代表算法卷积神经网络实现学习画面情感和学习者情感的有效识别，并探索了学习画面情感对学习者情感的影响。基于上述研究，本书最后探讨了学习画面情感自适应调整对学习者情感的影响，借此实现智慧学习环境情感层面的自适应交互，以便促进学习者轻松、投入和有效地学习，充分发挥信息技术在教育信息化2.0行动中的积极作用，推进人工智能等新兴技术与教育教学的深度融合。

　　现有智慧学习环境研究多关注根据学习者的认知水平来提供适应性的学习内容，而较少考虑学习者情感的适应性。仅有的少数研究也只是关注学习者的学习情感，并未对智慧学习环境中学习画面的情感进行研究。本书在既有研究的基础上，分析了智慧学习环境中学习画面的类型与特点，阐释了学习画面的视觉情感和学习者的学习情感，并实现在学习者学习过程中对学习画面情感和学习者情感的实时识别，然后探讨了智慧学习环境中学习画面情感对学习者情感的影响以及学习画面情感自适应调整对学习者情感的影响。

　　理论意义主要有以下三点：第一，本书对智慧学习环境以及智慧学习环境中学习画面情感、学习者情感的研究，实现了其他学科经典理论与教育学研究的结合，可以丰富和完善智慧学习环境、学习画面的理论体。