多模态学生学习分析融合学习平台日志、文本对话、视线、表情、姿态、语音和生理信号，刻画学生的认知投入、行为参与、情绪状态与自我调节过程。目前，这一领域已逐步发展为能够在学习过程中持续感知学生状态、识别潜在问题并及时提供支持的智能化分析体系。

多模态学生学习分析与干预

ChatGPT求助过程多模态分析^[1]：由Chen团队提出。研究招募38名大学生完成论文写作与修改，随机分为ChatGPT组和人类专家组，融合操作轨迹、眼动和对话数据，并采用统计检验与过程挖掘分析求助路径。结果显示，ChatGPT组更常跳过反馈评价，求助过程呈非线性，提问也更偏操作性；人类专家组则更主动评估和加工反馈。研究表明，生成式人工智能干预不应只给答案，还应加入“解释困难—评价建议—自主修订”的元认知脚手架，以减少认知卸载和过度依赖。

CDS-Engagement^[2]：由Li团队提出。研究以61名三年级医学生为对象，同步采集眼动、头部姿态和面部动作单元，并从复杂动态系统（CDS）视角构建行为指标网络。结果表明，多项单独指标均可预测认知投入，但网络密度的解释力高于任一单变量；低投入学生的指标联系较弱且稳定，高投入学生则形成更紧密的交互模式。该方法提示，系统可依据多信号关系持续恶化的动态模式决定是否介入，而非因一次走神或表情变化立即提醒。

K-12多模态学习分析仪表盘^[3]：由Possaghi团队提出。系统将腕带采集的皮电等生理信号与摄像头识别的情绪数据实时汇总，展示学生和小组的压力、投入与情绪，并以绿、橙、红信号提示教师关注优先级。研究在两个K-12课堂、44名学生中开展验证。教师可据此发现低投入学生、实施鼓励或任务指导，并观察干预后的投入变化。研究同时指出，实际部署需控制信息负荷，处理数据解释、学生隐私和教师额外工作量，并保留教师对干预方式和时机的最终决定权。

ClinicalSim-MmLA^[4]：由Popov团队提出。研究面向244名医学与社会工作专业学生的“告知坏消息”团队模拟，构建多模态自动反馈管线。系统从自然视频中完成说话人分离、语音转写与视线追踪，使用大语言模型开展语义分析，再融合行为、语言和语义特征预测交流表现。模型评估“互动舒适度”的准确率为81.82%，眼神接触是最重要的预测因素，并可自动定位具有教学价值的关键片段，用于回放、缺陷提示和针对性教师指导。

HiL-Embodied MMLA^[5]：由Fonteles团队提出。研究在四年级科学混合现实课堂中融合视频、音频、动作追踪和系统日志，构建“人在回路”的具身学习分析框架。学习科学专家先设计自我调节学习（SRL）与社会共享调节学习（SSRL）编码体系，深度学习模型提取各模态特征，大语言模型完成后期融合，并通过交互式时间轴供专家核验。系统在40分钟视频中识别470个行为片段，其中具身操作占66.4%、互动占15.5%，可进一步生成课堂摘要和个体/小组调节画像，为复盘、分组支持和个性化干预提供依据。

总体来看，多模态学习分析正从“识别状态”迈向“支持行动”，仪表盘、自动反馈和过程摘要已开始进入真实教学决策。但现有研究多为小样本和特定场景，干预效果的因果证据仍有限。未来需加强跨模态时间对齐、缺失数据处理和低侵入实时建模，通过随机对照与长期研究验证干预策略，并落实数据最小化、知情同意、公平性审计和教师主导机制。

参考文献：

1、Chen, Angxuan, Mengtong Xiang, Junyi Zhou, Jiyou Jia, Junjie Shang, Xinyu Li, Dragan Gašević, and Yizhou Fan. "Unpacking help-seeking process through multimodal learning analytics: A comparative study of ChatGPT vs Human expert." Computers & Education 226 (2025): 105198.

2、Li, Shan, Tingting Wang, Juan Zheng, and Susanne P. Lajoie. "A complex dynamical system approach to student engagement." Learning and Instruction 98 (2025): 102120.

3、Possaghi, Isabella, Boban Vesin, Feiran Zhang, Kshitij Sharma, Cecilie Knudsen, Håkon Bjørkum, et al. "Integrating multi-modal learning analytics dashboard in K-12 education: Insights for enhancing orchestration and teacher decision-making." Smart Learning Environments 12 (2025): 53.

4、Popov, Vitaliy, Steve Nguyen, and Xavier Ochoa. "Applying multimodal learning analytics to naturalistic recordings of clinical simulations: Towards an accurate and scalable pipeline for automated feedback generation." Learning and Instruction 102 (2026): 102267.

5、Fonteles, Joyce Horn, Clayton Cohn, Efrat Ayalon, Mengxi Zhou, Ashwin T. S., Eduardo Davalos, et al. "Analyzing embodied learning in classroom settings: A human-in-the-loop AI approach for multimodal learning analytics." Learning and Instruction 103 (2026): 102274.

2026年7月20日

上海师范大学分析测试与超算中心