随着大语言模型逐渐应用于智能辅导、自动评分、学习问答和教学支持等教育场景，模型输出的安全性、教学适切性与可信判断成为影响其实际应用的重要因素。与通用场景相比，教育大模型不仅需要生成准确内容，还需要遵循教学目标、保护学生数据并避免误导性反馈。因此，相关研究开始从攻击风险、教学行为、学习者信任以及评测数据可靠性等方面，对教育大模型的可信度进行系统研究。

教育大模型可信度

Prompt Injection Attacks^[1]：由Cai团队提出。研究指出，教育大语言模型广泛用于自动评分、智能辅导和教学问答，但学生输入中的恶意指令可能覆盖原有任务约束，进而影响评分、反馈和教学指导。研究提出面向教育场景的结构化提示注入攻击框架，将教育提示拆分为功能片段，构造与角色一致的攻击向量，并结合评分标准和教育任务语境生成具有隐蔽性的注入内容。

在ASAP、SciEntsBank、EduBench和MMLU-Edu四个教育基准上的实验中，攻击成功率分别达到0.82、0.79、0.76和0.73，相较竞争基线平均提高0.19—0.33，且能够造成明显的评分膨胀。研究表明，教育提示存在通用安全评测难以覆盖的结构性攻击面，需要针对教育任务建立安全测试与验证机制。

SHAPE^[2]：由Zhao团队提出。研究发现，教育大模型除了面临一般的安全问题，还存在“教学越狱”现象，即学生通过诱导性提示要求模型直接给出答案，使模型偏离循序引导和知识建构的教学行为。研究提出SHAPE基准，构建包含9,087组学生问题—回答样本的数据集，从安全性、帮助性和教学性三个维度评估教育LLM在对抗性提示下的辅导行为。同时，方法利用知识掌握图识别问题涉及的先备概念和学生掌握缺口，并通过显式门控机制决定模型应提供指导还是直接解决问题。在多种大语言模型上的实验表明，该方法能够提高模型在两类教学越狱场景下的安全性，同时保持接近最高水平的帮助性。

Shaping Credibility Judgments^[3]：由Islam团队提出。研究关注的不是模型本身的准确率，而是学生在使用生成式AI时如何形成对AI输出的可信判断。研究将学生与GenAI（如能力相对较弱的大模型Weaker LLMs）之间的交互视为一种交互记忆伙伴关系，在一门本科STEM课程中设置“先反思后咨询AI”“使用AI后必须验证”和“自由使用AI”三种使用方式，共42名学生参与多次学习活动。结果显示，不同的交互流程会影响学生对AI输出的可信度判断；在控制基线可信度后，中期和课程结束时不同实验条件之间均出现显著差异，其中“先反思后咨询AI”条件下学生对AI输出的依赖程度最低。

该研究表明，在教育场景中设置先思考、再验证和责任提示等机制，有助于调整学习者对生成式AI的可信判断，降低对AI输出的盲目依赖。

Modernizing Ground Truth^[4]：由Thomas团队提出。研究指出，生成式AI在教育中的有效应用受到训练和评测数据质量的制约，而传统依赖评分者一致性判断“基准真相”的方式，在高推断性教育任务、标签分布不均以及多模态数据等场景下可能产生误判。针对大语言模型作为标注者和评判者带来的自动化偏差与循环验证问题，研究提出四项改进方向：将评分者一致性作为发现分歧和完善构念的诊断信号；透明报告评分者专业背景、编码规则和协调过程；通过偏差审计和验证流程降低LLM标注风险；结合效度、有效性、不确定性标注和学习效果等证据验证数据质量。

该研究强调，教育AI的可信度不能仅依赖单一一致性指标，而应通过更加透明、可验证且与实际学习效果相联系的评测体系建立可靠的证据基础。

综合上述研究，教育大模型的可信度并非单一的模型准确率问题，而是涉及安全性、教学适切性、学习者可信判断以及评测证据可靠性的综合属性。在实际教育应用中，需要针对学生输入中的提示注入和教学越狱建立安全防护机制，通过知识掌握状态和教学规则约束模型输出；同时，应通过反思、验证等学习流程帮助学生形成合理的AI可信判断，并改进教育AI的数据标注与评测方法。未来，教育大模型可信度研究可能进一步向多维度可信评测、教育场景安全测试、模型输出可验证机制以及人机协作中的责任与信任控制方向发展。

参考文献：

    1、Cai Y. Prompt injection attacks on educational large language models for higher and vocational education. Scientific Reports, 2026, 16: 15594.

    2、Zhao S, Yu K, Yuan Y, He P, Wen H. SHAPE: Unifying Safety, Helpfulness and Pedagogy for Educational LLMs. In: Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics, 2026: 11537–11553.

    3、Islam M T, Akgun M, Billah S. Shaping Credibility Judgments in Human–GenAI Partnership via Weaker LLMs: A Transactive Memory Perspective on AI Literacy. In: Artificial Intelligence in Education: 27th International Conference, AIED 2026, 2026: 154–161.

    4、Thomas D R, Borchers C, Vanacore K P, Koedinger K R, Kizilcec R F. Modernizing Ground Truth: Four Shifts Toward Improving Reliability and Validity in AI in Education. In: Artificial Intelligence in Education: 27th International Conference, AIED 2026, 2026: 117–131.

2026年8月17日

上海师范大学分析测试与超算中心