当前位置：标准网 团体标准

T/SAIAS 0013.4-2023 教育通用人工智能大模型 第4部分：测评规范

T/SAIAS 0013.4-2023 教育通用人工智能大模型 第4部分：测评规范

T/SAIAS 0013.4-2023

团体标准推荐性
收藏 报错

标准T/SAIAS 0013.4-2023标准状态

  1. 发布于：
  2. 实施于：
  3. 废止

标准详情

内容简介

本文件规定了教育通用人工智能大模型的测评框架、测评指标、测评维度和测评方法
本文件适用于教育通用人工智能大模型的基础能力和教学功能的测评
本文件规定了一系列用于评估大模型全方面能力的测评指标、综合测试模型本身的自然语言处理能力、模型应用于各教育场景的能力、模型的价值观、安全性和数据合规性等各个方面。对以上每一个维度的测评、都相应需要一个高质量的动态更新的测评数据。1.教育通用人工智能大模型测评框架包括测评指标、测评维度、测评数据集、模型基础能力测评和安全风险测评五个部分。2.本文件定义了3个一级测评指标和12个二级测评指标，4个一级测评维度、19个二级测评维度和76个三级测评维度。每一个三级测评维度、需要用相应的测试数据集进行相应指标的测评。3.所有测评维度可以单独测试或者选择部分测试维度组成一个测试子集、或者选择全集进行组合测试。模型基础能力和安全风险测评维度可以参考已有的团体、行业、国家或国际标准。

起草单位

上海交通大学、华东师范大学、百度网讯科技有限公司、科大讯飞股份有限公司、华为技术有限公司、上海市人工智能行业协会、网易有道信息技术（北京）有限公司、新华三技术有限公司、阿里云计算有限公司、北京高思博乐教育科技股份有限公司、思必驰科技股份有限公司、清华大学、北京邮电大学、国家开放大学、华中师范大学、江苏师范大学、青岛伟东云教育集团有限公司、山东悦知教育科技有限公司、北京世纪好未来教育科技有限公司、第四范式（北京）技术有限公司、北京市第二十中学、江苏中教科信息技术有限公司、成都康赛信息技术有限公司

起草人

申丽萍、吴永和、王士进、张军城、李青、吴砥、卢海燕、钟俊浩、张军、竺林、黄瑾、应振宇、吕雪莹、杨坤、陈露、陈曦、赵佳宝、张博、刘清彪、贺媛婧、刘吉兵、岳鹏、郑曌、唐雪飞、缪庆亮、李春晖、何朝帆、兰焜耀

* 特别声明：资源收集自网络或用户上传，版权归原作者所有，如侵犯您的权益，请联系我们处理。

标准网本地下载
  • 标准质量：

    • 下载说明

  • ① 欢迎分享本站未收录或质量优于本站的标准，期待。
    ② 标准出现数据错误、过期或其它问题请点击下方「在线纠错」通知我们，感谢！
    ③ 本站资源均来源于互联网，仅供网友学习交流，若侵犯了您的权益，请联系我们予以删除。
  • 在线纠错
    • 标准过期 下载问题 模糊有误 其它问题

    「相关推荐」