中国移动与中央企业和行业各方共同发布通用大模型评估标准

来源: 时间:2024-11-16 09:16:09

10月12日,中国中央在2024年中国移动全球合作伙伴大会期间,移动业各用中国移动与中央企业和行业各方共同发布了《通用大模型评价标准》,企业为行业选择优质大模型提供了重要参考。和行中国移动总经理何彪、布通标准副总经理高同庆、模型电子标准研究所、评估中国电信、中国中央国家电网、移动业各用中国石油、企业中国物流、和行南方电网、布通标准阿里巴巴、模型科大讯飞、评估智谱等联合编制单位领导出席了发布仪式。中国中央

大模型评价是帮助人工智能赋能行业应用的重要组成部分。目前,许多企业已经启动了大模型建设,迫切需要建立一个支持一般的大模型和行业大模型评价体系。为充分发挥大模型评价领域的主导作用,中国移动联合电子标准研究所和16家重点中央企业共同开展了大模型评价体系建设。第一阶段将围绕一般领域和四个重点行业,从评价标准制定、评价基地建设、评价试点应用等方面开展工作。

目前,中国移动与中央企业和行业遵循“确保评价权威,加强行业协调,解决实际问题,保持开放态度”的原则,初步完成一般大型评价标准,得到行业领先的中央企业、行业领先公司、知名大学和科研机构,为后续试点评价奠定了坚实的基础。

基于“2-4-6”框架的一般大模型评价标准。“2”代表了两种评价视角,以重点行业的实际使用需求为导向,符合国家标准对模型能力的要求,将评价任务分为理解和生成两种视角。“4”代表四种评价要素,从整个生命周期中提取四种关键要素:评价工具、评价数据、评价方法和评价指标,以确保评价工作的可行性。“6”代表六个评价维度,综合考虑大模型应用的核心能力,设置六个维度:功能性、准确性、可靠性、安全性、交互性和应用性。本标准广泛吸收了产业、大学、研究和应用各方的意见,结合行业特色场景的需要,为一般大模型的综合评价提供了客观依据,为人工智能提供了数千个行业的保障。

未来,中国移动将与行业龙头企业、行业龙头企业、知名大学和科研机构合作,深入挖掘石油、电力、交通、物流等重点行业的应用需求,不断建设和完善通用和行业大模型评价体系,积极建设大模型评价基地,广泛收集中央企业和民营企业积极参与大模型评价,创造最佳实践,提高人工智能 行业新质量生产力,为国内大型模型的高质量发展做出贡献。