首页 > 经济·科技

通用认知智能大模型有了能力评测体系 包含7大能力维度、481个细分任务类型

2023-06-12 07:51:59

来源:科技日报

  ◎本报记者 吴长锋

  通用认知智能大模型评测体系根据底层认知智能能力的智能涌现对通用认知智能大模型的能力进行分析,从而制定通用认知智能大模型的评测标准与评测方法,更科学地衡量通用认知智能大模型各个方面的能力和水平。

  王士进 认知智能全国重点实验室副主任

  6月3日,以“AI大模型时代的长三角数字化之路”为主题的长三角企业家联盟产业数字化峰会在安徽合肥举行。会上,认知智能全国重点实验室、中国科学院人工智能产学研创新联盟和长三角人工智能产业链联盟共同发布了通用认知智能大模型评测体系,旨在形成一套覆盖多任务的大模型能力客观评测体系,引导中国认知智能大模型技术和产业健康发展

  认知智能大模型或迎爆发式增长

  伴随着人工智能技术的进步,认知智能大模型或成为实现通用人工智能的“曙光”。

  未来几年,随着业界长期系统性推进人工智能的技术研发,认知智能大模型或将迎来爆发式增长,传统的内容生产及传播方式或被改写,人机协作将进一步改变人们的生产生活方式,甚至将改写现有的产业生态格局——一些传统产业将“被迫”进行转型升级,认知智能技术将创造出新的职业、岗位,为整个信息产业和数字经济带来新的发展契机。

  5月6日,科大讯飞股份有限公司(以下简称科大讯飞)正式发布讯飞星火认知大模型。仅一个月后,科大讯飞宣布,星火认知大模型“牵手”工业互联网平台,实现在“产、供、销、服、管”等各流程的知识学习与人工智能赋能,有效助力企业降本增效。

  从各大互联网企业发展路径可以看出,工业互联网建设和企业数字化转型等或是实现认知智能大模型规模化落地应用的重要切入口。

  然而,如何提前研判认知智能大模型给各行各业带来的颠覆性改变和创新发展机遇,使得企业能够及时且有针对性地作出相应的调整?这就需要一套科学、系统的客观评测体系,既可以综合判断现阶段的技术进展,还能够明确认知智能大模型多维度的发展路径。认知智能大模型领域“百花齐放”,效果度量和评价成为重点,覆盖多维度、多任务的客观评测成为验证认知智能大模型能力的重要手段。

  科学研判通用认知智能大模型

  针对现实需求,认知智能全国重点实验室牵头设计,与中国科学院人工智能产学研创新联盟、长三角人工智能产业链联盟一起,从产学研源头技术创新和产业链应用落地两方面出发,组织多轮评测标准研讨会议,邀请中国科学院科技战略咨询研究院、中科寒武纪科技股份有限公司、科大讯飞等产学研各界代表探讨交流,共同形成了通用认知智能大模型评测体系。

  “评测体系根据底层认知智能能力的智能涌现对通用认知智能大模型的能力进行分析,从而制定通用认知智能大模型的评测标准与评测方法,更科学地衡量通用认知智能大模型各个方面的能力和水平。”认知智能全国重点实验室副主任王士进介绍说。

  王士进表示,本次发布的评测体系覆盖内容生成、语言理解、知识问答、逻辑推理、数学能力、编程能力、多模态7大能力维度,共计481个细分任务类型,力求为大模型的研究、行业标准的制定提供参考和借鉴。

  他表示,未来评测体系将致力于让认知智能大模型技术真正解决社会刚需,助力长三角打造具有全球影响力的通用人工智能科技创新策源地和新兴产业聚集地。“围绕推动通用人工智能评测体系共建,下一步,认知智能全国重点实验室希望与长三角企业家联盟单位基于通用评测体系持续合作优化,共同推动行业评测方案落地,促进技术和产业健康发展。”王士进说。

【责任编辑:长风】
  • 相关阅读
  • 2023北京智源大会:人工智能顶级专家对话 发布系列大模型

      中新网北京6月10日电 (记者 孙自法)作为定位于“AI(人工智能)内行顶级盛会”的年度国际性人工智能高端专业交流活动,由北京智源人工智能研究院(智源研究院)主办的2023北京智源大会6月9日至10日在中关村举行,中外200余位人工智能顶级专家参会,共话通用人工智能发展机遇与挑战。同时,智源研究院“悟道”系列大模型也在大会上发...

    时间:06-10
  • 360视觉大模型重塑AIoT,智慧生活给周鸿祎“交卷”

      5月31日,360智慧生活视觉大模型及AI硬件新品发布会在京召开。发布会以“安全守护、智见未来”为主题,推出了360智脑·视觉大模型及多款AI硬件新品,并宣布360智慧生活正式进军SMB市场,实现了从家庭场景到企业商用的大步跨越。  不久前,360集团创始人周鸿祎曾在全员信中要求“全面拥抱人工智能”并给公司所有产品经理和工程师...

    时间:06-01
  • 中国信通院:编制纸鸢开放人工智能模型许可证 促大模型落地

      中新网5月30日电 题:中国信通院:编制纸鸢开放人工智能模型许可证 促大模型落地  中新财经记者刘育英  记者从29日由中国信息通信研究院、中国通信标准化协会主办的OSCAR开源合规沙龙上获悉,中国信息通信研究院联合产业各方共同编制“纸鸢”开放人工智能模型许可证,旨在为共同打造具有变革意义的大模型开源项目奠定坚实基...

    时间:05-30
  • 人工智能大模型应如何发展、治理?科技部副部长提出四点倡议

      中新网北京5月30日电 (记者 宋宇晟)中关村论坛平行论坛“人工智能大模型发展论坛”28日在北京举行。科技部副部长吴朝晖在致辞中对人工智能的发展与治理提出四点倡议。中关村论坛平行论坛“人工智能大模型发展论坛”现场。论坛供图  吴朝晖指出,当前,世界人工智能领域科技创新异常活跃,一批里程碑意义的前沿成果陆续突破,...

    时间:05-30
  • 报告:中国10亿级参数规模以上大模型已发布79个

      中新网北京5月29日电(记者 宋宇晟)28日,在北京举行的中关村论坛平行论坛“人工智能大模型发展论坛”上,中国科学技术信息研究所所长赵志耘发布了《中国人工智能大模型地图研究报告》。  报告显示,中国大模型呈现蓬勃发展态势。近年来,中国大模型技术沿各技术路线迅速发展,在自然语言处理、机器视觉和多模态等领域涌现出多个...

    时间:05-29
  • 大咖连线|专访李开复:大模型,谁能笑到最后?

      中新经纬5月29日电 (马静)“在AI 2.0时代,大模型的价值绝对不只是‘无所不知’的AI引擎,而是能带来应用的颠覆和爆发,会让我们今天用的每一个生态、应用统统重写一遍。”28日,在2023中关村论坛“人工智能大模型”分论坛上,创新工场董事长、首席执行官李开复称,投身人工智能40年,近期AI 2.0和大模型的启动使他非常兴奋,不仅跟同事...

    时间:05-29
  • 大模型掀热潮 中国着力打造开源生态

      (经济观察)大模型掀热潮 中国着力打造开源生态  中新社北京5月29日电 (记者 刘育英)在全球的大模型竞赛中,中国已占有一席之地。从2023中关村论坛上记者了解到,打造开源生态已经成为中国业界的选择。  中国科学院院士、中国计算机学会开源发展委员会主任王怀民援引统计称,过去5年在世界上参数...

    时间:05-29
  • 大模型掀热潮 中国着力打造开源生态

      (经济观察)大模型掀热潮 中国着力打造开源生态  中新社北京5月29日电 (记者 刘育英)在全球的大模型竞赛中,中国已占有一席之地。从2023中关村论坛上记者了解到,打造开源生态已经成为中国业界的选择。  中国科学院院士、中国计算机学会开源发展委员会主任王怀民援引统计称,过去5年在世界上参数量超过百亿的大模型大约有4...

    时间:05-29
  • 李开复:AI大模型蕴含几十万亿美元商机

      中新社北京5月28日电 (王东宇 庞无忌)28日,在2023中关村论坛“人工智能大模型发展”分论坛上,创新工场董事长、首席执行官李开复表示,要接受现阶段的AI大模型是不完美的事实,但它仍然蕴藏着商业价值。  “即便一个非完美的AI大模型,也具有几十万亿美元规模的商业价值。”李开复说,然而AI大模型还存在“一本正经地胡说八道”...

    时间:05-28
  • 业界:大模型“开放性生态”对行业未来发展至关重要

      中新网上海5月28日电 (高志苗)随着Chat-GPT的“出圈”,AI大模型走入大众认知。  2023年以来,中国各大科技公司也先后推出自己的大模型产品,复旦大学MOSS系统,商汤科技的日日新(SenseNova),竹间智能的魔力写作……据不完全统计,中国国内已有30余个AI大模型发布。业界普遍认为,2023年是以人工智能第三代开发范式为牵引,大模型+AI...

    时间:05-28
版权声明:内容资源均来自于网友投稿、互联网整理编辑,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,请发送邮件举报,一经查实,本站将立刻删除。