首页 > 经济·科技

升级云服务 火山引擎要做AI大模型“发动机”

2023-04-18 14:09:41

来源:中国新闻网

  AI大模型技术应用爆发,云市场也在加速变革。

  4月18日,火山引擎在其举办的“原动力大会”上发布自研DPU等系列云产品,并推出新版机器学习平台:支持万卡级大模型训练、微秒级延迟网络,让大模型训练更稳更快。火山引擎总裁谭待表示,AI大模型有巨大潜力和创新空间,火山引擎会服务客户做好大模型,共同推动各行业的智能化升级。

  “国内有数十家做大模型的企业,大多已经在火山引擎云上”,谭待认为,大模型不会一家独大。与其他云厂商力推自家大模型不同的是,火山引擎将接入多家大模型深度合作,为企业和消费者提供更丰富的AI应用。

  会上,火山引擎宣布与字节跳动国内业务并池。基于内外统一的云原生基础架构,抖音等业务的空闲计算资源可极速调度给火山引擎客户使用,离线业务资源分钟级调度10万核CPU,在线业务资源也可潮汐复用,弹性计算抢占式实例的价格最高可优惠80%以上。

  让大模型训练快速跑起来

  自2022年底发布以来,ChatGPT成为人类历史上最快获得上亿用户的消费级互联网应用。最新的GPT-4大模型,更是在法律、数学、生物学等多项测试中超过90%人类。

  谭待表示,国内很多科技公司投入到大模型建设中,他们有优秀的技术团队,也有丰富的行业知识和创新想法,但往往缺乏经过大规模场景实践的系统工程能力。火山引擎要做的就是为大模型客户提供高稳定性和高性价比的AI基础设施。

  据悉,火山引擎机器学习平台经过抖音等海量用户业务长期打磨,支持单任务万卡级别的超大规模分布式并行训练场景。GPU弹性计算实例可灵活调度资源,随用随取,最高可以为客户节省70%的算力成本。

  字节跳动副总裁杨震原认为,业务创新需要试错,试错要大胆、敏捷,但试错也一定要控制成本。通过潮汐、混部等方式,火山引擎实现资源的高利用率和极低成本。以抖音推荐系统为例,工程师用15个月的样本训练某个模型,5小时就能完成训练,成本只有5000元。火爆全网的抖音“AI绘画”特效,从启动到上线只用一周多时间,模型由一名算法工程师完成训练。

图:字节跳动副总裁杨震原分享抖音的机器学习实践

  MiniMax是目前国内少数已经推出自研大模型产品的AI技术公司,拥有文本、视觉、声音三种通用大模型引擎能力。据MiniMax联合创始人杨斌介绍,MiniMax与火山引擎合作建立了超大规模实验平台,实现千卡级常态化训练;超大规模推理平台有万卡级算力池,支撑单日过亿次调用。在火山引擎的云上,MiniMax大模型业务实现快速突破。

  谭待透露,火山引擎的大模型云平台获得智谱AI、昆仑万维等众多企业的良好反馈。国内大模型领域,七成以上已是火山引擎客户。

  向“多云多模型”架构演进

  有评论称,大模型将成为云厂商弯道超车的机会。谭待对此表示,大模型还在发展初期,面临数据安全、内容安全、隐私保护、版权保护等许多问题需要努力解决。但可以预见,大模型将带动云上AI算力急剧增长,AI算力的工作负载与通用算力的差距会越来越小,这会为各家云厂商带来新的机会,同时也会对数据中心、软硬件栈、PaaS平台带来新的挑战。

  以数据中心的算力结构为例,谭待表示:“大模型需要大算力,虚拟化会带来资源损耗,规模越大就损耗越多。未来3年内,大规模的算力中心,都将形成‘CPU+GPU+DPU’的混合算力结构,CPU负责通用计算,GPU负责AI计算,DPU负责资源卸载、加速和隔离,提升资源效率”。

  此次原动力大会上,火山引擎发布了新一代自研DPU,实现计算、存储、网络的全组件卸载,释放更多资源给业务负载。火山引擎尽管是“最年轻”的云厂商,其自研DPU已达到业界领先水平,网络性能高达5000万pps转发能力、延迟低至20us。基于自研DPU的各类计算实例性能也有显著提升,例如适用于大模型分布式并行训练场景的GPU实例,相较上一代实例集群性能最高提升3倍以上。

  自动驾驶公司毫末智行与火山引擎合作打造智算中心,为DriveGPT自动驾驶生成式预训练模型提供强大的算力支持。毫末智行CEO顾维灏介绍,DriveGPT使用量产车4000万公里的人驾数据训练,参数规模达1200亿,对自动驾驶认知决策模型进行持续优化。

  谭待表示,在大模型及下游应用发展推动下,无论传统企业还是初创企业,对AI算力都有迫切需求,企业使用多家云服务将成为常态。同时,各行业有自己高质量的私有语料,大模型不会一家独大,而是会在千行百业生长,形成多模型共生甚至协作的生态。“未来将是‘多云多模型’的时代”,谭待称。

图:火山引擎总裁谭待宣布支持“多云多模型”的未来架构

  火山引擎也顺势推出了分布式云原生平台、多云安全、多云CDN、veStack混合云平台等系列产品,支持客户更好地使用多家云服务。“字节跳动用过全球几乎每一朵公有云,以及大多数CDN,形成一套完整的分布式云管理体系和架构实践”,谭待坚信火山引擎是最懂多云和分布式云的云服务商,这些技术能力都会毫无保留地提供给客户。

  杨震原进一步表示,火山引擎对内对外提供统一的产品,抖音、今日头条等APP开屏都加上了“火山引擎提供计算服务”。杨震原说:“数字化时代,机器学习可以智能、高效地围绕目标解决问题。数字化的下一步是智能化,我们在机器学习方面的技术积累和经验,都会通过火山引擎提供给外部客户,帮助更多企业做好智能化”。

【责任编辑:长风】
  • 相关阅读
  • 人工智能浪潮下,AI大模型“推波助澜”

      ◎本报记者 王祝华 实习生 曲怡臻  AIGC(人工智能生成内容)、人工智能大模型、对话机器人……近年来,人工智能领域技术突破不断,创新成果不断融入社会各个领域,深刻改变着人们的日常工作、生活方式。博鳌亚洲论坛2023年年会上,多位专家学者、行业领袖围绕人工智能领...

    时间:04-17
  • 昆仑万维与阿里云战略合作 将新建智算中心支撑大模型创新

      4月11日,2023阿里云峰会上,昆仑万维与阿里云共同发布战略合作,双方将在智算中心建设、大模型训练等领域展开合作。昆仑万维CEO方汉、阿里云智能首席商业官蔡英华等共同出席。昆仑万维与阿里云达成战略合作  据介绍,昆仑万维2015年在深交所创业板挂牌上市,是国内领先的互联网平台出海企业,为全球互联网用户提供信息分发、社交...

    时间:04-12
  • 嫦娥五号样品研究揭示月球年轻火山活动奥秘

      中新网南京3月23日电(记者 杨颜慈)据中国科学院紫金山天文台23日消息,该台天体化学团队联合中国科学技术大学、美国佛罗里达大学、中国地质大学(武汉)和中国科学院南京地质古生物研究所,对嫦娥五号月球样品开展了详细的岩相学、矿物学、微量元素地球化学和同位素分析,揭示了嫦娥五号样品月幔源区特...

    时间:03-23
  • 嫦娥五号样品研究揭示月球年轻火山活动奥秘

      中新网南京3月23日电(记者 杨颜慈)据中国科学院紫金山天文台23日消息,该台天体化学团队联合中国科学技术大学、美国佛罗里达大学、中国地质大学(武汉)和中国科学院南京地质古生物研究所,对嫦娥五号月球样品开展了详细的岩相学、矿物学、微量元素地球化学和同位素分析,揭示了嫦娥五号样品月幔源区特...

    时间:03-23
  • 大模型时代如何运用小样本学习?复旦大学团队引入“语言模型即服务”

      中新网上海3月14日电 (记者 陈静)在大模型时代,能否运用小样本学习的方式,即用少量语言数据对大模型进行调优?对此,复旦大学计算机学院教授、博士生导师黄萱菁14日对记者表示,在写指令时,应仔细构造指令,同时学习自动构造指令,尽可能提取出语言模型的知识能力;在上下文学习或者情景学习中,通过少量例子让大模型理解人类意图;此外还...

    时间:03-14
  • (两会声音)巩富文委员:用现代科技助力养老服务智能化升级

      中新网北京3月5日电 (记者 张一辰)随着中国正步入中度老龄化社会,养老服务供给不足与供求脱节面临哪些新的形势与问题?社会化养老服务体系的建设当如何推动?全国政协委员,农工党中央委员,陕西省高级人民法院副院长巩富文近日表示,应当发挥好互联网、人工智能等现代科技作用,助力养老服务智能化升级。 ...

    时间:03-05
  • (两会声音)中国工程院院士陈晓红:发展应用AIGC大模型要趋利避害

      中新网北京3月3日电 (向一鹏 张雪盈)ChatGPT火爆全网,让人们开始高度关注并热议人工智能生成内容(AIGC)这种全新的生产方式。全国政协委员、中国工程院院士、湖南工商大学党委书记陈晓红近日受访时表示,面向Web3.0时代,需要更加以人为本地发展应用AIGC大模型,打造可信大模型生态。  过去5年,陈晓...

    时间:03-03
  • 北京智源人工智能研究院发布“飞智”大模型技术开源体系

      中新网北京2月28日电 (记者 孙自法)由北京智源人工智能研究院与多家企业、高校和科研机构共建的FlagOpen(飞智)大模型技术开源体系,2月28日下午在北京正式对外发布,旨在打造全面支撑大模型技术发展的开源算法体系和一站式基础软件平台,支持协同创新和开放竞争,共建共享大模型时代的“新Linux”开源...

    时间:02-28
  • 俄千岛群岛火山喷发灰柱高达3000米 已设置危险代码

      中新网2月28日电 据俄罗斯卫星通讯社28日报道,俄罗斯科学院远东分院火山学与地震学研究所堪察加火山喷发应急响应小组官网称,位于俄千岛群岛的埃别科火山喷发出高达3000米的灰柱。  消息指出:“爆炸喷发的灰柱高达2500-3000米。”  灰羽在风力作用下向火山东南漂移3公里,已经设置了航空危险橙色...

    时间:02-28
  • 俄千岛群岛火山喷发灰柱高达3000米 已设置危险代码

      中新网2月28日电 据俄罗斯卫星通讯社28日报道,俄罗斯科学院远东分院火山学与地震学研究所堪察加火山喷发应急响应小组官网称,位于俄千岛群岛的埃别科火山喷发出高达3000米的灰柱。  消息指出:“爆炸喷发的灰柱高达2500-3000米。”  灰羽在风力作用下向火山东南漂移3公里,已经设置了航空危险橙色代码。  专家们认为,火山...

    时间:02-28
版权声明:内容资源均来自于网友投稿、互联网整理编辑,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,请发送邮件举报,一经查实,本站将立刻删除。