华为:昇腾AI计算平台训练出准万亿MoE模型

华为:昇腾AI计算平台训练出准万亿MoE模型

  全新妙想投研助理,立即体验

  5月30日消息,华为宣布推出参数规模高达7180亿的全新模型盘古Ultra MoE,这是一个全流程在昇腾AI计算平台上训练的准万亿MoE模型。

  据悉,盘古团队提出Depth-Scaled Sandwich-Norm(DSSN)稳定架构和TinyInit小初始化的方法,在昇腾平台上实现了超过18TB数据的长期稳定训练。在训练方法上,华为团队首次披露在昇腾CloudMatrix 384超节点上打通大稀疏比MoE强化学习(RL)后训练框架的关键技术,使RL后训练进入超节点集群时代。

(文章来源:界面新闻)


鲜花

握手

雷人

路过

鸡蛋
上一篇:
中国科学家发现肿瘤表观遗传的新机制发布时间:1970-01-01
下一篇:
松下家电将接入通义千问 探索家电AI智能体发布时间:1970-01-01
相关推荐
热门排行

在线客服(服务时间 9:00~18:00)

在线QQ客服
公司地址:广州市黄埔区康富路32号101房
客服电话:13326565461
电子邮箱:30376048757@qq.com

Powered by 广州丁冬科技有限公司 © 2025 aiwsw.com Inc.( 粤ICP备2024347580号-3 )