界面新闻记者 | 李彪

界面新闻编辑 | 文姝琪

2025年是AI行业公认的“推理之年”。

在今年英伟达的GTC开发者大会上 ，黄仁勋演讲提到，随着OpenAI o1、DeepSeek R1等推理模型的推广应用
，市场将需要更多AI芯片作算力支撑 。AI推理已代替模型训练成为了推动了算力需求增长的主力，规模增长能“轻松超过去年估计的100倍 ”。

而受限于美国对华的芯片禁令限制及国产GPU单卡性能不足的差距 ，国内厂商在算力供给上长期走集群化路线
，即将多个芯片通过特定技术连接整合在成单个的“超节点”
。在数据中心内部，多个超节点形成一个集群系统 ，以满足对大规模算力需求较高的任务。

在近日华为举办的鲲鹏昇腾开发者大会上
，公司对外宣布，其搭建的“昇腾384超节点
”已是业内最大规模的算力集群超节点 。该超节点利用华为的高速互联总线技术 ，将384张昇腾AI GPU芯片连接起来
，并在内存带宽 、存储容量、高速互联网络等技术上进行了大幅调优
。

华为云则在超节点基础上进一步推出CloudMatrix 384。官方信息显示，CloudMatrix 384 单集群算力已经达到300 PFlops ，总规模已与英伟达NVL72大致相当（以业内常用的半精度浮点数F16标准衡量
，NVL72是将72张B200GPU连在一起） 。

据华为昇腾计算业务总裁张迪煊介绍，相比于上一代Atlas A2
，基于昇腾384超节点的Atlas A3模型训练性能提升已达3倍
。同时，由于采用了新的总线高速互联技术后 ，超节点通信带宽提升了15倍
、通信时延降低了10倍。

而相比于训练
，随着推理在算力需求所占的比重越来越大，算力集群针对推理的优化也变得越来越重要 。

随着基于强化学习的“长思考”（Deep Thinking）功能与智能体应用(AI Agent）的集中落地 ，AI模型需要处理的任务更复杂
，“思考 ”过程更长，需要更长时间和复杂计算过程来得出推理结果
。

国内厂商为满足这部分的算力需求 ，同时实现“更大吞吐量
”(AI模型一次能同时处理更多任务)和“更低延迟”（一次任务所需时间更短）
，是行业待解决的关键问题。

张迪煊称，DeepSeek在业内带火的MOE（混合专家）架构目前已经是业内模型主流架构 ，而MOE包含上百个专家网络的调度
，实现大规模专家并行是行业解决AI模型吞吐量和延迟问题的核心 。

而昇腾384节点针对MOE所做的优化设计，在业内率先实现了“一卡一专家 ” ，最终做到了15ms的低时延，单卡吞吐量是业界集群的4倍以上
。

在全球范围内
，今年的算力基建扩张有增无减。近期，在美国总统特朗普访问沙特阿拉伯期间 ，英伟达、AMD均宣布与当地公司达成百亿美元大单
，将在当地未来五年内建设人工智能数据中心工厂，涉及“数十万张GPU卡
”规模的算力集群建设 。Meta 、特斯拉
、微软与谷歌也在建设新的十万卡规模数据中心。

国产厂商也在加快建设步伐
。张迪煊在大会上表示 ，华为目前将多个昇腾384超节点组合在一起
，已经可以支持10万卡集群的算力需求。