芯片问题不用担心，华为是如何应用“系统论”的？
（文/观察者网 吕栋）
“芯片问题其实没必要担心，用叠加和集群等方法，计算结果上与最先进水平是相当的。”近期，华为总裁任正非的一次公开发声，增强了社会各界对中国AI发展的信心。
我们都知道，中国已经形成了“百模千态”的大模型产业，有多个大模型走在全球前列。但无论AI产业如何发展，算力都是驱动模型演进的根本动力。随着外部技术封锁步步紧逼，国产算力能否担当大用？是否只能做推理而不能做复杂训练？很多人其实心里没底。
“我们单芯片还是落后美国一代，我们用数学补物理，非摩尔补摩尔，用群计算补单芯片，在结果上也能达到实用状况。”任正非的公开发声，给国内AI产业吃下了一颗“定心丸”。
带着对国产算力发展的关心，观察者网与华为2012实验室的技术专家的做了一次交流，我们了解到，昇腾算力不仅实现推理性能全球领先，同时系统稳定性也保持在高水平，能高效训出世界一流的万亿参数大模型。尤其是CloudMatrix 384超节点技术，以系统补单点，从堆芯片到拼架构，核心指标比肩英伟达，成为中国AI发展的坚实算力底座。
芯片问题为何不用担心？
在外部制裁围堵下，芯片问题就像“达摩克里斯之剑”一样，一直悬在中国产业界头上。尤其随着中美AI竞争愈发激烈，美国一方面竭力遏制中国先进芯片制造的能力，另一方面又不断收紧对英伟达高端芯片的出口管制，试图让中国AI产业在“算力囚笼”中止步不前。
但危中也有机。行业的发展趋势是，当Transformer这样的大型神经网络模型横空出世，万亿参数模型开始涌现，对算力和显存的需求呈爆炸式增长，单个GPU甚至单个服务器都难以招架，集群算力成为大势所趋，这也给中国用系统方法解决算力困境带来契机。
说起“系统论”，老一辈中国人可能并不陌生。钱学森的《论系统工程》，核心思想就是把研究对象看做一个整体而不是孤立的点，通过整体优化弥补单点落后。
华为制裁中突围，正是受到系统工程的启发。技术专家对观察者网表示，算力基础设施是复杂的系统，华为把各个部分打通了，在内部组织了算力会战，把华为云、模型、底座、芯片、硬件工程、基础软件的研发力量集结在一起，跨部门作战，深度协同。这样的环境和机制，能够产生协同效应和系统工程的整合，实现了“大杂烩”技术的有效利用和协同创新。
基于系统工程，华为构建了巨型算力基础设施CloudMatrix 384超节点，通过全对等高速互联架构，让384张昇腾卡可以像一台计算机一样工作。它的算力总规模达300Pflops，是英伟达旗舰NVL72的1.7倍；网络互联总带宽达269TB/s，比英伟达NVL72提升107%；内存总带宽达1229TB/s，比英伟达NVL72提升113%。更关键的是，它还能扩展为包含数万卡的Atlas 900 SuperCluster超节点集群，未来可以支撑更大规模的模型演进。
“超节点是复杂系统，单卡的技术指标并不代表系统的效能，我们‘系统工程’，要达到的是系统最佳，而不是单点最强。解决这些超复杂系统的问题需要懂理论，如系统论，控制论，信息论，计算数学等；同时，我们通过数学的方法对计算系统进行建模、仿真，想办法把每一部分都用起来，做到不浪费，各个部分完美配合，高效协同。”华为技术专家表示。
我们都知道，芯片制造遵循着“摩尔定律”，但前提是获取先进的设备材料。在制裁围堵下，华为通过复杂系统优化，实现了“非摩尔补摩尔”的效果，让单芯片短板不再是制约。
华为技术专家指出，单芯片制程从7纳米到5纳米、3纳米、2纳米，每代性能提升不超过20%，总体能提升50%左右。华为通过高效的超节点系统，提升了芯片算力利用率。“MoE大模型训练，我们以前MFU（模型算力利用率）是30%，业界也是差不多这个水平，我们最新公布的数据提升到41%，实验室是45%多。从30%提升到45%，利用率相当于提升了50%。在硬件什么也没有改变的情况下，通过系统工程的优化，资源的高效调度，一定程度弥补了芯片工艺的不足。”
“西方不断打补丁，我们重新定义架构”
华为被制裁的这几年，算力产业其实也处在变革过程中。
随着大模型Scaling Law（尺度定律）的持续演进，整个AI行业产生了巨量算力需求。但是传统的计算集群已经出现瓶颈，无限制的堆卡并不能带来算力的线性提升，反而会产生“内存墙”、“规模墙”和“通信墙”的问题。这是因为在集群内部，算力卡之间和服务器之间并不是独立工作，而是需要边计算边“沟通”，如果通信能力跟不上，就会出现算力闲置。
过去8年间，单卡硬件算力增长了40倍，但节点内总线带宽只增长了9倍，跨节点的网络带宽只增长了4倍，这使得集群网络通信成为当前大模型训练和推理的最大挑战。因此如果不能提升通信效率，单纯把384张昇腾卡堆起来，计算效果并不一定就比72张英伟达卡更好，因为卡间和服务器间的通信开销会抵消算力增加的收益，导致有效算力不升反降。
作为算力产业先行者，英伟达早早意识到这个问题。黄仁勋的做法是，把之前消费级显卡上的NVLink技术移植到计算集群中，相当于给GPU之间搭建一条“专用超宽车道”并且把多颗GPU、CPU、高带宽内存、NVLink/NVSwitch等高度集成，打造了NVL72超节点。
但问题是，NVLink只能用于英伟达自家GPU之间的通信，节点内的NPU、FPGA等非GPU异构硬件，并不能走这条“超宽车道”，还是要通过效率较低的PCIe协议走CPU中转，同时节点之间通过以太网/InfiniBand等协议跨机互联，在巨量计算中也存在带宽堵点。
不同于这种做法，华为CloudMatrix 384超节点对计算架构进行重构，彻底打破了传统以CPU为中心的冯诺依曼架构，创新提出了“全对等架构”。它通过3168根光纤和6912个400G光模块构建了高速互联总线，并把总线从服务器内部扩展到整机柜、甚至跨机柜，最终将CPU、NPU、DPU、存储和内存等资源全部互联和池化，这样做就能去除掉了繁多的中转环节，从而实现真正的点对点互联，进而实现更大的算力密度和互联带宽。
“西方是继承发展，任总形象地比喻为‘百纳衣’，就是衣服破了以后不断地打补丁，协议不同，互通要转换的，包头套包头，有效载荷就很小了。我们重新定义了对等的架构，统一了所有的通信协议，互通就不需要转换，提升了有效载荷。”华为技术专家对观察者网说道。
“打铁还需自身硬，充分满足国内需要”
华为构建了这么强大的昇腾算力，实际应用效果怎么样？尤其是在英伟达高端算力被封锁的情况下，昇腾算力到底能不能给中国AI发展带来底气和信心？这是行业内外真正关心的。
1 2 下一页 余下全文本文链接：http://m.sushuapos.com/show-3-147241-0.html芯片问题不用担心，华为是如何应用“系统论”的？
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
