资讯

大模型“烧钱”又“吃资源”?压缩与量化技术才是让它轻装上阵的关键一招。本文手把手拆解核心原理与常见手法,帮你厘清技术演进脉络,打好基础理解一切模型优化策略的关键一步。 大语言模型的能力提升往往伴随着参数规模的爆炸 —— 从 GPT-3 的 1750 ...
埃隆·马斯克为 xAI 分享了一个大胆的新目标,即到 2030 年部署相当于 5000 万个 H100 级 GPU 的计算能力。这一声明被视为衡量 AI 训练性能的指标,指的是计算能力,而不是实际的单元数量。尽管 AI ...
CloudMatrix 384 的核心是华为的 Ascend P910C NPU。每个加速器都配备了一对计算芯片,这些芯片通过高速芯片间互连连接在一起,能够以 540GB/s 或 270GB/s 的速度双向传输数据。