DeepSeek-V3 这篇技术报告出来后，圈子里讨论最热烈的不是它超越了 Llama-3.1 405B 的性能，而是它那个吓人的训练成本：278.8 万 GPU 时。按 H800 的租赁价格算，大概 550 万美元。要知道，在这个参数量级的模型里，这几乎是“白菜价”。这说明 DeepSeek 团队不仅算法强，在工程底座上的压榨能力更是到了极致。

报告核心：省钱与高性能

这篇报告其实就讲了两件事：怎么省钱，以及怎么在省钱的同时把模型训得更强。

MoE 架构与负载均衡

架构方面，DeepSeek-V3 继续沿用了 MoE（混合专家）路线。总参数 671B，这看起来很大，但每个 Token 激活的参数只有 37B。这就是 MoE 的魔力，用极大的知识容量换取推理时的低计算量。他们保留了 V2 版本验证过的 MLA（多头潜在注意力）机制，这点非常关键。现在的模型上下文越来越长，KV Cache 对显存的占用是推理时的最大瓶颈，MLA 通过低秩压缩把这个问题解得很漂亮，为后面的低成本部署打好了基础。

这次架构上最大的改动在于负载均衡策略。搞过 MoE 的人都知道，为了让专家们“雨露均沾”，通常会加一个辅助损失（Auxiliary Loss）。这东西虽然能平衡负载，但会干扰主任务的训练效果。DeepSeek 这次非常激进，直接把辅助损失砍了，换成了一种动态调整的偏置项（Bias term）。简单说，哪个专家忙，就给它的分数降点权；哪个专家闲，就加点权。这种无损的均衡策略，既保证了硬件利用率，又不再拖累模型性能。

训练工程：FP8 与 DualPipe

训练工程是这篇报告最硬核的部分。为了在 H800 集群上跑满效率，他们搞了一套 FP8 混合精度训练框架。FP8 虽然快且省显存，但精度低，容易训崩。DeepSeek 的解法是“细粒度量化”，把量化粒度下沉到 Tile 和 Block 级别，并且在累加这种对精度敏感的操作上强制回退到高精度。这一套组合拳打下来，全程 Loss 曲线极其平滑，没有任何尖峰，甚至不需要任何回滚操作。这在千亿级参数模型的预训练中是极罕见的稳定性。

为了解决通信墙问题，他们设计了 DualPipe 并行算法。跨节点的专家并行通信量巨大，DualPipe 做到了一边算一边传，让计算和通信在时间轴上几乎完全重叠。即使在 671B 这种庞然大物面前，他们依然把“气泡”时间压到了最低。这种对硬件底层的把控，是很多只调参数的团队做不到的。

后训练与蒸馏

后训练阶段，DeepSeek 更是把自家的 R1 推理模型利用到了极致。V3 的强大，很大程度上是因为它“偷师”了 R1。团队利用 R1 生成了大量带有思维链（CoT）的数据，然后通过蒸馏的方式教给 V3。这就像是让一个数学天才（R1）把解题思路一步步写出来，喂给通用模型（V3）吃。所以我们看到 V3 在数学和代码上的表现异常彪悍，甚至压过了 GPT-4o。

部署挑战

最后聊聊部署。虽然 V3 训练省钱，推理算力要求也低（激活参数少），但它的权重实在太大了。671B 的参数，哪怕是 FP8 量化，也需要巨大的显存来装载。如果你想在本地跑，单卡基本没戏，起步就是多卡 H800 或者类似的高显存集群。对于中小团队来说，这个显存门槛依然很高。

待补充：具体的 DualPipe 调度代码实现细节与 FP8 量化的 CUDA Kernel 源码目前尚未开源，需要等待官方仓库的进一步更新。