模型蒸馏

5B 小模型后训练冲榜实录：BFCL 涨了 2 分，AA 指数五次试点全部失败

2026年10月17日

我们用 LoRA 后训练 K2-Horizon-3.7B，BFCL 函数调用从 55.60 提到 57.57；随后冲 Artificial Analysis 智能指数，弃答 DPO、同家族蒸馏、SciCode 拒绝采样微调共五次训练试点全部无效。本文给出数据、失败原因和踩坑清单。

Ministral 3：小模型不需要 36 万亿 token，蒸馏才是正道

2026年1月16日

Mistral 用级联蒸馏把 24B 模型压到 3B，只用了别人十分之一的数据。这条路走通了吗？

DeepSeek R1 论文解读：强化学习如何自主激发推理能力

2025年1月15日

分析 DeepSeek R1 论文的核心创新，包括 RL 推理、GRPO 算法和模型蒸馏。

DeepSeek-V3 技术报告解读：省钱与高性能的极致平衡

2024年12月30日

分析 DeepSeek-V3 的低成本训练策略、架构创新和工程优化。