最近 DeepSeek-V3 的爆火，把“极致性价比”这个词刻进了开源界的基因里。但在工程实践中，即便 DeepSeek 已经足够高效，对于大多数团队来说，全量微调（Full FT）依然是不可逾越的鸿沟。
这时候，PEFT（参数高效微调）技术就成了唯一的解法。今天我想跳出基础的 LoRA 概念，跟大家聊聊在 DeepSeek 这种特定架构（尤其是 V3 的 MoE 和 MLA 架构）下，PEFT 技术的一些最新进展和实战观察。
1. 从 LoRA 到 DoRA：权重分解带来的性能飞跃
大家可能已经习惯了 LoRA，但在最近的评测中，DoRA (Weight-Decomposed Low-Rank Adaptation) 在 DeepSeek 系列模型上的表现非常亮眼。
-
原理： DoRA 将预训练权重分解为幅值（Magnitude）和方向（Direction）两个组件。LoRA 只更新方向，而 DoRA 允许两者同时微调。
-
实战反馈： 在 DeepSeek-7B 上的测试显示，DoRA 的学习能力更接近全参数微调，尤其是在需要模型学习复杂指令逻辑时，DoRA 的收敛速度和最终指标通常优于同 Rank 的 LoRA。如果你的算力允许（比 LoRA 多一点点开销），我建议在生产环境优先尝试 DoRA。
2. 适配 DeepSeek 核心架构：MLA 与 PEFT 的兼容性
DeepSeek-V3 最引以为傲的是它的 MLA (Multi-head Latent Attention)。这种架构极大地压缩了 KV Cache 的开销，但也给微调带来了新的课题。
-
微调位点选择： 在传统的 Transformer 架构中，我们习惯于在 $Q/V$ 矩阵上加 LoRA。但在 MLA 架构下，由于它引入了低秩联合压缩（Compressed KV），微调 $W_{uq}$ (Upsampling Query) 和 $W_{ukv}$ (Upsampling KV) 矩阵的效果往往比单纯动 $Q$ 矩阵要好。
-
观察： 如果你发现模型微调后推理效率下降，检查一下你的 PEFT 注入位点是否破坏了 MLA 的压缩特性。
3. MoE 架构下的 PEFT 策略：Expert-Specific LoRA
DeepSeek-V3 是一个典型的 MoE 模型。对于拥有几百个专家的模型，PEFT 怎么做最高效？
-
Router 微调： 现在的趋势是，除了在 Transformer 层加 LoRA，专门针对 Router（路由） 部分进行轻量化调整。通过调整路由权重，可以让模型更精准地调用现有的专家来处理特定垂直领域的任务。
-
专家选择性微调： 目前有一种先进的做法是“Selective Expert LoRA”，即只在激活频率最高的几个共享专家（Shared Experts）上施加 PEFT，这样可以在极小参数变动下，保持模型原有的通用能力不退化。
4. 显存压榨极致：Unsloth 与微调加速
说到 PEFT 的进展，不得不提 Unsloth 这种底层优化方案。
-
进展： 通过对手写 Triton 内核的优化，Unsloth 现在可以让 DeepSeek 的微调速度提升 2 倍，显存占用降低 70%。
-
意义： 这意味着原本需要 A100 才能跑的任务，现在在 3090 上甚至能跑出更高的并发。对于咱们社区的开发者来说，这直接降低了实验成本。
工程建议：2025 年微调 DeepSeek 怎么选？
基于最近的实验数据，我总结了几个避坑建议：
-
Rank 与 Alpha 的配比： 不要盲目追求高 Rank。对于 DeepSeek-7B，Rank 16 或 32 配合 Alpha 32/64 通常是性价比最高的。Rank 过高反而容易导致在特定任务上的过拟合。
-
别忽视 Bias 层： 虽然 PEFT 主张动权重矩阵，但有时候微调一下 LayerNorm 和 Bias 层（BitFit 策略），能显著改善模型输出的流畅度，且显存开销几乎可以忽略。
-
量化策略： 优先选择 NF4 (Normal Float 4) 量化配合 QLoRA。实测发现，DeepSeek 这种参数分布相对稠密的模型，在 NF4 下的精度损失比普通 Int4 要小得多。
最后抛个问题给各位大佬：
大家在微调 DeepSeek-V3 这种 MoE 模型时，有没有尝试过只微调 Shared Experts 而完全不动特定专家（Routed Experts）？效果和全参数 LoRA 相比，鲁棒性表现如何？
欢迎在回帖里贴出你们的测试 Loss 曲线，咱们一起复盘。