辛苦喂了几万条垂直领域数据，DeepSeek 确实变专业了，但原本强大的通用逻辑和常识推理却“崩了”。这种现象在学术上被称为**“灾难性遗忘”（Catastrophic Forgetting）**。
要破解这个局，工程上公认最有效的“降压药”就是重演策略（Rehearsal Strategy）：在微调数据集中强行混入 5%-10% 的通用语料（如 Wikipedia 或 C4 采样）。
今天拆解一下这背后的底层逻辑，看看这 5% 的“杂质”是如何保住模型智商的。
一、 抑制“对齐税”与灾难性遗忘
当模型在单一领域（如法律、代码）进行高强度微调时，梯度下降会强行将权重向局部最优解压缩。
-
权重坍塌： 如果没有通用语料，模型原本广阔的知识表征空间会迅速收缩，导致它在处理非目标任务时彻底迷失。
-
锚点效应： 通用语料在微调过程中充当了“逻辑锚点”，强制模型在学习新知识的同时，必须维持对人类语言基本结构和常识逻辑的兼容性。
二、 锁死 MoE 路由器的“偏好漂移”
DeepSeek-V3/R1 采用的是复杂的混合专家架构（MoE）。微调面临的最大风险是路由器（Router）逻辑偏移。
-
路由器失准： 垂直领域数据往往具有强烈的分布偏见（Bias），容易让路由器产生“偏见”，只给特定专家分配任务。
-
负载平衡： 加入 5%-10% 的通用语料能确保 256 个专家在微调期间依然能接收到多样化的指令梯度，维持原有的负载均衡，防止部分专家因为长期闲置而“死掉”。
三、 权重空间的“正则化”保护
从数学角度看，混合通用语料本质上是一种**正则化（Regularization）**手段。
-
防止过拟合： 垂直领域语料分布通常较窄。引入通用语料能增加输入分布的熵，迫使模型寻找能兼顾通用逻辑与专业能力的全局最优解，而非在垂直领域死磕过拟合。
-
维持推理连贯： DeepSeek-R1 的思维链（CoT）能力高度依赖于预训练阶段建立的逻辑链路。通用语料的持续注入能确保这种长链条推理的连贯性不被垂直知识强行斩断。
避坑指南：如何正确混入这 10%？
-
完全混洗（Shuffle）： 千万不要先训垂直数据再训通用数据。必须将两者完全随机打乱，确保每一个 Batch 里都有 5%-10% 的通用梯度。
-
伪样本回放： 如果你手里没有现成的通用语料，可以用原版 DeepSeek-V3 生成几千条指令回复，作为“伪样本”混入训练集。
-
动态监控： 每隔 500 个 Step 跑一次 MMLU 或 GSM8K 基准测试。一旦通用得分下降超过 5%，说明你的学习率 $\eta$ 给高了，或者通用语料占比太低。