当行业还在疯狂堆叠 GPU 算力、比拼参数规模时，DeepSeek 联合北京大学抛出了一个颠覆性思路：大模型的 “计算” 和 “记忆” 本就该各司其职。最新论文《Conditional Memory via Scalable Lookup》提出的 Engram 架构，通过复活经典 N-gram 技术并进行现代化改造，给 Transformer 模型加装了一个 “外挂字典”—— 用廉价内存承载海量静态知识，把昂贵显存留给核心逻辑推理，不仅让模型 “变聪明”，更彻底打破了显存瓶颈。
这一架构创新，不仅可能成为 DeepSeek 下一代模型（V4）的核心技术方向，更给消费级硬件部署超大参数模型提供了可行路径，为 AI 工业化落地扫清了关键障碍。
一、核心痛点：大模型正在 “用超级计算机做记事本”
当前无论是 Dense 还是 MoE 架构的大模型，都存在一个致命的资源浪费：用复杂的矩阵乘法 “计算” 所有信息，哪怕是无需推理的静态知识。
-
合理场景：计算 “123×456” 时，模型通过神经网络推理得出结果，这是算力的有效利用；
-
浪费场景：回答 “床前明月光的下一句” 时，模型仍需通过深层网络 “算” 出答案，就像学生明明可以翻书却非要用公式推导，白白消耗算力。
DeepSeek 团队指出，语言模型本该有两种工作模式，但现有 Transformer 只具备一种：
| 工作模式 | 适用场景 | 现有模型表现 |
|---|---|---|
| 动态计算 | 逻辑推理、代码生成、数学求解 | 能力成熟，但被冗余任务占用资源 |
| 静态查找 | 事实问答、固定短语、实体关联 | 完全依赖计算模拟，效率极低 |
这种 “计算 = 记忆” 的架构设计，导致模型把大量算力浪费在死记硬背上，真正需要复杂推理时反而 “脑力不足”。
二、Engram 架构：三步实现 “记忆 - 计算” 解耦
Engram 架构的核心是给模型新增一个 “智能记忆模块”，通过 “极速查表 + 上下文门控 + 存算解耦” 三大核心设计，让静态知识查找和动态逻辑计算彻底分离，原理通俗且工程性极强：
1. 极速查表：N-gram 的现代化重生
Engram 的底层灵感源自几十年前的 N-gram 技术，但解决了传统 N-gram 检索慢、占空间的痛点。它将所有静态知识（如实体、短语、成语）预训练成一个巨大的向量表，当模型遇到 “亚历山大大帝”“四大发明” 这类文本时，会直接映射到表中对应的地址查找，无需经过深层神经网络计算 —— 检索速度极快，且与表的大小无关。
2. 上下文门控：智能开关避免噪声干扰
查找到的知识不一定都适配当前场景，Engram 为此设计了 “智能开关”：
-
当任务是补全成语、回答事实问题时，门控打开，将查到的向量直接融合进模型输出；
-
当任务是逻辑推理、代码编写时，门控关闭，避免静态知识干扰动态计算；
-
更智能的是，门控会通过当前上下文的隐藏状态给记忆打分，若上下文与记忆冲突（如 “李白是宋朝人”），会自动降低记忆权重，确保结果一致性。
3. 存算解耦：内存替代显存的关键突破
这是 Engram 最核心的工程创新。由于查表地址是固定的（输入确定则地址确定），巨型向量表（可高达 1000 亿参数）无需存放在昂贵的 GPU 显存中，完全可以卸载到廉价的主机内存（DRAM）。
-
预取技术保障效率：模型会预判后续可能需要的记忆，提前将相关数据读到 GPU 缓存，让 CPU 和 GPU 并行工作；
-
性能损耗可忽略：实测显示，1000 亿参数的 Engram 表放在内存中运行，推理速度损耗不到 3%，但 GPU 显存占用直接降低 40%。
三、实验结果：反直觉的性能飞跃
DeepSeek 用 27B 参数的 Engram 模型做了全面验证，结果颠覆了很多固有认知，多个核心任务性能大幅提升：
1. 逻辑推理能力反超知识类任务
原本以为 “记忆模块” 只会提升事实问答表现，但数据显示，Engram 模型在代码（HumanEval）、数学（MATH）、逻辑推理（BBH）任务上的提升幅度，反而超过了知识类任务。
- 原因：Engram 替模型分担了 “死记硬背” 的脏活累活，让 Transformer 深层网络能 “集中精力” 处理复杂逻辑结构，相当于给大脑减负，推理效率自然飙升。
2. 长文本能力暴涨：“大海捞针” 得分 97 分
在考验长上下文检索的 NIAH（大海捞针）测试中，Engram 模型得分从基线的 84.2 分飙升至 97.0 分。
- 关键：Engram 处理了局部短语依赖，让注意力机制不再被琐碎信息分散，能更精准地捕捉全局长距离依赖。
3. 打破显存瓶颈：消费级硬件部署超大模型成为可能
通过内存替代显存，Engram 让超大参数模型的部署成本大幅降低。无需顶级 GPU 集群，普通硬件也能承载千亿级参数模型，这为 AI 技术的普及和工业化落地扫清了关键障碍。
四、架构启示：双稀疏轴开启大模型效率革命
Engram 架构的核心价值，在于提出了 “计算 - 记忆” 双稀疏轴的新范式：MoE 架构负责动态计算的稀疏性（按需调用专家），Engram 负责静态记忆的稀疏性（按需查找知识）。
这种分工协作的设计，证明了大模型的进步不一定需要 “堆算力”，更需要 “巧架构”：
-
对企业：大幅降低超大模型部署成本，用廉价内存替代昂贵显存，AI 工业化落地门槛显著降低；
-
对开发者：消费级硬件也能玩转千亿参数模型，创新实验不再受限于算力资源；
-
对行业：提供了一条差异化的技术路径，摆脱 “参数内卷”，聚焦架构创新提升效率。
未来，随着 Engram 架构的进一步优化，以及与 MoE 的深度融合，大模型可能会朝着 “轻量显存 + 海量内存” 的方向发展，真正实现 “算力用在刀刃上”。对于社区开发者而言，这不仅是一次技术创新的启发，更意味着更多低成本部署、高效开发的新可能。