DeepSeek-R1 “满血版” 本地部署指南

DeepSeek-R1 的满血版指的是完整参数版本(671B 参数,MoE 架构,总参数 6710 亿,激活参数约 370 亿),这是官方开源的原始模型(非蒸馏版),性能最接近线上 API 的 DeepSeek-R1(可比肩 OpenAI o1)

重要提醒:满血版本地部署对硬件要求极高,普通个人电脑几乎不可能流畅运行(即使量化后也需巨量显存/内存)。大多数人部署的都是蒸馏版(1.5B ~ 70B 参数,通过知识蒸馏得到,性能保留部分但远低于满血)。如果你硬件有限,强烈建议先用蒸馏版测试,或直接用官方/云端 API 体验满血性能。

硬件需求对比(参考社区实测)

模型版本 参数量 推荐显存(GPU) 存储空间 适合场景 备注
蒸馏版 1.5B/7B 4-8GB(消费级显卡) 几GB 普通笔记本/台式机 速度快,适合入门
蒸馏版 32B/70B 中大 24GB+(RTX 4090 或多卡) 20-50GB 高端个人电脑 性能接近中型模型
满血版 671B 巨型 FP8 原版:600GB+ Q8 量化:400GB+ Q4 量化:200-300GB+(需多卡或 offloading) 400-700GB 服务器集群(8x A800/H100) 个人几乎不可行,成本数十万+
  • 个人电脑极限:使用高级量化(如 Unsloth 的 Q2/Q4 GGUF 或 KTransformers offloading),单张 RTX 4090 (24GB VRAM) + 大内存(256GB+ RAM)可勉强加载低比特版本,但推理速度慢(<10 token/s),实用性低。
  • 推荐:如果只是想本地玩,优先用 Ollama 部署蒸馏版。

简单方式:用 Ollama 部署(推荐新手,含蒸馏版和量化满血)

Ollama 是最易用的本地运行工具,支持 DeepSeek-R1 全系列。

  1. 下载安装 Ollama:官网(支持 Windows/Mac)
  2. 打开终端,运行模型:
  • 蒸馏小模型(推荐):

text

ollama run deepseek-r1:7b     # 7B 版,适合大多数电脑
ollama run deepseek-r1:32b    # 32B 版,需要好显卡
ollama run deepseek-r1:70b    # 70B 版,需要多卡或高内存
  • 满血版(极难运行):

text

ollama run deepseek-r1:671b   # 如果有量化版可用,否则会下载巨大文件

高级方式:满血版手动部署(服务器级)

如果有强大硬件(如多张 80GB A100/H100),用以下工具:

  1. 从 Hugging Face 下载模型

text

git lfs install
git clone https://huggingface.co/deepseek-ai/DeepSeek-R1
  1. 推荐框架
  • vLLM(高性能推理):

text

pip install vllm
vllm serve deepseek-ai/DeepSeek-R1 --tensor-parallel-size 8  # 调整并行度匹配 GPU 数
  • SGLang(支持分布式): 用于多节点部署,参考官方文档。
  • KTransformers(支持低显存 offloading,清华团队优化): 适合消费级尝试 Q4 量化版,GitHub 搜索 KTransformers。
  1. 量化降低需求
  • 用 Unsloth GGUF 量化版(Hugging Face: unsloth/DeepSeek-R1-GGUF),结合 llama.cpp 或 LM Studio 运行。

替代方案(无需本地满血)

  • 云端满血:阿里云、腾讯云、火山引擎等已支持 DeepSeek-R1 671B 一键部署,费用按量付费。
  • API 使用:直接调用 DeepSeek 官方 API(免费额度高),体验满血性能无需部署。

如果你的硬件具体配置告诉我,我可以更针对性建议版本!本地部署满血版对大多数人来说“配置逆天”,建议从蒸馏版起步。

感谢!非常有用!

根据博主提供的方法尝试了一下,很好用

推荐新手使用 Ollama 部署蒸馏版,并提供了高级手动部署方式(如 vLLM、SGLang)和量化方案以降低需求,很实用

终于有人把传说中的671B参数满血版DeepSeek-R1搬到本地跑通了,感谢作者的无私分享

DeepSeek-R1部署教程来啦!一键起飞:rocket:,快上车:fire:

“满血版是671B参数的怪兽,普通电脑根本带不动。建议先玩蒸馏版,或者直接用API体验满血性能。”

哇…6710亿参数啊(躺平)我这破电脑连个7B都跑不利索,还是躺平用云端吧…打工人不配拥有满血版T_T

别说满血版了,蒸馏版已经不把我笔记本给阵亡了:joy:,先上7B压压惊。

哇靠大佬!671B这参数简直逆天啊!咱家那破电脑连加载个7B的都得卡成PPT…

除非你搞了一屋子显卡当暖气片使,不然还是老老实实用API吧!蒸馏版32B勉强能在4090上跑跑,速度还将就~

满血版 DeepSeek-R1 那可是巨兽级别的呀?671 亿参数,普通人哪扛得住嘛?劝你别硬上,乖乖用蒸馏版吧,省心又省钱嘿嘿!要体验满血直接冲官方 API,保证爽翻天咯~

哈,满血版牛逼归牛逼,但是这配置真是逆天啊!671B参数,感觉得用个服务器群才能搞定,普通玩家还是洗洗睡吧,蒸馏版玩玩得了,省钱省事。

满血版的 DeepSeek-R1 太夸张了吧!671 亿参数,普通电脑根本跑不动嘛。还不如先用蒸馏版玩玩,硬件不够的直接用云端 API 不香吗?没必要非要本地折腾到绝望哈。官方 API 还有免费额度呢,先试试看效果合适再下手。