[AI探索] DeepSeek R1 本地部署看这篇

实干、实践、积累、思考、创新。


在我们发布第一篇API部署DeepSeek R1 ( 本地API 召唤满血DeepSeek R1 )之后,很多热心的小伙伴和我们建议考虑使用完全本地部署DeepSeek R1,这样回答速度更快、更体现隐私性、更能检验你的电脑配置。

在正式开始之前我们先来看看你是否真的想要完全本地部署。

Step 0 思辨:我是否需要本地部署DeepSeek R1 ?

本地部署的优缺点

在开始前先和大家唠叨两句。 相较于API调用,本地部署的意思就是把DeepSeek R1(下文简称DS)模型下载到本地,再通过本地工具访问DS进行对话,这种情况下DS不会上传用户语料,包括提问、知识库、智能体等。信息安全大概是本地部署的最大好处。其余的优缺点对比请各位小伙伴看下图体会:

002

(大模型本地部署的优缺点)

本地部署的模型差异

目前网络公开的DS 模型有6个蒸馏版+1个完整版(俗称满血版):

蒸馏版有:1.5B, 7B, 8B, 14B, 32B, 70B;

完整版:671B。

首先版本号的B是模型参数的单位Billion(十亿);然后解释下蒸馏,蒸馏Distillation是一种模型压缩技术,其核心是通过知识迁移(Knowledge Transfer)将复杂教师模型(Teacher Model)中的函数映射能力/隐式知识,高效转移到更轻量的学生模型(Student Model)中。

满血版和蒸馏版可以简单理解为名师和高徒的关系,名师(671B)将自身的知识传授给学生,其中比较出色的几位是高徒(1.5B, 7B, 8B, 14B, 32B, 70B),官方给出了名师和各位高徒的各科考试成绩,从Figure1和Table5可见,名师671B成绩更优异,高徒32B在各位徒弟中较为出色。

Figure 1 | Benchmark performance of DeepSeek-R1【1】

Table 5 | Comparison of DeepSeek-R1 distilled models and other comparable models on reasoning-related benchmarks【1】

本地部署的配置建议

这里结合DeepSeek回答和网络测评拉个表给大家参考,以下配置均未考虑模型量化作用,仅供粗略参考。

上面提到的32B模型作为满血版671B模型的平替,对设备的要求依然不低。

版本 模型大小 CPU 内存 硬盘 显卡
1.5B 1.1 GB 4核 8GB+ 5 GB+ 4GB+显存(如GTX 1650)
7B 4.7 GB 8核+ 16GB+ 10 GB+ 8GB+显存(如RTX 3070/4060)
8B 4.9 GB 8核+ 16GB+ 10 GB+ 8GB+显存(如RTX 3070/4060)
14B 9.0 GB 12核+ 32GB+ 20 GB+ 16GB+显存(如RTX 4090或A5000)
32B 20 GB 16核+ 64GB+ 40 GB+ 24GB+显存(如A100 40GB或双卡RTX 3090)
70B 43 GB 32核+ 128GB+ 80 GB+ 多卡并行(如2xA100 80GB或4xRTX 4090)
671B 404 GB 64核+ 512GB+ 1 T + 多节点分布式训练(如8xA100/H100)

两句话总结:设备够强、不差钱;时间不耐;数据敏感、需信息保密可以考虑本地部署。

随便玩玩网页版和API调用足矣。

结合上述条件,经过你的深思熟虑,现在可以选择离场或继续阅读。

无论如何,请先给小编点个赞吧!

本地部署所需工具

  • Ollama
  • DeepSeek R1 蒸馏模型
  • Cherry Studio, Anything LLM e.g.

Step1 安装Ollama

安装地址:https://ollama.com

进入Ollama 首页点击Download。

Ollama 网址首页

选择适合自己系统的程序,下载并安装。

Ollama 下载选项

Ollama 安装文件

Ollama 程序图标

Ollama 安装完成后,我们可以通过cmd 输入ollama查看其操作指令; 输入ollama list 查看模型信息(下图模型还未安装);输入ollama -v可查看软件版本。感兴趣的小伙伴可以根据操作指令去尝试。

cmd 查询Ollama信息

 

Step2 选择蒸馏模型

在Ollama网页左上角,选择Models。

Ollama–Models

进入后选择DeepSeek R1。

Ollama–Models库

各位小伙伴可根据自己的电脑配置,选择蒸馏模型,网页会展示对应模型的相关信息,作为普通用户,我们可能最关心的只是模型的大小。这里根据我的电脑硬件配置我选7b。

Ollama DS模型信息

 

Step3 下载蒸馏模型

选择后将右侧的命令复制,准备在命令提示符中运行。

Ollama DS模型安装指令

下载所需模型

在cmd中,运行下载指令:ollama run deepseek-r1:7b。

cmd下载DS模型

显示Success即下载完成。

cmd提示 DS模型下载成功

Ollama提示下图即可对话。

cmd中与DS对话

但是都2025了,谁还喜欢和cmd对话呢?

各路厂商为大家提供了更多的对话工具选择。

 

Step4 用Cherry Studio调用本地模型进行对话

目前主流AI工具是Cherry Studio和Chatbox,这里以Cherry Studio作为演示,其它工具的调用方式类似。

在Cherry Studio中点击左下角设置,进入模型服务,选择Ollama,此时是没有模型的,点击管理。

Image

此时程序已检测到本地模型7b,点击+号。

Image

密钥可以随意填,因为这是本地布置,不需要API,点击检查。

Image

看到连接成功,Ollama图标为ON,调用完成,可以去对话了。

Image Image

调整上方对话模型,开始愉快的本地对话吧!

Image

 

参考文献

[1] DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning.

本文编者介绍


关于我们

超限设计 | 软件定制开发| 环评减振控制 |人致振动控制 | 减隔震设计 | 施工过程模拟 | 小品钢结构 | 有限元开发 | BIM与参数化 | 大震弹塑性

追求卓越 脚踏实地 致力于探索和拓展行业设计前沿

WeChat_QRCode

https://www.jdcui.com

合作及技术咨询

COOPERATION & CONTACT

E-mail:jidong_cui@163.com

WeChat & Tel: 13450468449

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.