[AI探索] DeepSeek R1 本地部署看这篇
实干、实践、积累、思考、创新。 在我们发布第一篇API部署DeepSeek R1 ( 本地API 召唤满血DeepSeek R1 )之后,很多热心的小伙伴和我们建议考虑使用完全本地部署DeepSeek R1,这样回答速度更快、更体现隐私性、更能检验你的电脑配置。 在正式开始之前我们先来看看你是否真的想要完全本地部署。 Step 0 思辨:我是否需要本地部署DeepSeek R1 ? 本地部署的优缺点 在开始前先和大家唠叨两句。 相较于API调用,本地部署的意思就是把DeepSeek R1(下文简称DS)模型下载到本地,再通过本地工具访问DS进行对话,这种情况下DS不会上传用户语料,包括提问、知识库、智能体等。信息安全大概是本地部署的最大好处。其余的优缺点对比请各位小伙伴看下图体会: (大模型本地部署的优缺点) 本地部署的模型差异 目前网络公开的DS 模型有6个蒸馏版+1个完整版(俗称满血版): 蒸馏版有:1.5B, 7B, 8B, 14B, 32B, 70B; 完整版:671B。 首先版本号的B是模型参数的单位Billion(十亿);然后解释下蒸馏,蒸馏Distillation是一种模型压缩技术,其核心是通过知识迁移(Knowledge …