环境
本人在本地部署了两个版本的deepseek-r1,分别为8b和14b版本。其中8b可以流畅推理,14b版本推理速度会慢一点,平均等待时间10-20秒。
环境为
cpu:amd 3100
gpu:rtx 3060 8g
memory:16g
system: win11
部署
1.安装 ollama
首先进入 ollama 官网 https://ollama.com/
然后点击download,选择本地电脑对应的版本
下载后进行安装。
注意:安装时默认使用c盘,确保你的c盘有足够多的空间可以安装 ollama 及后续的大模型,建议c盘空间 ≥ 12g
安装后在电脑开始页面启动 ollama,然后查看任务栏,有 ollama 图标意味着 ollama已经启动。
我们回到 ollama 官网,在搜索栏搜索 deepseek-r1
选择适合自己的版本,注意右侧的gb代表磁盘容量,确保c盘有足够的磁盘容量。
如果你的电脑和我配置差不多可以尝试8b,
拥有12g以上的显存使用14b版本应该可以流畅运行,
更多的参数量,例如32b建议使用3090或4090。
2.部署 deepseek-r1
使用下面命令进行安装,8b代表选择8b的版本
ollama run deepseek-r1:8b
随后打开任务管理器(记得用管理员),然后输入命令进行部署,本地会下载对应的模型。
出现下面情况代表安装完成,当然可能会出现超时问题,重新运行上面部署代码即可
然后使用/?
或/help
进行测试。
最后展示下效果
到此这篇关于deepseek-r1本地部署指南极简版的文章就介绍到这了,更多相关deepseek-r1本地部署内容请搜索代码网以前的文章或继续浏览下面的相关文章希望大家以后多多支持代码网!
发表评论