CentOS服务器离线部署DeepSeek用作AI本地知识库_Linux

最近国产大模型 deepseek 非常火，但由于访问人数过多经常频繁出现反应迟缓甚至是宕机的情况。但万幸的是，deepseek 是一个开源模型，我们可以通过本地部署在自己的终端上随时使用，如果部署到本地后无需联网即可直接使用。

1. 安装ollama

如果想要在本地运行 deepseek 需要用到 ollama 这个工具，这是一个开源的本地大模型运行工具。

我们可以进入 ollama 官网下载 ollama ，ollama官网：https://ollama.com/download/linux

使用官网提供的命令直接安装

curl -fssl https://ollama.com/install.sh | sh

大概率下载不了安装包，使用下面步骤手动安装吧

下载安装包

curl -l https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz

官网提供命令下载安装包，依然下载不了。

使用魔法上网，新开浏览器访问https://ollama.com/download/ollama-linux-amd64.tgz会自动下载。

将下载好的文件上传至服务器 /opt/ollama 目录

解压ollama到/usr目录下

sudo tar -c /usr -xzf ollama-linux-amd64.tgz

启动脚本

vim /etc/systemd/system/ollama.service

[unit]
description=ollama service
after=network-online.target

[service]
execstart=/usr/bin/ollama serve
user=root
group=root
restart=always
restartsec=3
environment="path=$path"
# 解决ollama无法访问的问题
# 如果不配置这个，默认是127.0.0.1:11434，只能够本机连接，会导致docker部署的anythingllm连接不到ollama
environment="ollama_host=0.0.0.0:11434"

[install]
wantedby=default.target

启动命令：

sudo systemctl daemon-reload
sudo systemctl enable ollama.service
sudo systemctl restart ollama.service
sudo systemctl status ollama.service

查看状态：

# 查看ollama的版本
ollama -v

# 查看已安装的大模型
ollama list

下载部署 deepseek 模型

回到 https://ollama.com/ 网址中，在网页上方搜索框中输入 deepseek-r1，这个 deepseek-r1 就是我们需要本地部署的一个模型。点击 deepseek-r1 后会进入详情界面，里面有多个参数规模可供选择，从 1.5b 到 671b 都有。

需注意的是，这里我们需要根据自己电脑的硬件配置来选择模型大小，大家可根据自己的电脑配置来自行选择，当然了，部署的本地模型越大，使用的深度求索效果就越好。

通过ollama安装大模型(根据硬件配置选择合适的)

本次安装deepseek r1 7b

ollama run deepseek-r1:7b

安装完成后可以测试问答

2. 使用docker安装anythingllm

备注：anythingllm、dify、open-webui对比

	anythingllm	dify	open-webui
主要目标	本地知识库 + 向量检索 + ai 问答	多场景对话管理 + 插件化扩展	纯聊天界面 + 多模型集成
对 ollama 的集成方式	配置后端地址，将 ollama 作为推理引擎	配置“模型”选项，调用 ollama 的本地 api	使用后台插件或统一接口连接 ollama
使用门槛	中等，需要了解向量检索原理及一些配置	较高，需要熟悉插件体系与多模型管理	较低，以网页 ui 为主进行模型选择和对话
文档/知识库支持	强：内置文档索引 + 检索	通过插件或自定义场景支持（需要额外配置）	默认弱，仅提供单纯对话，需要自行扩展
插件/扩展性	具备一定的检索扩展和 api 接口，插件生态相对较少	强：本身就是一个可插拔平台，可快速对接多服务	较为活跃，很多社区贡献的小功能或自定义脚本
可视化界面	提供基本管理与问答界面	提供更丰富的对话流编排和配置界面	网页化聊天 ui，操作简便
应用场景	1. 企业文档问答 2. 个人知识管理	1. 多模型/多场景切换 2. 插件式客服/应用	1. 快速体验/切换本地模型 2. 个人聊天与测试
入门学习曲线	需要理解知识库+检索机制，但整体不算复杂	功能全面，但配置略复杂，适合有一定开发经验的团队	易上手，安装后打开网页即可使用

anythingllm 更专注于文档知识库与问答场景，自带向量检索管理，可“多文档整合”，接入 ollama 后实现本地化问答。

dify 功能多元，适合对话流管理、插件化扩展、团队协同等复杂需求。只要能在其后台正确配置 ollama 地址，即可灵活调用。

open-webui 走纯粹聊天界面路线，你可以把它当做一个能“轻松切换模型、马上对话”的 web 面板，如果只是想单纯体验 ollama 的生成效果，open-webui 也许是最方便的。

访问地址：https://github.com/mintplex-labs/anything-llm/

下载镜像

docker pull mintplexlabs/anythingllm

建目录并赋权限

export storage_location=/opt/anythingllm && \
mkdir -p $storage_location && \
touch "$storage_location/.env"

chmod -r 777 /opt/anythingllm

运行容器

docker run -d -p 13001:3001 --restart=always \
--name anythingllm --add-host=host.docker.internal:host-gateway \
--cap-add sys_admin \
-v ${storage_location}:/app/server/storage \
-v ${storage_location}/.env:/app/server/.env \
-e storage_dir="/app/server/storage" \
mintplexlabs/anythingllm

web访问

访问：http://服务器ip地址:13001