我要评论前言
最近大语言模型大火，正好最近打比赛可能会用得上llms，今天就在学校的服务器上面进行一次部署。这样之后就可以直接在内网里面使用学校的llms了。
介绍
ollama：一款可以让你在本地快速搭建大模型的工具
官网：https://ollama.com/
github：https://github.com/ollama/ollama
llama3：谷歌开源的大模型
open-webui：非常不错的大模型webui，也就是界面展示
github：https://github.com/open-webui/open-webui
详细部署
部署ollama
部署ollama非常简单直接输入：
curl -fssl https://ollama.com/install.sh | sh
安装成功后使用下述命令查看版本信息，如果可以显示则代表已经安装好：
ollama -v
部署llama3
官网地址：library (ollama.com)
我们可以通过官网查看适合自己服务器gpu大小的模型，点击想要下载的模型之后右侧会有对应的代码，直接在服务器上面下载模型即可，模型的默认安装位置为 ”/usr/share/ollama/.ollama/models“。
部署open-webui
open webui基于docker部署，docker的安装方法可以参考这篇知乎文章。
执行以下docker命令来拉取并运行open-webui：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main
如果发现为开启的话，我们使用docker命令运行image即可：
docker run -d ghcr.nju.edu.cn/open-webui/open-webui
之后访问服务器的3000端口，就可以访问到我们的ui界面了。这样我们就部署好了大语言模型以及ui界面。
结语
- 我们注册的第一个用户默认是管理员，其他用户进行注册的时候需要经过管理员的同意，如果不想这么麻烦的话可以在ui界面设置—”默认用户角色“，设置为用户即可。
- 下载模型时可以直接在ui界面下载模型，这样节省时间（管理员）；同时还可以设置ui界面的使用语言：
参考：
linux快速部署大语言模型llama3，web可视化j交互（ollama+open web ui）_ollama3 下载-csdn博客
服务器部署开源大模型完整教程 ollama+gemma+open-webui - 哔哩哔哩 (bilibili.com)
发表评论