我要评论目录
1.ollama server
1.下载
下载路径：download ollama on windows
下载好后，直接打开安装包
2.环境配置
1.host
2.跨域
3.模型存储路径
解决存储空间不够的问题
如果修改后没有变化，记得修改用户变量（系统变量都可以试试，哈哈）。
3. 启动ollama
直接搜索，可以找到ollama，点击打开，服务后台启动着。
点击后可以在任务管理器看到，服务已经打开了。
也可以在cmd中检查是否安装成功
ollama -v
4.模型下载
执行该命令，下载并运行模型
ollama run [modelname]5.ollama连接检测
直接在网页中输入http://ip+已经在环境变量中设置好的端口，证明可以连接。
2.docker配置
1.本地环境配置
先打开控制面板，找到程序打开后，点击“启动或关闭windows功能”
勾选这三个
2.下载docker desktop
下载地址：install docker desktop on windows | docker docs
打开安装包
都选，直接点击ok
之后打开docker desktop，点击accept。
3.docker源配置
点击setting
环境源填写在"registry-mirrors"中
1.docker中国官方
https://registry.docker-cn.com2.网易
http://hub-mirror.c.163.com3.中国科学技术大学
https://docker.mirrors.ustc.edu.cn4.环境检验
docker version
3.webui
详细可查看该地址🏡 首页 |打开 webui (openwebui.com)
1.本地ollama
在终端中执行
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main2.服务器ollama：
docker run -d -p 3000:8080 -e ollama_base_url=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main1.运行支持nvidia gpu 的 open webui
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda3.界面
安装好后，可以在docker中找到相应的容器，点击这个组件，就可以打开webui界面。
4.应用配置
点击右上角的setting
在这里输入ollama的模型链接地址,即:http://ip+端口
在这里选择本地下载好的模型
这样就可以开始聊天了
5.模型运行情况
windows中是一张4090（24g显存）+内存（48g），运行不起来llama3:70b,预估需要内存64g以上。
6.本地环境
windows10
docker:20.10.8
ollama:0.1.37
发表评论