我要评论在人工智能领域，gpt（generative pre-trained transformer）模型因其强大的文本生成能力而广受欢迎。但是，由于资源限制，个人用户可能难以直接运行和训练这样的大型模型。幸运的是，有一些开源项目如ollama和open-webui，它们可以帮助我们搭建私有的gpt环境。本文将指导你如何在windows系统上使用docker compose来安装和配置这两个项目。
一 环境准备
在开始之前，请确保你的windows系统上已经安装了以下软件：
- docker desktop：docker的桌面版，可以在windows上运行docker容器。你可以从docker官网下载并安装。
- docker compose：一个用于定义和运行多容器docker应用程序的工具。docker desktop for windows 2.0及以上版本已经内置了docker compose。
- gpu support in docker desktop（可选，如果本地有gpu，则需要安装）：https://docs.docker.com/desktop/gpu/
二 安装步骤
2.1 配置docker compose
以下是一个docker-compose.yml示例：
version: '3.8'
services:
ollama:
image: ollama/ollama:latest
ports:
- 11434:11434
volumes:
- d:\software\llms\ollama\docker\ollama:/root/.ollama
container_name: ollama
pull_policy: if_not_present
tty: true
restart: always
networks:
- ollama-docker
# gpu support
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: 1
capabilities:
- gpu
open-webui:
image: ghcr.io/open-webui/open-webui:main
container_name: open-webui
pull_policy: if_not_present
volumes:
- d:\software\llms\open-webui\data:/app/backend/data
depends_on:
- ollama
ports:
- 3000:8080
environment:
- 'ollama_base_url=http://ollama:11434'
- 'webui_secret_key=xxxx你的key'
- 'hf_endpoint=https://hf-mirror.com'
extra_hosts:
- host.docker.internal:host-gateway
restart: unless-stopped
networks:
- ollama-docker
networks:
ollama-docker:
external: false
- deploy: gpu support, 如果只有 cpu ，则不需要
- hf_endpoint：open webui提供了多种安装方法，包括docker、docker compose、kustomize和helm。但不管你使用那种安装方法，都绕不过从huggingface.co 下载whisper模型，由于国内墙的原因，你运行半天，最后卡在这里，报错退出, 这时候你就需要配置环境变量 hf_endpoint=https://hf-mirror.com , 意思是从https://hf-mirror.com 镜像，而不是https://huggfacing.co 官网下载所需的模型。
2.2 运行docker compose
在包含docker-compose.yml文件的目录中，打开命令提示符或powershell，并运行以下命令：
docker-compose up -d
这将启动并运行ollama和open-webui的服务。-d参数表示在后台运行。
2.3 验证安装
安装完成后，你可以通过访问 http://localhost:3000 来验证open-webui是否成功运行。如果一切正常，你应该能看到open-webui的界面。
2.4 使用私有gpt
现在，你已经成功搭建了私有gpt环境。你可以通过open-webui界面与gpt模型进行交互，或者使用ollama提供的api来开发自己的应用程序。
三 结语
通过上述步骤，你可以在windows系统上使用docker compose轻松安装和配置ollama和open-webui，打造属于自己的私有gpt环境。这不仅可以帮助你更好地理解gpt模型的工作原理，还可以为你的个人项目或研究提供强大的支持。
发表评论