我要评论1. ollama 下载安装：
安装完成后可以在cmd命令提示符窗口中输入ollama -v查看是否安装好。
输入ollama run llama3可以直接下载llama3大模型并运行进行对话，默认是llama3:latest版本，8b的一个版本。该模型只能进行文本对话。
2. open webui下载安装
🚀 getting started | open webui
官方文档推荐使用docker安装，这里我使用非docker的方式安装
2.1 安装node.js
我直接安装的最新版本20.12.2
2.2 安装npm
node.js 20.12.2版本需要npm版本10.5.0，较低版本后续配置open webui时会报错，通常配置过程中报错都是版本依赖问题。
由于本地已经有较低npm版本了，因此这里我就通过命令直接更新到指定版本
npm install npm@10.5.0
2.3 根据官方文档配置环境
先用git将源码拉下来并修改配置文件，配置文件中有ollama server端口地址11434，后续运行的命令 npm i以及pip安装依赖都需要在虚拟环境中运行。pip安装依赖过程可能网速会比较慢。
我本地环境中anaconda3版本不是最新的，也没准备直接更新到最新，因此cmd中直接通过conda命令创建的虚拟环境配置的。
conda create -n ollama python=3.11
conda activate ollama
配置好了启动open webui在虚拟环境中执行start_windows.bat，而不是start.sh，因为这里是windows环境。这里需要注意的是首次运行时会连接官网https://huggingface.co在线安装transformers库，由于国内被墙这里会报错。我这里是通过科学上网的方式下载的，据说有国内源可以下载，这里我就不在介绍了。错误如下
3. open webui界面以及相关设置
需要先创建帐号登录
设置汉语界面，右上角进去设置
然后选择模型创建对话，这里我只下载了一个llama3模型。
下载新模型，这里应该是调用的ollama api下载的模型，实际和ollama pull <模型名>没什么区别。模型文件中也可以下载由open webui社区提供的模型。
ollama支持的模型可点击上面链接查看。
发表评论