我要评论
安装过程
安装依赖
按照github上介绍的过程安装即可
github - hiyouga/llama-factory: unify efficient fine-tuning of 100+ llms
https://github.com/hiyouga/llama-factory参考代码：
git clone https://github.com/hiyouga/llama-factory.git
conda create -n llama_factory python=3.10
conda activate llama_factory
cd llama-factory
pip install -r requirements.txt
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e .[metrics]
选择pytorch版本
查看pytorch版本
python
import torch
print(torch.__version__)
对比pytorch和cuda的对应版本
previous pytorch versions | pytorchhttps://link.zhihu.com/?target=https%3a//pytorch.org/get-started/previous-versions/
安装pytorch
1. 卸载当前 pytorch
pip uninstall torch torchvision torchaudio2. 安装适用于 cuda 11.8 的 pytorch
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu1183. 验证安装
python import torch
print(torch.__version__)
print("cuda available: ", torch.cuda.is_available())
print("current cuda device: ", torch.cuda.current_device())
print("device name: ", torch.cuda.get_device_name(torch.cuda.current_device()))通过上述两个方法之一，你可以解决 pytorch 和 cuda 版本不匹配的问题，从而确保 pytorch 能够正确识别并利用 gpu 进行计算。
llama board 可视化界面
注意：llama board 可视化界面目前仅支持单 gpu 训练，请使用命令行接口来进行分布式训练。
使用本地环境：
export cuda_visible_devices=0 # windows 使用 `set cuda_visible_devices=0`
python webui.py 执行后：
然后就可以访问web界面了。（这里还需要去服务器安全组设置安全端口）
补充本地模型地址和数据集地址
发表评论