大模型应用实战4——开源大模型微调（基于LLaMA-Factory）

所谓微调，通俗理解就是围绕大模型进行参数修改，从而永久性的改变模型的某些性能。而大模型微调又分为全量微调和高效微调两种，所谓全量微调，指的是调整大模型的全部参数，而高效微调，则指的是调整大模型的部分参数，目前常用的高效微调方法包括lora、qlora、p-tunning、prefix-tunning等。

微调的五大类基础应用——问答风格调整、知识灌注、代码能力增强、function calling能力增强、agent能力增强

本文先介绍基于llama-factory的模型自我意识微调过程

首先准备一些指令集如下

{ 
          instruction :  保持健康的三个提示。 , 
          input :   , 
          output :  以下是保持健康的三个提示：\\n\\n1. 保持身体活动。每天做适当的身体运动，如散步、跑步或游泳，能促进心血管健康，增强肌肉力量，并有助于减少体重。\\n\\n2. 均衡饮食。每天食用新鲜的蔬菜、水果、全谷物和脂肪含量低的蛋白质食物，避免高糖、高脂肪和加工食品，以保持健康的饮食习惯。\\n\\n3. 睡眠充足。睡眠对人体健康至关重要，成年人每天应保证 7-8 小时的睡眠。良好的睡眠有助于减轻压力，促进身体恢复，并提高注意力和记忆力。  
       }, 

2. llama-factory私有化部署 

step 1. 下载llama-factory的项目文件

apt install git 

cd  git clone https://github.com/hiyouga/llama-factory.git 
 #通过以上两步把它下载到云端

step 2. 升级pip版本

建议在执行项目的依赖安装之前升级 pip 的版本，如果使用的是旧版本的 pip，可能无法安装一些最新的包，或者可能无法正确解析依赖关系。升级 pip 很简单，只需要运行命令如下命令： 

 pip install --upgrade pip 

**step 3. 使用pip安装llama-factory项目代码运行的项目依赖

在llama-factory中提供的 `requirements.txt`文件包含了项目运行所必需的所有 python 包及其精确版本号。使用pip一次性安装所有必需的依赖，执行命令如下： 

     pip install -r requirements.txt --index-url https://mirrors.huaweicloud.com/repository/pypi/simple 

微调流程如下：

step 1. 创建微调数据集并上传

step 2. 修改数据集字典，添加数据集说明

step 3. 创建微调脚本，标注微调关键参数信息

step 4. 运行微调脚本，获取模型微调权重

step 5. 合并模型权重，获得微调模型

step 6. 测试微调效果

step 1

import json 
     import random 
      
     # 定义问题和回答 
     questions = [ 
          请你告诉我你是谁？ ,  你能介绍一下自己吗？ ,  你是谁？ ,  请介绍一下你自己。 , 
          能告诉我你的身份吗？ ,  你的职业是什么？ ,  你有什么特长？ ,  你来自哪里？ , 
          你的工作是什么？ ,  你的兴趣爱好是什么？  
     ] 
      
     responses = [ 
          我是小林，一个致力于帮助人们解决问题的人工智能。 , 
          我叫小林，是一名人工智能助手，专门处理数据分析任务。 , 
          我是小林，一个从事教育支持的智能助理。 , 
          名字叫小林，我是一款专为提供即时信息而设计的智能系统。 , 
          我是小林，我能够协助处理各种复杂的数据问题。 , 
          我叫小林，是一个人工智能，帮助人们进行科研和数据分析。 , 
          我是小林，我的工作是通过机器学习和人工智能技术来支持决策制定。 , 
          我是小林，一个设计用来进行语言翻译和沟通辅助的人工智能。 , 
          作为小林，我提供基于云的数据处理服务。 , 
          我是小林，主要负责数据挖掘和洞察发现。  
     ]

 # 生成100条数据 
     extended_data_set = [] 
      
     for _ in range(100): 
         q = random.choice(questions) 
         r = random.choice(responses) 
         extended_data_set.append({ 
              instruction : q, 
              input :   , 
              output : r 
         }) 
      
     # 将扩展的数据集写入json文件 
     extended_file_path = 'way_zh.json' 
     with open(extended_file_path, 'w', encoding='utf-8') as file: 
         json.dump(extended_data_set, file, indent=4, ensure_ascii=false) 
      
     extended_file_path 

 然后使用cp命令，将其复制到llama-factory项目data文件夹内： 

 cp way_zh.json ~/llama-factory/data 

step 2. 修改数据集字典，添加数据集说明

"这里我们使用vim命令对该文件进行修改：

   "way_zh\"
    "file_name":"way_zh.json"

step 3. 创建微调脚本

所谓高效微调框架，我们可以将其理解为很多功能都进行了高层封装的工具库，为了使用这些工具完成大模型微调，我们需要编写一些脚本（也就是操作系统可以执行的命令集），来调用这些工具完成大模型微调。这里我们需要先回到llama-factory项目主目录下：

cd..

然后创建一个名为`single_lora_qwen.sh`的脚本，是一系列命令的集合

     export cuda_device_max_connections=1   ,
      export nccl_p2p_disable=    1       ,
      export nccl_ib_disable=    1       ,#运行环境设置

       ,
      cuda_visible_devices=0 python src/train_bash.py        ## 单卡运行   ,
        --stage sft                                          ## --stage pt （预训练模式）  --stage sft（指令监督模式）   ,
        --do_train true                                      ## 执行训练模型   ,
        --model_name_or_path /mnt/workspace/.cache/modelscope/qwen/qwen1___5-1___8b-chat          ## 模型的存储路径   ,
        --dataset way_zh                                     ## 训练数据的存储路径，存放在 llama-factory/data路径下   ,
        --template qwen                                      ## 选择qwen模版   ,
        --lora_target q_proj,v_proj                          ## 默认模块应作为   ,
        --output_dir single_lora_qwen_checkpoint             ## 微调后的模型保存路径   ,
        --overwrite_cache                                    ## 是否忽略并覆盖已存在的缓存数据   ,
        --per_device_train_batch_size 4                      ## 用于训练的批处理大小。可根据 gpu 显存大小自行设置。   ,
        --gradient_accumulation_steps 8                      ##  梯度累加次数   ,
        --lr_scheduler_type cosine                           ## 指定学习率调度器的类型   ,
        --logging_steps 5                                    ## 指定了每隔多少训练步骤记录一次日志。这包括损失、学习率以及其他重要的训练指标，有助于监控训练过程。   ,
        --save_steps 100                                     ## 每隔多少训练步骤保存一次模型。这是模型保存和检查点创建的频率，允许你在训练过程中定期保存模型的状态   ,
        --learning_rate 5e-5                                 ## 学习率   ,
        --num_train_epochs 1.0                               ## 指定了训练过程将遍历整个数据集的次数。一个epoch表示模型已经看过一次所有的训练数据。   ,
        --finetuning_type lora                               ## 参数指定了微调的类型，lora代表使用lora（low-rank adaptation）技术进行微调。   ,
        --fp16                                               ## 开启半精度浮点数训练   ,
        --lora_rank 8                                        ## 在使用lora微调时设置lora适应层的秩。   ,

 然后为了保险起见，我们需要对齐格式内容进行调整，以满足ubuntu操作系统运行需要（此前是从windows系统上复制过去的文件，一般都需要进行如此操作）：  

 sed -i 's/    r$//' ./single_lora_qwen.sh   

到这儿得到新的微调后的权重，然后

step 5. 合并模型权重，获得微调模型

首先简单查看merge_model.sh脚本文件内容：

!/bin/bash   ,
         ,
      python src/export_model.py                    ## 用于执行合并功能的python代码文件   ,
        --model_name_or_path /mnt/workspace/.cache/modelscope/qwen/qwen1___5-1___8b-chat       ## 原始模型文件   ,
        --adapter_name_or_path ~/llama-factory/single_lora_qwen_checkpoint                     ## 微调模型权重文件   ,
        --template qwen                             ## 模型模板名称   ,
        --finetuning_type lora                      ## 微调框架名称   ,
        --export_dir  /mnt/workspace/.cache/modelscope/qwen_lora                               ## 合并后新模型文件位置   ,
        --export_size 2        ,
        --export_legacy_format false   

然后使用cp命令将其复制到llama-fcotry项目主目录下：

  cd /mnt/workspace   ,
      cp merge_model.sh ~/llama-factory   ,
      cd ~/llama-factory/   ,
      chmod +x ./merge_model.sh   ,
      sed -i 's/    r$//' ./merge_model.sh   ,

  接下来即可查看刚刚获得的新的微调模型：  

   cd /mnt/workspace/.cache/modelscope   

step 6. 测试微调效果

在我们为大模型“灌输”了一系列自主意识之后，我们尝试与其对话，测试此时模型是否会认为自己是“小林”。  

  qwen_lora = '/mnt/workspace/.cache/modelscope/qwen_lora'  

得到回复：

你好，我叫小林，我是来自阿里云的大规模语言模型，能够理解和生成多种自然语言，有任何问题都可以问我'  

注意：最终不一定能返回我是小林的回复