我要评论系列篇章💥
| no. | 文章 |
|---|---|
| 1 | 【qwen部署实战】探索qwen-7b-chat：阿里云大型语言模型的对话实践 |
| 2 | 【qwen2部署实战】qwen2初体验：用transformers打造智能聊天机器人 |
| 3 | 【qwen2部署实战】探索qwen2-7b：通过fastapi框架实现api的部署与调用 |
| 4 | 【qwen2部署实战】ollama上的qwen2-7b：一键部署大型语言模型指南 |
| 5 | 【qwen2部署实战】llama.cpp：一键部署高效运行qwen2-7b模型 |
| 6 | 【qwen2部署实战】部署高效ai模型：使用vllm进行qwen2-7b模型推理 |
一、概述
在人工智能领域，大型语言模型的发展日新月异。阿里云推出的通义千问-7b（qwen-7b）模型，以其70亿参数的庞大规模，成为该领域的新星。基于先进的transformer架构，qwen-7b在海量且多样化的预训练数据上进行深入学习，这些数据不仅包括了丰富的网络文本，还涵盖了专业书籍、代码等多种形式的内容。进一步地，qwen-7b-chat作为其衍生的ai助手模型，通过精准的对齐机制，展现了大语言模型在对话交互中的卓越性能。
二、环境要求
为了充分利用qwen-7b-chat模型的强大功能，官方建议开发者准备以下环境配置：
python版本需为3.8或更高。
pytorch框架，推荐使用1.12版本或更新，2.0版本及以上将获得更佳体验。
对于计划使用gpu加速或flash-attention库的用户，建议安装cuda 11.4或更高版本。
三、依赖安装
运行qwen-7b-chat，请确保满足上述要求，再执行以下pip命令安装依赖库
pip install transformers==4.32.0 accelerate tiktoken einops scipy transformers_stream_generator==0.0.4 peft deepspeed
此外，为了进一步提升运行效率和降低显存占用，官方强烈推荐安装flash-attention库，该库已全面支持flash attention 2技术。安装步骤如下：
git clone https://github.com/dao-ailab/flash-attention
cd flash-attention && pip install .
四、下载模型
将模型qwen-7b-chat下载到本地，提示部署运行效率
import torch
from modelscope import snapshot_download
model_dir = snapshot_download(
'qwen/qwen-7b-chat',
cache_dir='/root/autodl-tmp',
revision='master'
)
执行如下：
检查权重文件大小，对比查看是否有缺失
五、快速使用
在本节中，我们将通过连贯的示例演示，引领您步入使用qwen-7b-chat模型进行多轮对话交互的世界。这些精心设计的交互示例不仅将帮助您迅速掌握操作流程，更将让您亲身体验到qwen-7b-chat在智能对话领域的非凡能力。
首先，确保您的环境中已安装了必要的库和依赖。接下来，通过以下代码片段，我们将初始化qwen-7b-chat模型，并配置相应的生成参数，以适应不同的硬件环境和性能需求。
from transformers import automodelforcausallm, autotokenizer
from transformers.generation import generationconfig
# 信任远程代码以加载模型，这需要在安全的环境下使用
tokenizer = autotokenizer.from_pretrained("/root/autodl-tmp/qwen/qwen-7b-chat", trust_remote_code=true)
# 根据你的硬件配置选择合适的模型加载方式：
# 使用bf16精度，适用于支持bfloat16的gpu
# model = automodelforcausallm.from_pretrained("qwen/qwen-7b-chat", device_map="auto", trust_remote_code=true, bf16=true).eval()
# 使用fp16精度，适用于需要混合精度训练的场合
# model = automodelforcausallm.from_pretrained("qwen/qwen-7b-chat", device_map="auto", trust_remote_code=true, fp16=true).eval()
# 仅使用cpu进行模型加载和运算e
# model = automodelforcausallm.from_pretrained("qwen/qwen-7b-chat", dvice_map="cpu", trust_remote_code=true).eval()
# 自动选择设备和精度模式，根据系统环境智能适配
model = automodelforcausallm.from_pretrained("/root/autodl-tmp/qwen/qwen-7b-chat", device_map="auto", trust_remote_code=true).eval()
# 对于transformers版本4.32.0及以上，生成配置已内置，无需额外指定
# 如果需要定制化生成配置，如调整生成长度或top_p等参数，可以取消下面注释
# model.generation_config = generationconfig.from_pretrained("qwen/qwen-7b-chat", trust_remote_code=true)
现在，我们已经准备好了模型和分词器，接下来让我们通过几轮对话来感受qwen-7b-chat的魅力。
1、第一轮对话
在这一轮中，我们将从基础的问候开始，建立与模型的初步交流。
response, history = model.chat(tokenizer, "你好", history=none)
print(response)
输出：
你好！很高兴见到你。有什么我能帮助你的吗？
2、第二轮对话
随后，我们将提出一个更具体的要求，让模型为我们讲述一个励志的故事。
response, history = model.chat(tokenizer, "给我讲一个年轻人奋斗创业最终取得成功的故事。", history=history)
print(response)
输出
故事的主角是一个叫做李明的年轻人，他从家乡的一家小公司开始，凭借自己的努力和勇气，逐渐成为了公司的负责人，并带领公司发展成为一家全球知名的科技公司。
一开始，李明只是一个小职员，但他并不满足于现状，他知道只有不断学习、不断进步才能在未来获得更多的机会。于是，他开始自学编程，并参加各种技术比赛，不断提升自己的技能。
当公司遇到困难时，李明并没有选择放弃，而是选择勇敢面对。他积极寻找解决方案，并提出了一些新的思路，帮助公司度过了难关。
经过几年的努力，李明最终成功地领导公司实现了快速发展，并将公司推向了全球市场的前列。他的故事告诉我们，只要我们有决心和勇气，就一定能够实现我们的梦想。
3、第三轮对话
最后，我们将要求模型为这个故事构思一个恰当的标题。
response, history = model.chat(tokenizer, "给这个故事起一个标题", history=history)
print(response)
输出：
《勇攀高峰：一个年轻人的奋斗创业史》
通过这些示例，我们不仅展示了qwen-7b-chat模型的对话能力，也体现了其在理解和生成连贯、相关且富有创意的内容方面的强大潜力。随着对话的深入，qwen-7b-chat表现出的智能和灵活性无疑将为用户带来深刻的交互体验。
六、结语
通过本篇博文的实践探索，我们得以一窥qwen-7b-chat模型在智能对话领域的应用潜力。随着技术的不断进步和优化，我们有理由相信，qwen-7b-chat将在智能助手、客户服务、教育辅导等众多领域发挥重要作用。让我们共同期待，这一模型将如何进一步推动人机交互的边界。
🎯🔖更多专栏系列文章：ai大模型提示工程完全指南、ai大模型探索之路（零基础入门）、ai大模型预训练微调进阶、ai大模型开源精选实践、ai大模型rag应用探索实践🔥🔥🔥 其他专栏可以查看📑
![NLP国内外大模型汇总列表[文心一言、智谱、百川、星火、通义千问、盘古等等]](https://images.3wcode.com/3wcode/20240802/s_0_202408022118387941.png)
发表评论