Linux Ubuntu 和 Mac ,Windows 部署离线通义千问1.8B参数 4-bit量化大模型详细教程 全网唯一
代码里面调用模型的地方加一个使用GPU的参数，n_gpu_layers=30 , 这个30根据你的GPU内存大小调整， n_gpu_layers 是一个GPU部署非常重要的一步，代表大语言模型有多少层在GPU运算，如果你的显存出现 out of memory 那就减小 ，不报的话，就可以调整大一点，4 下面是我写的一个加载模型的代码，上面的2步都执行完了之后就可以直接运行使用了，可以在pycharm 之类的编辑器里面运行，也可以直接终端 python xxx.py 指令运行。
代码为我自己写的 python 程序，应该是全网最简单的大模型部署方案，一个模型文件1.3gb，一个python代码即可开始玩耍~
首先说明，本文下面的内容需要一点点python基础，需要会安装 python和 pip 安装依赖库，如果你不会或者不想这么麻烦，只想要下载就能马上使用的大模型离线整合包，那抱歉，目前只支持 windows ，windows系统的离线整合包文章介绍链接为：
https://zhuanlan.zhihu.com/p/670964259
https://mp.weixin.qq.com/s/w-b7auxlccgglpz_8iklbq
https://mp.weixin.qq.com/s/rd0rbjakh3hs-daizz-lmw
下面开始正文
cpu运行：
1 安装python，并且需要保证python版本大于3.8，最好在虚拟环境里面安装；
2 安装 llama cpp python
安装指令：
pip install llama-cpp-python -i https://pypi.tuna.tsinghua.edu.cn/simple/
3 下载模型文件，百度网盘链接：https://pan.baidu.com/s/1wqq8kadilaagjok5iryzza 提取码：1111 ；里面有一个通义千问大模型的有闪退的旧版本压缩文件，下载后解压文件夹里面有一个名
相关文章:
-
从0开始学Python，就问你一句：慌不慌？说句实在的，慌，可能是因为你自己没有完整的规划，其实就是不知道从何下手，七七八八乱学一通自然还是觉得无厘头。但今天，我要跟你讲，莫慌！恰…
-
别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。这是我花了几天的时间去把Python所有方向的技术点做的整…
-
-
-
-
大家好，我是小F~经常听到有朋友说，学习编程是一件非常枯燥无味的事情。其实，大家有没有认真想过，可能是我们的学习方法不对？比方说，你有没有想过，可以通过打游戏来学编程？今天我想跟大…
版权声明：本文内容由互联网用户贡献，该文观点仅代表作者本人。本站仅提供信息存储服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 2386932994@qq.com 举报，一经查实将立刻删除。
我要评论
发表评论