我要评论
微信搜索关注《python学研大本营》，加入读者群，分享更多精彩
图像由dall·e 3生成
一、简介
像llama 2这样的新开源模型已经变得相当先进，并且可以免费使用。可以在商业上使用它们，也可以根据自己的数据进行微调，以开发专业版本。凭借其易用性，现在可以在自己的设备上本地运行它们。
在这里，我们将学习如何下载所需的文件和llama 2模型，以运行cli程序并与ai助手进行交互。设置非常简单，即使是非技术用户或学生也可以按照这几个基本步骤进行操作。
二、下载llama.cpp用于gpu机器
要在本地安装llama.cpp，最简单的方法是从llama.cpp releases中下载预编译的可执行文件。
【下载链接】：https://github.com/ggerganov/llama.cpp/releases
要在配备有nvidia gpu的windows 11上安装它，我们首先需要下载llama-master-eb542d3-bin-win-cublas-[version]-x64.zip文件。下载完成后，将其解压缩到你选择的目录中。建议创建一个新文件夹并将所有文件提取到其中。
接下来，我们将下载cublas驱动程序cudart-llama-bin-win-[version]-x64.zip，并将其解压缩到主目录中。要使用gpu加速，你有两个选项：nvidia gpu的cublas和amd gpu的clblas。
三、下载模型
首先，在主目录中创建一个名为“models”的文件夹。在models文件夹中，创建一个名为“llama2_7b”的新文件夹。接下来，从hugging face hub下载llama 2模型文件。你可以选择任何喜欢的版本，但在本指南中，我们将下载llama-2-7b-chat.q5_k_m.gguf文件。下载完成后，将文件移动到刚刚创建的“llama2_7b”文件夹中。
【下载链接】：https://huggingface.co/thebloke/llama-2-7b-chat-gguf/tree/main
四、启动ai助手cli程序
现在可以在主目录中打开终端。通过右键单击并选择“open in terminal”选项。你也可以打开powershell并使用“cd”来更改目录。
复制并粘贴下面的命令，然后按“enter”键。我们正在执行带有模型目录位置、gpu、颜色和系统提示参数的main.exe文件。
./main.exe -m .\models\llama2_7b\llama-2-7b-chat.q5_k_m.gguf -i --n-gpu-layers 32 -ins --color -p "<<sys>> as an ai assistant, your core values include being supportive, considerate, and truthful, ensuring that every interaction is guided by clarity and helpfulness. <</sys>>"
我们的llama.ccp cli程序已成功初始化并附带了系统提示。它告诉我们，它是一个有用的ai助手，并显示了各种可用的命令。
五、在powershell中本地使用llama 2
让我们通过提供提示在powershell中测试llama 2。我们提出了一个关于地球年龄的简单问题。
答案非常准确。让我们问一个关于地球的后续问题。
正如所看到的，该模型为我们提供了有关我们星球的多个有趣事实。
可以要求ai助手在终端中生成代码和解释，然后可以很轻松地复制并在集成开发环境（ide）中使用。
完美。
六、结论
在本地运行llama 2为我们提供了一个功能强大且易于使用的定制化聊天机器人体验。通过按照这个简单的指南操作，可以快速学习如何建立、设置自己的私人聊天机器人，而不需要依赖付费服务。
在本地运行llama 2的主要优势是对数据和对话的完全控制，以及没有使用限制。可以与机器人进行无限次数的聊天，甚至可以对其进行微调以改善回答。
虽然与即时可用的云ai api相比时不太方便，但本地设置可以保护数据隐私，数据将完全存储在自己的设备上，无需担心泄露。
推荐书单
《面向移动设备的深度学习—基于tensorflow lite，ml kit和flutter》
《面向移动设备的深度学习—基于tensorflow lite，ml kit和flutter》详细阐述了与移动设备深度学习开发相关的基本解决方案，主要包括使用设备内置模型执行人脸检测、开发智能聊天机器人、识别植物物种、生成实时字幕、构建人工智能认证系统、使用ai生成音乐、基于强化神经网络的国际象棋引擎、构建超分辨率图像应用程序等内容。此外，本书还提供了相应的示例、代码，以帮助读者进一步理解相关方案的实现过程。
本书适合作为高等院校计算机及相关专业的教材和教学参考书，也可作为相关开发人员的自学用书和参考手册。
《面向移动设备的深度学习—基于tensorflow lite，ml kit和flutter》
https://item.jd.com/14001258.html
发表评论