我要评论微信搜索关注《python学研大本营》，加入读者群，分享更多精彩
1.llama
llama项目包含了一组基础语言模型，其规模从70亿到650亿个参数不等。这些模型在数以百万计的token上进行训练，而且它完全在公开的数据集上进行训练。结果，llama-13b超过了gpt-3（175b），而llama-65b的表现与chinchilla-70b和palm-540b等最佳模型相似。
图片来自llama
资源：
-
研究论文：“llama: open and efficient foundation language models (arxiv.org)” [https://arxiv.org/abs/2302.13971]
-
github：facebookresearch/llama [https://github.com/facebookresearch/llama]
-
演示：baize lora 7b [https://huggingface.co/spaces/project-baize/baize-7b]
2.alpaca
斯坦福大学的alpaca声称它可以与chatgpt竞争，任何人都可以在不到600美元的情况下复制它。alpaca 7b是在52k指令遵循的示范上从llama 7b模型中进行微调。
训练内容｜图片来自斯坦福大学crfm
资源：
-
博客：斯坦福大学crfm。[https://crfm.stanford.edu/2023/03/13/alpaca.html]
-
github：tatsu-lab/stanford_alpaca [https://github.com/tatsu-lab/stanford_alpaca]
-
演示：alpaca-lora (官方演示已经丢失，这是alpaca模型的再现) [https://huggingface.co/spaces/tloen/alpaca-lora]
3.vicuna
vicuna是在从sharegpt收集到的用户共享对话上的llama模型基础上进行微调。vicuna-13b模型已经达到了openai chatgpt和google bard的90%以上的质量。它还在90%的情况下超过了llama和斯坦福大学alpaca模型。训练vicuna的成本约为300美元。
图片来自vicuna
资源：
-
博客文章：“vicuna: an open-source chatbot impressing gpt-4 with 90%* chatgpt quality” [https://vicuna.lmsys.org/]
-
github：lm-sys/fastchat [https://github.com/lm-sys/fastchat#fine-tuning]
-
演示：fastchat (lmsys.org) [https://chat.lmsys.org/]
4.openchatkit
openchatkit：开源的chatgpt替代方案，是一个用于创建聊天机器人的完整工具包。它提供了用于训练用户自己的指令调整的大型语言模型、微调模型、用于更新机器人响应的可扩展检索系统以及用于过滤问题的机器人审核的指令。
图片来自together
可以看到，gpt-neoxt-chat-base-20b模型在问答、提取和分类任务上的表现优于基础模式gpt-noex。
资源：
-
博客文章：“announcing openchatkit”—together [https://www.together.xyz/blog/openchatkit]
-
github: togethercomputer/openchatkit [https://github.com/togethercomputer/openchatkit]
-
演示：openchatkit [https://huggingface.co/spaces/togethercomputer/openchatkit]
-
模型卡：togethercomputer/gpt-neoxt-chat-base-20b [https://huggingface.co/togethercomputer/gpt-neoxt-chat-base-20b]
5.gpt4all
gpt4all是一个社区驱动的项目，并在一个大规模的辅助交互语料库上进行训练，包括代码、故事、描述和多轮对话。该团队提供了数据集、模型权重、数据管理过程和训练代码以促进开源。此外，他们还发布了模型的量化4位版本，可以在笔记本电脑上运行。甚至可以使用python客户端来运行模型推理。
图片来自gpt4all
资源：
-
技术报告：gpt4all [https://s3.amazonaws.com/static.nomic.ai/gpt4all/2023_gpt4all_technical_report.pdf]
-
github: nomic-ai/gpt4al [https://github.com/nomic-ai/gpt4all]
-
演示：gpt4all（非官方）。[https://huggingface.co/spaces/rishiraj/gpt4all]
-
模型卡：nomic-ai/gpt4all-lora · hugging face [https://huggingface.co/nomic-ai/gpt4all-lora]
6.raven rwkv
raven rwkv 7b是一个开源的聊天机器人，它由rwkv语言模型驱动，生成的结果与chatgpt相似。该模型使用rnn，可以在质量和伸缩性方面与transformer相匹配，同时速度更快，节省vram。raven在斯坦福大学alpaca、code-alpaca和更多的数据集上进行了微调。
图片来自raven rwkv 7b
资源：
-
github：blinkdl/chatrwkv [https://github.com/blinkdl/chatrwkv]
-
演示：raven rwkv 7b [https://huggingface.co/spaces/blinkdl/raven-rwkv-7b]
-
模型卡：blinkdl/rwkv-4-raven [https://huggingface.co/blinkdl/rwkv-4-raven]
7.opt
opt：open pre-trained transformer语言模型并不像chatgpt那样强大，但它在零样本和少样本学习以及刻板偏见分析方面表现出卓越的能力。还可以将它与alpa、colossal-ai、ctranslate2和fastertransformer集成以获得更好的结果。注意：它上榜的原因是它的受欢迎程度，因为它在文本生成类别中每月有624,710次下载。
图片来自（arxiv.org）
资源：
-
研究论文：“opt: open pre-trained transformer language models (arxiv.org)” [https://arxiv.org/abs/2205.01068]
-
github: facebookresearch/metaseq [https://github.com/facebookresearch/metaseq]
-
演示：a watermark for llms [https://huggingface.co/spaces/tomg-group-umd/lm-watermarking]
-
模型卡：facebook/opt-1.3b [https://huggingface.co/facebook/opt-1.3b]
8.flan-t5-xxl
flan-t5-xxl在以指令形式表述的数据集上微调了t5模型。指令的微调极大地提高了各种模型类别的性能，如palm、t5和u-palm。flan-t5-xxl模型在1000多个额外的任务上进行了微调，涵盖了更多语言。
图片来自flan-t5-xxl
资源：
-
研究论文：“scaling instruction-fine tuned language models” [https://arxiv.org/pdf/2210.11416.pdf]
-
github: google-research/t5x [https://github.com/google-research/t5x]
-
演示：chat llm streaming [https://huggingface.co/spaces/olivierdehaene/chat-llm-streaming]
-
模型卡：google/flan-t5-xxl [https://huggingface.co/google/flan-t5-xxl?text=q%3a+%28+false+or+not+false+or+false+%29+is%3f+a%3a+let%27s+think+step+by+step]
总结
现在有很多开源的可供选择的大模型，本文涉及到其中比较流行的8个大模型。
推荐书单
《python人工智能》
本书系统地介绍了基于python平台的人工智能的原理及实现过程，全书共7章。第1章“从这里开始认识python”，介绍人工智能及python 基础知识；第2章“python 语法基础”，通过生动有趣的实验实例介绍python编程语法知识；第3章“python 程序设计”，以实例为基础，介绍python 的编程方法；第4 章“数据结构”，通过范例介绍列表、元组、字典、集合、函数等数据结构的使用方法；第5章“数据库及应用”，主要介绍python数据库应用及web应用开发技术，通过实例讲解python数据库应用；第6章“大数据应用”，基于实例，主要介绍网络爬虫、excel数据爬取及分析处理等技术，了解数据挖掘分析处理等大数据应用技术的一般设计流程；第7 章“人工智能”，以具体实例讲解照片人脸识别、图像识别、视频人脸识别、聊天机器人、微信语音聊天机器人、图文识别、语音识别及花朵识别等人工智能深度学习技术。
本书图文并茂，示例丰富，讲解细致透彻，介绍深入浅出，章后练习精广，具有很强的实用性和可操作性，适合初学或自学python的学生，可作为中小学stem 教育或培训机构的人工智能课程教材，也可作为大中专院校人工智能、软件工程、计算机等专业以及相关课程的教材或参考书，还可以当作全国计算机二级（python）考试的教材使用。
https://item.jd.com/12854912.html
发表评论