当前位置: 代码网 > it编程>编程语言>其他编程 > 代码大战白热化:WizardCoder挑落Bard及Claude,性能直追ChatGPT

代码大战白热化:WizardCoder挑落Bard及Claude,性能直追ChatGPT

2024年07月28日 其他编程 我要评论
Github链接:https://github.com/nlpxucan/WizardLM/tree/main/WizardCoder论文链接:https://arxiv.org/abs/2306.08568作为大语言模型(LLM)最重要也最具挑战性的能力之一,代码生成与补全同时吸引了 AIGC 学术界与工业界广泛研究和关注。根据 OpenAI 相关技术报告,GPT4 在 HumanEval 经典...

7e0792e50eb21c9a5e2156bc29e66568.gif

0091d53c6d6fd6820a4e6475a81e01c0.png

github链接:

https://github.com/nlpxucan/wizardlm/tree/main/wizardcoder

论文链接:

https://arxiv.org/abs/2306.08568

作为大语言模型(llm)最重要也最具挑战性的能力之一,代码生成与补全同时吸引了 aigc 学术界与工业界广泛研究和关注。根据 openai 相关技术报告,gpt4 在 humaneval 经典代码生成与补全任务中取得了惊人的成绩,一次通过率高达 85% 以上!

与此同时,在开源领域,由 huggingface bigcode project 主导发布的 starcoder 更进一步提升了开源模型在这一领域的表现,达到了新的先进水平。

然而,我们依然注意到,目前最佳开源模型 instructcodet5+ 在 humaneval 任务上的通过率也仅约为 35%,仍远低于包括 chatgpt、bard、claude 等在内的一众闭源模型性能。

显然,与开放域通用对话能力相比,闭源与开源 llm 在代码生成方面的差距尤为明显,又因为代码生成对于准确度与逻辑推理能力的严苛标准,因此追赶和提升难度也更高。

最近,wizardlm 团队开源了一款全新的代码大模型——wizardcoder,它打破了闭源模型的垄断地位,显著超越 anthropic claude 与谷歌 bard,成为新时代的开源领军者。

6bee4abfbf80cb4c9c3ded1d716affcc.png

距离 wizardlm 宣布团队开源 wizardcoder 仅 5 天,该模型即获得了大模型社区广泛的关注与认可。

bc1f12b49b87fa198d34c8bb60316aa0.png

甚至有知名软件工程师在 python 与 javascript 语言上试用 wizardcoder 一天后,认为不必再继续使用 gpt-4。

e9b00f5a16a0fcfc2c9c3b01b2ed0d64.png

也有网友调侃,本周 wizardcoder 的出现使他感受到了与阅读 cvpr 推文和整理自家花园一样的快乐。

(0)

相关文章:

版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。

发表评论

验证码:
Copyright © 2017-2025  代码网 保留所有权利. 粤ICP备2024248653号
站长QQ:2386932994 | 联系邮箱:2386932994@qq.com