当前位置: 代码网 > 科技>人工智能 > 全球首款 Transformer 专用 AI 芯片 Sohu 登场:每秒可处理 50 万个 tokens,比英伟达 H100 快 20 倍

全球首款 Transformer 专用 AI 芯片 Sohu 登场:每秒可处理 50 万个 tokens,比英伟达 H100 快 20 倍

2024年06月26日 人工智能 我要评论
Etched 公司宣布完成 1.2 亿美元(IT之家备注:当前约 8.73 亿元人民币) A 轮融资,将用于开发和销售全球首款 Transformer 专用集成电路(ASIC)芯片 Sohu。

6 月 26 日消息,etched 公司宣布完成 1.2 亿美元(代码网备注:当前约 8.73 亿元人民币) a 轮融资,将用于开发和销售全球首款 transformer 专用集成电路(asic)芯片 sohu

代码网查询公开资料,etched 公司由两名哈佛大学辍学生加文・乌伯蒂(gavin uberti)和克里斯・朱(chris zhu)创立,成立时间不到 2 年。

sohu 芯片最大的亮点在于直接把 transformer 架构蚀刻到芯片中,乌伯蒂称 sohu 采用台积电的 4 纳米工艺制造,推理性能大大优于 gpu 和其他通用人工智能芯片,同时能耗更低。

在 llama 70b 吞吐量中,sohu 每秒可处理超过 50 万个 tokens,让用户可以构建 gpu 无法实现的产品。

sohu 能够实现实时语音代理、毫秒级处理数千字文本、更强大的代码树搜索、并行比较数百个响应、多播推测解码以及实时生成新内容等功能,为未来万亿级参数模型的运行提供了可能。

代码网附上官网链接,感兴趣的用户可以深入阅读。

(0)

相关文章:

版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。

发表评论

验证码:
Copyright © 2017-2025  代码网 保留所有权利. 粤ICP备2024248653号
站长QQ:2386932994 | 联系邮箱:2386932994@qq.com