我要评论6 月 11 日消息，俄罗斯科技巨头 yandex 推出了一款开源的大语言模型训练工具 ——yafsdp，号称与现有工具相比速度最高可提升 26%。
据介绍，yafsdp 在训练速度方面优于传统的 fsdp 方法，尤其适用于大型模型。在预训练 llm 方面，yafsdp 速度提高了 20%，并且在高内存压力条件下表现更佳。
例如，yafsdp 对具有 700 亿参数的 llama 2 可以实现 21% 的效率提升，对具有同级参数的 llama 3 也实现 了 26% 的效率提升。代码网附官方数据一览：
| 模型 | gpu-count | seq-len | num-ckpt-layers | speedup |
|---|---|---|---|---|
| llama 2 7b | 64 | 2048 | 0 | 9.92% |
| llama 2 7b | 64 | 4096 | 0 | 3.43% |
| llama 2 7b | 64 | 8192 | 0 | 2.68% |
| llama 2 7b | 128 | 2048 | 0 | 9.57% |
| llama 2 7b | 128 | 4096 | 0 | 2.42% |
| llama 2 7b | 128 | 8192 | 0 | 2.32% |
| llama 2 13b | 128 | 2048 | 0 | 12.10% |
| llama 2 13b | 128 | 4096 | 0 | 3.49% |
| llama 2 34b | 128 | 2048 | 0 | 20.70% |
| llama 2 34b | 256 | 2048 | 0 | 21.99% |
| llama 2 34b | 256 | 4096 | 5 | 8.35% |
| llama 2 70b | 256 | 2048 | 10 | 21.48% |
| llama 2 70b | 256 | 4096 | 50 | 7.17% |
| llama 3 8b | 64 | 2048 | 0 | 11.91% |
| llama 3 8b | 64 | 4096 | 0 | 7.86% |
| llama 3 70b | 256 | 2048 | 20 | 26.60% |
yandex 表示，通过优化 gpu 使用率，yafsdp 可以为开发者和公司节省大量资金 —— 每月可能节省数十万美元。
yandex 的资深开发人员、yafsdp 团队成员之一 mikhail khruschev 还提到，“目前，我们正在积极尝试各种模型架构和参数大小，以扩展 yafsdp 的通用性” 。
参考资料：
发表评论