我要评论7 月 13 日消息，gpt-2 是 openai 于 2019 年推出的模型，其训练费用一度为每小时 256 美元，那么 5 年过后的 gpt-4 时代，软硬件和数据的进步，是否意味着训练同一模型所需的时间和成本会随之减少呢？答案是肯定的。
据 tom's hardware 今日报道，前特斯拉 ai 总监、openai 联合创始人、项目开发者 andrej karpathy 使用 llm.c“重现”了 gpt-2，其成本降到了每小时仅 28 美元（代码网备注：当前约 204 元人民币），在短短 5 年内降低了近 90%。
成本降低的主要因素，则是其使用了单个 8xh100 节点进行训练。此外，andrej karpathy 表示，llm.c 直接实现了 gpt 训练。“由于 llm.c 是用 c / cuda 直接实现的 gpt 训练，因此其要求非常之低 —— 不需要 conda 环境、python 解释器、pip 安装等。你只需启动一个云 gpu 节点，选择性地安装 nvidia cudnn、nccl / mpi，下载.bin 数据分片，编译并运行，几分钟内就能开始。”
他补充说：“然后等待 24 小时（28*24=672），就能生成关于‘安第斯山脉中会说英语的独角兽’的样本。”
据悉，llm.c 项目最初是作为一个教育视频的一部分，但很快变成了 karpathy 在遇到一些 pytorch 问题后从头开始构建的项目。
然而报道认为，硬件、软件和训练数据的进步并不意味着尖端 ai 训练的成本在下降。例如，anthropic ceo dario amodei 近期就表示，当前正在开发的 ai 模型可能需要 10 亿美元的训练成本，。
硬件性能的提高也伴随着成本的上涨。例如，英伟达 h100 芯片的单价为 4 万美元，下一代 blackwell ai 芯片的预计售价则可能达到 7 万美元。但即便如此，谷歌 deepmind ceo 曾表示，当前模型的智商水平仍然仅仅相当于一只猫。
发表评论