当前位置: 代码网 > 服务器>网络>网络协议 > K8S节点GPU虚拟化(vGPU)

K8S节点GPU虚拟化(vGPU)

2024年07月28日 网络协议 我要评论
vGPU实现方案4paradigm提供了k8s-device-plugin,该插件基于NVIDIA官方插件(NVIDIA/k8s-device-plugin),在保留官方功能的基础上,实现了对物理GPU进行切分,并对显存和计算单元进行限制,从而模拟出多张小的vGPU卡。在k8s集群中,基于这些切分后的vGPU进行调度,使不同的容器可以安全的共享同一张物理GPU,提高GPU的利用率。此外,插件还可以对显存做虚拟化处理(使用到的显存可以超过物理上的显存),运行一些超大显存需求的任务,或提高共享的任务数。

vgpu实现方案
4paradigm提供了k8s-device-plugin,该插件基于nvidia官方插件(nvidia/k8s-device-plugin),在保留官方功能的基础上,实现了对物理gpu进行切分,并对显存和计算单元进行限制,从而模拟出多张小的vgpu卡。在k8s集群中,基于这些切分后的vgpu进行调度,使不同的容器可以安全的共享同一张物理gpu,提高gpu的利用率。此外,插件还可以对显存做虚拟化处理(使用到的显存可以超过物理上的显存),运行一些超大显存需求的任务,或提高共享的任务数。

部署

需要在节点上将nvidia runtime做为你的docker runtime预设值。我们将编辑docker daemon的配置文件,此文件通常在/etc/docker/daemon.json路径:

{
    "default-runtime": "nvidia",
    "runtimes": {
        "nvidia": {
            "path": "/usr/bin/nvidia-container-runtime",
            "runtimeargs": []
        }
    }
    "default-shm-size": "2g"
}

虚拟化之前,在gpu节点启动一个gpu应用pod,通过nvidia-smi 

(0)

相关文章:

版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。

发表评论

验证码:
Copyright © 2017-2025  代码网 保留所有权利. 粤ICP备2024248653号
站长QQ:2386932994 | 联系邮箱:2386932994@qq.com