当前位置: 代码网 > it编程>前端脚本>Python > keras如何指定运行时显卡及限制GPU用量

keras如何指定运行时显卡及限制GPU用量

2024年05月18日 Python 我要评论
keras指定运行时显卡及限制gpu用量keras在使用gpu的时候有个特点,就是默认全部占满显存。这样如果有多个模型都需要使用gpu跑的话,那么限制是很大的,而且对于gpu也是一种浪费。因此在使用k

keras指定运行时显卡及限制gpu用量

keras在使用gpu的时候有个特点,就是默认全部占满显存。

这样如果有多个模型都需要使用gpu跑的话,那么限制是很大的,而且对于gpu也是一种浪费。

因此在使用keras时需要有意识的设置运行时使用那块显卡,需要使用多少容量。

这方面的设置一般有三种情况:

  • 1. 指定显卡
  • 2. 限制gpu用量
  • 3. 即指定显卡又限制gpu用量

查看gpu使用情况语句(linux)

# 1秒钟刷新一次
watch -n 1 nvidia-smi

一、指定显卡

import os
os.environ["cuda_visible_devices"] = "2"

这里指定了使用编号为2的gpu,大家可以根据需要和实际情况来指定使用的gpu

二、限制gpu用量

1、设置使用gpu的百分比

import tensorflow as tf
import keras.backend.tensorflow_backend as ktf

#进行配置,使用30%的gpu
config = tf.configproto()
config.gpu_options.per_process_gpu_memory_fraction = 0.3
session = tf.session(config=config)

# 设置session
ktf.set_session(session )

需要注意的是,虽然代码或配置层面设置了对显存占用百分比阈值,但在实际运行中如果达到了这个阈值,程序有需要的话还是会突破这个阈值。

换而言之如果跑在一个大数据集上还是会用到更多的显存。

以上的显存限制仅仅为了在跑小数据集时避免对显存的浪费而已。

2、gpu按需使用

import tensorflow as tf
import keras.backend.tensorflow_backend as ktf

config = tf.configproto()  
config.gpu_options.allow_growth=true   #不全部占满显存, 按需分配
session = tf.session(config=config)

# 设置session
ktf.set_session(sess)

三、指定gpu并且限制gpu用量

这个比较简单,就是讲上面两种情况连上即可。。。

import os
import tensorflow as tf
import keras.backend.tensorflow_backend as ktf

# 指定第一块gpu可用 
os.environ["cuda_visible_devices"] = "0"

config = tf.configproto()  
config.gpu_options.allow_growth=true   #不全部占满显存, 按需分配
sess = tf.session(config=config)

ktf.set_session(sess)

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持代码网。

(0)

相关文章:

版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。

发表评论

验证码:
Copyright © 2017-2025  代码网 保留所有权利. 粤ICP备2024248653号
站长QQ:2386932994 | 联系邮箱:2386932994@qq.com