deep learning 到底有多耗 gpu 的内存? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
cpygui
V2EX    程序员

deep learning 到底有多耗 gpu 的内存?

  •  
  •   cpygui 2017 年 1 月 22 日 5670 次点击
    这是一个创建于 3361 天前的主题,其中的信息可能已经有所发展或是发生改变。

    试了下这个

    aws g2.2 large w/ 4gb gpu 爆内存

    issue里说 最好的 aws g2.x w/ 12gb gpu 勉强能跑,不过需要 500 天。。。

    8 条回复    2017-01-23 13:19:55 +08:00
    YongYuan
        1
    YongYuan  
       2017 年 1 月 22 日
    图库多大?
    noahyu
        2
    noahyu  
       2017 年 1 月 22 日   1
    各框架对 gpu 的使用不尽相同,貌似在 VGG16 这一块,加载预训练的模型然后作改动, theano 的表现好一点,代码里面用到的,我尝试过 keras+tf 的方式用低端显卡(GT 系列)也是没法跑,算了对图像这一块无感了;用低端显卡跑一个 attention 的模型跑 nlp 相关的,也要 4-5 天,不过能跑下来已经不错了,可以不用显卡内存,而用主机内存(目前用的是 16G)也可以跑.
    bearqq
        3
    bearqq  
       2017 年 1 月 22 日   1
    Current maximum batchsize is 3 for 12 GB memory GPU.
    Also it was confirmed that MBP (Late 2016, memory 16 GiB) can run with batchsize 1.

    gpu 消耗和单次放入的数据量有关。由于这里放入的是图片,单个数据比较大,所以 batchsize 只能控制比较小。 batchsize 很多人认为越大越好,以 gpu 能放下为标准。

    同时,和神经网络本身也有关系,网络的参数有多少占用多大可以直接计算。
    rogerchen
        4
    rogerchen  
       2017 年 1 月 22 日
    全连接参数多,卷积 feature map 多,比实现省内存还看 mxnet ,就是文档如翔。
    cpygui
        5
    cpygui  
    OP
       2017 年 1 月 22 日
    @noahyu 用主机内存跑神经网络的关键词是什么,谢谢
    noahyu
        6
    noahyu  
       2017 年 1 月 22 日   1
    @cpygui 没用过 chainer ,但是看了它的文档有 CuPy ,应该是根据 api 的接口来使用 kernel 操作吧;按照我对 tensorflow 的理解和使用,通过对计算时使用具体的 cpu 和 gpu 的显示声明方式,加之 disable gpu 自动加载(在 config 里定义)来实现我之前评论里提到的方式。比如 tensorflow 里面可以定义 with 代码段,来显示声明如下操作用的是 cpu 或 gpu ,同时在多个设备(device)时显示地指定 gpu0,gpu1,...(如果有多个的话)

    with tf.name_scope('encode'), tf.device('/gpu:0')

    不过我还是觉得这样很费时间,只能作为尝试吧,还是应该选择一个较为合适的框架以及足够先进的硬件资源,那样不用太操心 performance ,最讨厌内存不够硬件太差,心太累……
    cpygui
        7
    cpygui  
    OP
       2017 年 1 月 23 日
    @noahyu 亲身体会了下你说的“心太累”是什么感受了。花了一天也没重现 deeplab 的[attention]( https://bitbucket.org/aquariusjay/deeplab-public-ver2) 模型, bug 太多,脚本里还有 typo...
    cpygui
        8
    cpygui  
    OP
       2017 年 1 月 23 日
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5194 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 01:13 PVG 09:13 LAX 18:13 JFK 21:13
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86