市面上 GPU 服务器都好贵,机器学习跑 model 用顶级 CPU 服务器行吗? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Reign
V2EX    机器学习

市面上 GPU 服务器都好贵,机器学习跑 model 用顶级 CPU 服务器行吗?

  •  
  •   Reign 2017-04-28 10:05:03 +08:00 2531 次点击
    这是一个创建于 3162 天前的主题,其中的信息可能已经有所发展或是发生改变。

    在自己的服务器上用别人训练好的 caffemodel 来测试图片,每张图片处理平均耗时半分钟,实在太慢,当然我的服务器机器也太差,双核 ATOM 的 CPU+4G 内存,想换成 GPU 服务器,逛了逛 GPU 服务器好贵,目前就在想两种方法:

    1. 用核心数和线程数最好的 CPU 来跑 model,这样能把单张图片处理时间控制在 3 秒之内吗?
    2. 用自己的台式机 7*24 小时来跑,但台式机配置也很老了:E3-1230V3+8G+GTX770,但是个人有点强迫症,始终担心安全隐患(小时候自己研发的电气设备半夜把房子烧了,还好自己和家人一点事都没有),运行大型 3D 游戏比如使命召唤时,机箱基本就是一个火炉了,白天没人在家,始终担心安全问题。另外,自己要从国外网站抓图片来跑,电信出口带宽慢成蜗牛,也是我顾及的地方

    求好心 V 友给点意见

    第 1 条附言    2017-04-28 11:27:35 +08:00
    刚刚测试了一下,vultr 的 20 美元:2cpu+4G+60G ssd,单张图片处理降低为 6 秒的样子,还是有点慢,然后用了个 caffe openblas 的 docker: https://hub.docker.com/r/travisjohnston/caffe-openblas/ 速度降为 5 秒每张,但是不知道这个 docker 里面的 caffe Makefike.config 文件在哪里配置,有好心 V 友能测试一下吗?
    26 条回复    2017-07-27 11:00:10 +08:00
    dream7758521
        1
    dream7758521  
       2017-04-28 10:08:49 +08:00 via Android
    这个你开个高配置的云服务器试一下啊
    mason961125
        2
    mason961125  
       2017-04-28 10:11:08 +08:00
    我想知道为什么你的服务器会用 Atom...
    hiboshi
        3
    hiboshi  
       2017-04-28 10:12:24 +08:00
    楼主开云主机的时候提前告诉我们是哪家。以便我们尽快转移,担心机房被烧了。
    Reign
        4
    Reign  
    OP
       2017-04-28 10:12:41 +08:00
    @mason961125 一个很普通的网站,不需要很高的配置
    Reign
        5
    Reign  
    OP
       2017-04-28 10:14:24 +08:00
    @hiboshi 机房有 UPS、空调还要监控等等,我就一台机器大夏天房子啊沙发旁边,哎,心理阴影
    mason961125
        6
    mason961125  
       2017-04-28 10:14:42 +08:00
    @Reign 不是说要多高的配置,而是现在大部分云服务商用的都是 E5 了,Atom 的性能真的跟不上。
    table cellpadding="0" cellspacing="0" border="0" width="100%"> irainsoft
        7
    irainsoft  
       2017-04-28 10:16:03 +08:00
    想到这个月月初 ikoula 特价机最底下一个 GTX 1080 的服务器....
    c0878
        8
    c0878  
       2017-04-28 10:28:42 +08:00
    直接 AWS 上面按小时租 跑完任务释放掉 其实没多少钱
    caomaocao
        9
    caomaocao  
       2017-04-28 10:38:51 +08:00
    为啥会是 ATOM....
    Morriaty
        10
    Morriaty  
       2017-04-28 10:43:50 +08:00
    关键你是要学习还是应用,学习的话,哪怕处理时间超过半小时都能接受啊

    应用的,去找老板要钱
    ivmm
        11
    ivmm  
       2017-04-28 10:47:43 +08:00
    GPU 也得专门用来计算的,而不是游戏显卡
    denghongcai
        12
    denghongcai  
       2017-04-28 10:50:21 +08:00
    这个担心有点诡异吧…… E3 1231 v3 大奶,E5 2683 v3 二奶二十四小时开机一年多了都,总不至于电源是垃圾吧
    wangzhangup
        13
    wangzhangup  
       2017-04-28 11:03:19 +08:00 via iPhone
    @ivmm 我是深度学习从业者,非常负责任地告诉你,行业内大部分都是 gtx 系列的 gpu。
    jarlyyn
        14
    jarlyyn  
       2017-04-28 11:04:37 +08:00
    换个风扇?
    wangzhangup
        15
    wangzhangup  
       2017-04-28 11:09:40 +08:00 via iPhone   2
    1. 主要看你的 model 结构怎么样,比较 tiny 的网络 CPU 多线程速度也很快。但是网络复杂的话 cpu 还是吃不消的。

    2. 这个问题我从侧面回答吧。目前行业内用的比较多的 gpu 是 gtx titan x 和 1080 以及 1080ti,价格分别是 9000+,4000+,5500+。同样 model 的情况下,同价位的 gpu 要比 cpu 的速度快 30 到 50 倍。所以 gpu 服务器是必须的,但是“私搭”还是云服务就看你具体情况了
    ivmm
        16
    ivmm  
       2017-04-28 11:26:43 +08:00
    @wangzhangup
    Azure 用的是:NVIDIA Tesla
    AWS 用的是:NVIDIA Tesla
    Aliyun 用的是:AMD FirePro
    腾讯用的是 :NVIDIA Tesla

    精密计算用游戏 GPU 还是不太行的, 用 AMD 的游戏显卡在初期临时代替还行,GTX 真的是专注打磨游戏的 GPU
    29EtwXn6t5wgM3fD
        17
    29EtwXn6t5wgM3fD  
       2017-04-28 11:32:05 +08:00 via iPhone
    aws 竞价服务器
    Aliencn
        18
    Aliencn  
       2017-04-28 11:55:09 +08:00
    然而我们免费 GPU 的测试服务器分配完了。
    如果付费使用 GPU 服务器的话,你想要什么样的配置,以及什么价位你能接受
    longbye0
        19
    longbye0  
       2017-04-28 12:17:21 +08:00 via Android
    @ivmm 你需要知道双精度浮点性能和单精度,对于计算化学这类需要双精度,但是对视觉任务来说,比如楼主的跑个 caffemodel,单精度足够,所以 titan x 是最经济的
    h4x3rotab
        20
    h4x3rotab  
       2017-04-28 16:48:30 +08:00 via iPhone
    google 里经常看见人用 1000 个 cpu 跑 tensorflow,意思就是有钱的话,cpu gpu 也没什么太大关系
    RqPS6rhmP3Nyn3Tm
        21
    RqPS6rhmP3Nyn3Tm  
       2017-04-28 18:09:27 +08:00 via iPhone
    传说有人专门收二手矿卡做这事,干脆自建得了
    5UESxM1SED56K25z
        22
    5UESxM1SED56K25z  
       2017-04-28 18:48:38 +08:00
    握草,我有几万张矿卡,怎么搞 谁有需求
    likuku
        23
    likuku  
       2017-04-28 19:45:26 +08:00
    aws 现在有弹性 GPU 计算类型机器,根据程序需求可以动态申请所需的 GPU 核数量来运算,算完就释放。
    ryd994
        24
    ryd994  
       2017-04-29 08:29:58 +08:00
    wangzhangup
        25
    wangzhangup  
       2017-04-29 10:50:46 +08:00 via iPhone
    @ivmm 实际工作环境大家用的是 gtx
    q1w2e3r4470
        26
    q1w2e3r4470  
       2017-07-27 11:00:10 +08:00
    一个普通 GPU 就能比 CPU 快 20-30 倍,毕竟 GPU 都好几千核了,CPU 才几核,怎么比。
    当然了,GPU 承担的任务比 CPU 简单,所以 GPU 的核比 CPU 的简单好多
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1195 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 17:38 PVG 01:38 LAX 09:38 JFK 12:38
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86