V2EX xiaoFine
 xiaoFine 最近的时间轴更新
xiaoFine

xiaoFine

V2EX 第 114520 号会员,加入于 2015-05-01 12:23:40 +08:00
占用 GPU 的服务如何解决并发?
程序员    xiaoFine    2022-03-16 22:36:46 PM    最后回复来自 xiaoFine
23
Istio bookinfo 是如何做到服务发现的?
  •  1   
    Kubernetes    xiaoFine    2020-05-16 13:08:00 PM    最后回复来自 xiaoFine
    2
    2020 年了,还有人觉得 UUID 比 int 适合“海量”数据?
    编程    xiaoFine    2020-02-07 21:35:33 PM    最后回复来自 uxstone
    15
    兼顾.Net 和 Python 的开发环境
  •  1   
    程序员    xiaoFine    2019-09-17 21:33:15 PM    最后回复来自 dorothyREN
    6
    毕业生的一点烦恼:工作方向和学的不一样怎么办
    程序员    xiaoFine    2019-07-04 12:59:55 PM    最后回复来自 xiaoFine
    16
    xiaoFine 最近回复了
    2022-03-16 22:36:46 +08:00
    回复了 xiaoFine 创建的主题 程序员 占用 GPU 的服务如何解决并发?
    回头自问自答下。
    这个要看各家的 serving 框架,目前 triton 和 torchserver 都能做到 dynamic batching 之类的功能,但本质上每次推理还是显卡独占;如果是为了省 GPU ,另一个思路是 GPU 虚拟化,暂时没实践
    2022-02-22 14:41:14 +08:00
    回复了 shmichaelli 创建的主题 上海 上海的程序员交流群(技术、求职、生活)
    xiao_Fine
    2021-12-08 11:27:27 +08:00
    回复了 dwlovelife 创建的主题 程序员 typora 收费了,有什么好的替代产品
    单纯问一下为啥都推荐 typora ,感觉就比裸写加了些便捷操作,和 vsc 写起来没啥区别吧,是我写 md 的姿势不对吗
    我依稀记得 19 年的时候用 vscode 连 tmux 是有显示问题的。。。不知道现在还有没有。
    倒是你的工作流是不是太复杂了,为啥不直接 remote 服务器,或者用 wsl
    @tanxiong 说实话你这预算不如小额有偿领养
    2020-06-01 09:41:39 +08:00
    回复了 xiaoFine 创建的主题 程序员 占用 GPU 的服务如何解决并发?
    @helloworld000 感谢(看来还有很多路要走
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2728 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 17ms UTC 09:08 PVG 17:08 LAX 02:08 JFK 05:08
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86