请教大佬 k8s 资源分配问题 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
uriel2333
V2EX    Kubernetes

请教大佬 k8s 资源分配问题

  •  
  •   uriel2333 2023-10-20 17:11:05 +08:00 1842 次点击
    这是一个创建于 771 天前的主题,其中的信息可能已经有所发展或是发生改变。

    在 Deployment 创建 15 个 pod 实例压测无法跑满 cpu ,最多只用到了分配 cpu 的 40%,性能就同比例下降。 如果只创建几个 pod 比如 1 ,2 个,再做压测就不会出现 cpu 跑不满的问题。

    对于 yaml 文件里 limits 和 requests 都配置了,负载均衡也看过没有问题。 所以这个是什么问题造成的呢,是 k8s 哪里的配置导致的吗?

    第 1 条附言    2023-10-20 17:45:59 +08:00
    补充一下,每个 pod 都在不同的节点,所以没有 cpu 竞争关系。
    pod 上部署的是模型文件,如果只是简单的数学计算,例如斐波那契数列,同样的资源配置,压测就很容易打满 cpu 。
    感觉是和模型使用的 cpu 指令有关系,但是已经在不同的结点了,应该互相没有影响才对,实在不明白。
    9 条回复    2023-10-20 19:01:43 +08:00
    devopsdogdog
        1
    devopsdogdog  
       2023-10-20 17:17:25 +08:00   1
    估计是 cpu 调度问题,观察上下文和 io
    mantou99
        2
    mantou99  
       2023-10-20 17:24:38 +08:00 via Android
    猜测多核优化的问题
    kubelet 加参数 cpu manger policy =static
    resource 设置 limit=request
    然后再测试看看
    standchan
        3
    standchan  
       2023-10-20 17:26:35 +08:00
    pod 上面一层的负载均衡你们是用什么
    uriel2333
        4
    uriel2333  
    OP
       2023-10-20 17:37:52 +08:00
    @standchan 上一层是腾讯云的 lb ,这个也看过了,没啥问题,pod 上面跑的是模型,不知道有没有什么影响
    uriel2333
        5
    uriel2333  
    OP
       2023-10-20 17:38:21 +08:00
    @mantou99 好的大佬,我试试
    uriel2333
        6
    uriel2333  
    OP
       2023-10-20 17:46:11 +08:00
    @devopsdogdog 好的 谢谢
    standchan
        7
    standchan  
       2023-10-20 18:02:51 +08:00
    @uriel2333 #4 你可以确认一下不同节点用的 cpu 是否是一样的,如果你跑这种偏低层的计算。amd 和英特尔可能会不太一样?另外你可以观察一下,如果每个节点都只分配到一个 pod ,但是 pods 数量大于你测试的 2 个,性能会不会下降?
    uriel2333
        8
    uriel2333  
    OP
       2023-10-20 18:23:06 +08:00
    @standchan CPU 我看到是 x86 的,没看到是哪个牌子,我测试过,超过 8 个 pod 就会开始性能下降,不超过 8 个,cpu 利用率还是能到 80%
    yyttrr
        9
    yyttrr  
       2023-10-20 19:01:43 +08:00
    推理场景是吧?阿里云的 ECI 效果明显好于 ECS ,腾讯云的话就是 EKS ,你试试吧
    我当时在 32 核机器上跑推理,超过 16 个 pod 也遇到过会变慢的情况,后来全改成用 servless pod 了
    每个 pod 独立一台小机器,性能好得很
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1543 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 16:20 PVG 00:20 LAX 08:20 JFK 11:20
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86