惊魂一刻!被某讯云的计费系统吓得差点提桶跑路 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
cy18
V2EX    云计算

惊魂一刻!被某讯云的计费系统吓得差点提桶跑路

  •  15  
  •   cy18 2023-04-27 12:20:59 +08:00 13370 次点击
    这是一个创建于 898 天前的主题,其中的信息可能已经有所发展或是发生改变。

    搞了个高并发的优化算法,自己机器上跑太慢了,发现某讯云的云函数还不错,每个地区都可以搞 500+的并发,同时开 5 个地区这不就是 2500 的并发了么,估算了下,总共两三百万 GBs 估计算法也就跑完了,免费配额 100 万,接下来单价 0.00011108 元 /GBs ,算下来也就一两百块钱,四舍五入等于不要钱!公司刚好有个腾讯云账号,还有几百块余额,直接拿来用,计划通!

    折腾了一两天代码,然后开跑,嗯嗯,效果还不错,比自己机器上跑快多了,来来,让我看看资源使用量怎么样:

    i9UZiH.png

    嗯?跑了几分钟资源使用量咋就红了?算法出问题了?被 DDoS 了?

    嗯嗯??咋用了 2 亿多 GBs ,我靠,100 万 GBs 就要 100 多块钱,2 亿多岂不是要 20000 块钱了,不管结果没存下,先把算法停掉再说!呼,总算停下来了,来来,我算算花了多少钱。掏出计算器,0.00011108*200000000 ,8 个零,没错。我靠,22216 块钱??准备提桶跑路!

    嗯嗯嗯???那个好像不是小数点,是逗号!!不是 2 亿多 GBs ,是 2621 亿 GBs ,我算算......0.00011108*262100000000=29114068......这......我还跑得掉么?

    嗯嗯嗯嗯????我这撑死两千五的并发,几分钟怎么跑出来这么多的?被 DDoS 也跑不了这么多使用量!看来是计费系统的问题......吧?先把系统冻结了,问问客服啥情况。


    那么问题来了,如果是计费系统的问题,我跑了一半的计算结果有的赔么?我的精神损失费有的赔么?

    第 1 条附言    2023-04-27 15:21:40 +08:00
    有结果了,前端的锅

    ![i9Hx2J.png]( https://i.328888.xyz/2023/04/27/i9Hx2J.png)
    96 条回复    2023-04-28 12:39:27 +08:00
    godmiracle
        1
    godmiracle  
       2023-04-27 12:28:30 +08:00
    感觉你要提桶跑路了。。
    leaflxh
        2
    leaflxh  
       2023-04-27 12:31:34 +08:00
    几分钟控制全国流量跑了 250 个 T ,拿去 DD 估计挺爽的
    leaflxh
        3
    leaflxh  
       2023-04-27 12:32:59 +08:00
    左右面板资源使用量还不一样的
    YOOHUU
        4
    YOOHUU  
       2023-04-27 12:33:16 +08:00
    等故事更新
    westoy
        5
    westoy  
       2023-04-27 12:40:03 +08:00
    @leaflxh

    这价格玩敲诈的黑产也用不起啊.......
    dragonfuhuang
        6
    dragonfuhuang  
       2023-04-27 12:42:16 +08:00
    坐等后续的 append
    Calen
        7
    Calen  
       2023-04-27 12:45:36 +08:00
    不用某讯了,你文章里都写了腾讯了
    aru
        8
    aru  
       2023-04-27 12:48:20 +08:00
    假定一个函数用 4GBs ,跑了 10 分钟,2500 个并发
    那么 4*2500*10*60 *0.00011108 = 666 元
    用掉 600 万 GBs
    cy18
        9
    cy18  
    OP
       2023-04-27 12:50:14 +08:00
    @Calen 写了一半,发现好像论坛惯例都是写某讯,然后改,可能没改全
    cy18
        10
    cy18  
    OP
       2023-04-27 12:50:54 +08:00
    @aru 算法很省内存,主要耗 CPU ,所以设定是 64MB 的。
    sadfQED2
        11
    sadfQED2  
       2023-04-27 12:52:36 +08:00 via Android
    哈哈哈,等后续
    cy18
        12
    cy18  
    OP
       2023-04-27 12:52:50 +08:00
    @aru 另外跑的遗传算法,是跑一阵,然后本地处理一阵,再跑一阵,再本地处理,所以实际上并不是都在服务器上跑的。
    amazingxxxxx
        13
    amazingxxxxx  
       2023-04-27 12:56:23 +08:00
    坐等腾讯客服催交 2000 万 RMB 。手动 doge
    flyqie
        14
    flyqie  
       2023-04-27 12:57:01 +08:00 via Android   1
    @westoy #5

    不一定,有些黑产是批量买的号,欠了费就跑那种。
    mxT52CRuqR6o5
        15
    mxT52CRuqR6o5  
       2023-04-27 12:57:18 +08:00   4
    腾讯:遇到大金主了
    cy18
        16
    cy18  
    OP
       2023-04-27 12:58:40 +08:00
    @mxT52CRuqR6o5 大金(yuan)主(zhong)
    Kinnice
        17
    Kinnice  
       2023-04-27 13:01:06 +08:00
    在用户群帮你反馈了一下,这太猛了
    phatpooh
        18
    phatpooh  
       2023-04-27 13:03:18 +08:00 via Android
    可以买机票了
    shiqueb
        19
    shiqueb  
       2023-04-27 13:05:39 +08:00 via Android   5
    收到律师函的大 boss:员工,什么员工?
    amazingxxxxx
        20
    amazingxxxxx  
       2023-04-27 13:06:06 +08:00   5
    未办护照的赶紧办。该吃吃,该喝喝,有什么未了的事情赶紧办好。有心愿也提前说好。

    看看 5 月 1 ,国外有什么地方好玩,确认金额后就别回来了。
    nzynzynzy
        21
    nzynzynzy  
       2023-04-27 13:06:07 +08:00   1
    吃点补肾的,噶的时候多卖点钱
    NeedforV2
        22
    NeedforV2  
       2023-04-27 13:07:05 +08:00
    是不是腾讯算错了,密切关注后续。
    MXMIS
        23
    MXMIS  
       2023-04-27 13:10:27 +08:00
    好像恶意被刷的那部分流量,可以解除?
    iijboom
        24
    iijboom  
       2023-04-27 13:16:15 +08:00
    现在跑还来得及,别问了
    aru
        25
    aru  
       2023-04-27 13:16:33 +08:00
    @MXMIS 你搞错了。这个是 GBs 是资源占用单位,可以认为是每秒的内存占用
    ZE3kr
        26
    ZE3kr  
       2023-04-27 13:16:43 +08:00 via iPhone
    公司的号,没关系的,欠的钱也是公司欠的,就算腾讯追债也是找公司追债
    Kinnice
        27
    Kinnice  
       2023-04-27 13:16:59 +08:00
    按照楼主的说法,跑了几分钟炸了,那我们姑且算总共跑了 10 分钟
    262100000000 / (64MB/1024)GB / (10min*60)s
    大概 10 分钟开了 6989333333 左右的并发??是这样算吗?
    k9982874
        28
    k9982874  
       2023-04-27 13:22:19 +08:00
    放狗找了一下疼迅云对“资源”的解释,然而没找到。。
    Felldeadbird
        29
    Felldeadbird  
       2023-04-27 13:26:48 +08:00
    公号私用,完蛋。26W ,程序和楼主哪个可以跑?五一快来了,准备好吧。
    quzard
        30
    quzard  
       2023-04-27 13:28:14 +08:00 via iPhone
    让大伙看看跑的啥程序,不会真有 bug 吧
    cy18
        31
    cy18  
    OP
       2023-04-27 13:33:27 +08:00
    @Felldeadbird 不算公号私用,跑的优化算法是公司产品用到的参数。
    xujiang
        32
    xujiang  
       2023-04-27 13:34:16 +08:00
    坐等后续
    cy18
        33
    cy18  
    OP
       2023-04-27 13:34:23 +08:00   1
    @Felldeadbird 不是 26W ,按那个算法算出来接近三千个 W 了
    dezou
        34
    dezou  
       2023-04-27 13:38:47 +08:00
    OP 还有心情来写个帖子 /doge
    acthtml
        35
    acthtml  
       2023-04-27 13:43:57 +08:00
    瞧把你吓的
    quzard
        36
    quzard  
       2023-04-27 13:44:43 +08:00 viaiPhone   1
    左边的本月资源使用量和右边的资源使用量不一致,大概率触发了 bug ,来用阿里云吧 /doge
    yokisama
        37
    yokisama  
       2023-04-27 13:45:58 +08:00 via Android
    op 这部分应该可以免了,不然 tx 云现在已经可以张罗着南山警察局抓人了
    yuzo555
        38
    yuzo555  
       2023-04-27 13:46:31 +08:00
    感觉就是右侧数据计算展示的 bug

    左边是正确的,算一下就会发现

    25.59 × 1024 ≈ 2621 ,和右边的数据在纯数字上是对得上,可能是展示的 bug
    jifengg
        39
    jifengg  
       2023-04-27 13:49:14 +08:00
    可能是楼上说的,除错写成乘了
    106npo
        40
    106npo  
       2023-04-27 13:58:51 +08:00
    腾讯:这位客户,啊不,这位被告,您还有什么要补充的么?
    QKgf555H87Fp0cth
        41
    QKgf555H87Fp0cth  
       2023-04-27 14:02:17 +08:00
    准备南山法院吧
    xiaohundun
        42
    xiaohundun  
       2023-04-27 14:06:18 +08:00
    有趣。。看你还不慌,挺好的
    ChengLuffy
        43
    ChengLuffy  
       2023-04-27 14:12:20 +08:00
    哇,等一个后续
    bluedawn
        44
    bluedawn  
       2023-04-27 14:18:08 +08:00 via iPhone
    这是怎么不慌的蹲后续
    littlecorgi
        45
    littlecorgi  
       2023-04-27 14:24:04 +08:00
    小心南山最强法务部,蹲一个后续
    cy18
        46
    cy18  
    OP
       2023-04-27 14:24:35 +08:00   16
    @bluedawn 算出两万多我是真的有点慌,算出两千多万我其实就不慌了,反而开始担心起腾讯某个同行的 KPI 了。
    zoharSoul
        47
    zoharSoul  
       2023-04-27 14:25:34 +08:00
    笑死了 等个后续
    acdfjelxe
        48
    acdfjelxe  
       2023-04-27 14:29:28 +08:00
    这周的腾讯机房故障是你搞的是吧 (:doge
    orangechengcheng
        49
    orangechengcheng  
       2023-04-27 14:34:20 +08:00
    蹲个后续,看看是哪个先跑
    TouristOne
        50
    TouristOne  
       2023-04-27 14:38:25 +08:00
    cy
    dulred
        51
    dulred  
       2023-04-27 14:38:36 +08:00
    牛 蹲起
    zjsxwc
        52
    zjsxwc  
       2023-04-27 14:38:55 +08:00
    简直离谱,
    蹲个后续。
    Stoney
        53
    Stoney  
       2023-04-27 14:39:47 +08:00 via iPhone
    遇到南山必胜客赶紧润吧,不然跨省了
    hhjswf
        54
    hhjswf  
       2023-04-27 14:42:25 +08:00
    2kw 慌个毛,哥们烂命一条
    simo
        55
    simo  
       2023-04-27 14:45:23 +08:00
    账号没钱,是不是就自动停了?
    我这也跑着呢,怕怕
    cy18
        56
    cy18  
    OP
       2023-04-27 14:48:59 +08:00
    @simo 问了客服,账号欠费后要 24 小时才会自动停机。这次是他们的 bug ,但下次如果是我自己的程序 bug ,搞不好真的得提桶跑路。
    xytest
        57
    xytest  
       2023-04-27 14:52:03 +08:00
    云函数乃账号余额杀手!
    simo
        58
    simo  
       2023-04-27 14:58:43 +08:00
    @cy18 #56 我看看还是停了,手里各个平台服务比较多,平时不怎么看云函数这里,万一哪天给个惊喜
    SGTeam
        59
    SGTeam  
       2023-04-27 14:59:27 +08:00
    上次就往云函数上面部署了个自己的 bitwarden_rs 服务,一天花了 1 块多。我算下来有这钱我 300 三年买他个 vps 是不香吗
    还有就是,我就我自己用我的都不知道这家伙怎么能花出去这么多的。
    cy18
        60
    cy18  
    OP
       2023-04-27 15:04:14 +08:00
    @SGTeam 看具体应用环境吧,像我这个高并发的用云函数还是挺合适的。
    worldqiuzhi
        61
    worldqiuzhi  
       2023-04-27 15:38:56 +08:00
    所以到底是多少钱
    ywy12345
        62
    ywy12345  
       2023-04-27 15:39:23 +08:00
    要小心 monolithic 的“函数”导致的各种可能的循环调用。。。特别是一初始化就调用自己这种的。。。这里面没有 singleton 和状态。。。循环调用吃掉几千万真不是梦
    WhereverYouGo
        63
    WhereverYouGo  
       2023-04-27 15:39:33 +08:00
    插个眼,好奇
    cy18
        64
    cy18  
    OP
       2023-04-27 15:39:49 +08:00
    @worldqiuzhi 没花钱,免费额度都没用完呢。
    Cat7373
        65
    Cat7373  
       2023-04-27 15:45:55 +08:00
    @cy18 所以你跑到一半停下来的精神损失费和已消耗的额度怎么办
    cy18
        66
    cy18  
    OP
       2023-04-27 15:52:22 +08:00   1
    @Cat7373 浪费的额度算钱估计撑死也就十几块,刚客服给我打电话说赔我 200 代金券。
    精神损失费不可估量,不过已经在论坛回帖里找回点精神损失了。
    sunxyless2
        67
    sunxyless2  
       2023-04-27 16:00:57 +08:00
    放心用,有透支上限的,怎么可能让你上来刷个几千万
    AA5DE3F034ACCB9E
        68
    AA5DE3F034ACCB9E  
       2023-04-27 16:02:37 +08:00
    笑死,怎么通过验收的
    retanoj
        69
    retanoj  
       2023-04-27 16:04:23 +08:00
    我就想知道这 bug 鹅厂怎么算
    davidoff567
        70
    davidoff567  
       2023-04-27 16:09:53 +08:00
    这个模块的测试同学要倒霉了,这种易现缺陷能流到生产环境上,默哀一秒钟
    jifengg
        71
    jifengg  
       2023-04-27 16:12:02 +08:00
    看来是虚惊一场,那就好
    yolooo
        72
    yolooo  
       2023-04-27 16:31:20 +08:00   11
    此时一位前端同学失去了他的年终奖
    rayhuang110
        73
    rayhuang110  
       2023-04-27 16:35:49 +08:00   5
    楼主及各位评论区的小伙伴们你们好,我是腾讯云云函数的研发同学。

    非常抱歉给大家带来不便,云函数计费资源使用量数值异常原因是前端控制台使用的单位与数值实际的单位不一致导致,实际的用量及其费用均正常,不会导致楼主产生额外的费用,我们已第一时间修复了这个问题,目前展示已恢复。因我们的问题导致楼主的困惑深表歉意。同时非常感谢楼主及时反馈问题,作为奖励我们将赠送一定腾讯云代金券。

    也非常欢迎大家在腾讯云建议反馈平台 https://cloud.tencent.com/voc/对云函数的不足提出批评,我们会虚心接受,及时改进,谢谢大家!
    LokiSharp
        74
    LokiSharp  
       2023-04-27 16:37:39 +08:00   6
    不愧是宇宙第一工单系统 V2EX
    ernest
        75
    ernest  
       2023-04-27 16:38:36 +08:00 via iPhone
    @cy18 这种金额的代金券一般都是奖励发现问题啦,我们之前提过一些线上小问题也是这样。前端问题还好,虚惊一场,摸摸楼主~
    rayhuang110
        76
    rayhuang110  
       2023-04-27 16:38:53 +08:00
    抱歉上方回复的链接不方便跳转
    反馈平台 https://cloud.tencent.com/voc
    QKgf555H87Fp0cth
        77
    QKgf555H87Fp0cth  
       2023-04-27 16:42:07 +08:00   1
    @rayhuang110 你们腾讯的 bug 太多了,我上个礼拜就发现两个 bug
    evil0harry
        78
    evil0harry  
       2023-04-27 16:44:52 +08:00   1
    语气强硬一点说影响到你的系统了,让他们补偿点优惠券什么的
    rayhuang110
        79
    rayhuang110  
       2023-04-27 16:47:23 +08:00   3
    楼主及各位评论区的小伙伴们你们好,我是腾讯云云函数的研发同学。

    非常抱歉给大家带来不便,云函数计费资源使用量数值异常原因是前端控制台使用的单位与数值实际的单位不一致导致,实际的用量及其费用均正常,不会导致楼主产生额外的费用,我们已第一时间修复了这个问题,目前展示已恢复。因我们的问题导致楼主的困惑深表歉意。同时非常感谢楼主及时反馈问题,作为奖励我们将赠送一定腾讯云代金券。

    也非常欢迎大家在腾讯云建议反馈平台: https://cloud.tencent.com/voc/
    对云函数的不足提出批评,我们会虚心接受,及时改进,谢谢大家!
    RatioPattern
        80
    RatioPattern  
       2023-04-27 17:22:00 +08:00
    感觉这个 bug 可能有小半年了
    lookStupiToForce
        81
    lookStupiToForce  
       2023-04-27 18:48:25 +08:00
    笑死,这随便几分钟就两千九百万的速度,换我早就订机票了
    OP 心态真好
    xiaomoxian
        82
    xiaomoxian  
       2023-04-27 19:08:58 +08:00 via Android
    换了我早就在外太空了
    whileFalse
        83
    whileFalse  
       2023-04-27 19:34:11 +08:00 via iPhone
    这玩意 cpu 和内存绑定的吧,开 64 兆内存 cpu 只有一丢丢
    cy18
        84
    cy18  
    OP
       2023-04-27 19:41:24 +08:00
    @whileFalse 实测了 64 跟 128 的运行时间差异到不了两倍,反正用不到这么多内存,64M 性价比更高。
    whileFalse
        85
    whileFalse  
       2023-04-27 20:16:57 +08:00 via iPhone
    @cy18 恩 里面下载数据的时间无论 64 还是 128 都差不多。
    我的意思是你开这么点 cpu ,就算跑了很多实例,可能还不如一台高配台式机跑几个小时…

    文档:
    https://cloud.tencent.com/document/product/583/68734
    cy18
        86
    cy18  
    OP
       2023-04-27 20:48:20 +08:00 via Android   1
    @whileFalse
    有效果,而且效果还很不错。
    我在电脑上面跑,单核跑一个任务 1 秒左右,8 核 16 线程的机器上 10 分钟只能跑 800 个左右任务。做一次 100 多代,每代 800 个任务的迭代优化,基本要跑个通宵。
    云函数上面跑,只跑一个任务的时候 3 秒多能跑完,开 2400 个线程发 https 请求并发 2400 个任务,跑一轮只要 40 秒左右,而且通过观察系统的 tcp 连接数量跟 cpu 占用率发现,大部分时间其实都是卡在本地 cpu 处理 https 请求上,如果优化下 https 处理效果应该会更好,不过现在的够用,就懒得折腾了。实际跑下来 1 个多小时就能跑完 100 轮左右的迭代,而且每代可以有 2400 个任务。
    whileFalse
        87
    whileFalse  
       2023-04-27 20:52:23 +08:00 via iPhone
    @cy18 咦,那可能是腾讯机器多,所以云函数实际上使用的 cpu 远超文档中说明的“0.1 个核心”?
    你机器啥配置
    cy18
        88
    cy18  
    OP
       2023-04-27 20:53:11 +08:00 via Android
    @whileFalse 我还是走了些弯路,先折腾的云函数,之后才发现 python 有几个专门的分布式计算的库,可以通过 k8s 动态创建容器作计算,效果应该更好。想着云函数这个凑合也能用,就先用着了。
    cy18
        89
    cy18  
    OP
       2023-04-27 20:54:49 +08:00 via Android
    @whileFalse 3700x+32G
    2400 任务并发,每个就按 0.1 核,其实也有 240 核了,比我这 8 核 16 线程强了 10 倍了。
    whileFalse
        90
    whileFalse  
       2023-04-27 20:54:53 +08:00 via iPhone
    而且你说单核 1 秒,那理论上 8 核应该 1 秒至少跑 8 个,一分钟 500 个,10 分钟 5000 个。实际上只跑了 800 个,是不是磁盘啥的瓶颈了。
    cy18
        91
    cy18  
    OP
       2023-04-27 20:58:53 +08:00 via Android
    @whileFalse 这么一算确实,不知道是不是哪里算错了,可能有其他什么瓶颈。我电脑上使用 process pool 跑的,按说应该能跑满,可能是跑久了 cpu 降频?
    cy18
        92
    cy18  
    OP
       2023-04-27 22:07:24 +08:00   1
    @whileFalse 重新看了下一两年前写的代码,前面说的问题规模有点问题,我把遗传算法筛选前的样本数量跟筛选后的样本数量搞混了。之前说的 800 跟 2400 是每轮筛选后的样本数量,筛选前的样本数量在代码里看不出来,懒得看了。
    用同样的 800 规模重新测试了一下运行速度,本地差不多要 13 分钟一轮,并发跑一轮只要 30 秒左右,提升还是非常明显的。
    leeraya
        93
    leeraya  
       2023-04-28 11:23:47 +08:00
    此时一位 tx 前端和 qa 正在被吊打
    huangzhiyia
        94
    huangzhiyia  
       2023-04-28 12:10:45 +08:00 via Android
    腾讯云 beta 云
    OliverDD
        95
    OliverDD  
       2023-04-28 12:15:15 +08:00 via iPhone
    笑死我了
    cy18
        96
    cy18  
    OP
       2023-04-28 12:39:27 +08:00
    @ywy12345 后台可以设置函数最长运行时间,时间到了应该就被 kill 掉了吧?
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1010 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 18:39 PVG 02:39 LAX 11:39 JFK 14:39
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86