搞了个高并发的优化算法,自己机器上跑太慢了,发现某讯云的云函数还不错,每个地区都可以搞 500+的并发,同时开 5 个地区这不就是 2500 的并发了么,估算了下,总共两三百万 GBs 估计算法也就跑完了,免费配额 100 万,接下来单价 0.00011108 元 /GBs ,算下来也就一两百块钱,四舍五入等于不要钱!公司刚好有个腾讯云账号,还有几百块余额,直接拿来用,计划通!
折腾了一两天代码,然后开跑,嗯嗯,效果还不错,比自己机器上跑快多了,来来,让我看看资源使用量怎么样:
嗯?跑了几分钟资源使用量咋就红了?算法出问题了?被 DDoS 了?
嗯嗯??咋用了 2 亿多 GBs ,我靠,100 万 GBs 就要 100 多块钱,2 亿多岂不是要 20000 块钱了,不管结果没存下,先把算法停掉再说!呼,总算停下来了,来来,我算算花了多少钱。掏出计算器,0.00011108*200000000 ,8 个零,没错。我靠,22216 块钱??准备提桶跑路!
嗯嗯嗯???那个好像不是小数点,是逗号!!不是 2 亿多 GBs ,是 2621 亿 GBs ,我算算......0.00011108*262100000000=29114068......这......我还跑得掉么?
嗯嗯嗯嗯????我这撑死两千五的并发,几分钟怎么跑出来这么多的?被 DDoS 也跑不了这么多使用量!看来是计费系统的问题......吧?先把系统冻结了,问问客服啥情况。
那么问题来了,如果是计费系统的问题,我跑了一半的计算结果有的赔么?我的精神损失费有的赔么?
![]() | 1 godmiracle 2023-04-27 12:28:30 +08:00 感觉你要提桶跑路了。。 |
![]() | 2 leaflxh 2023-04-27 12:31:34 +08:00 几分钟控制全国流量跑了 250 个 T ,拿去 DD 估计挺爽的 |
![]() | 3 leaflxh 2023-04-27 12:32:59 +08:00 左右面板资源使用量还不一样的 |
![]() | 4 YOOHUU 2023-04-27 12:33:16 +08:00 等故事更新 |
坐等后续的 append |
7 Calen 2023-04-27 12:45:36 +08:00 不用某讯了,你文章里都写了腾讯了 |
8 aru 2023-04-27 12:48:20 +08:00 假定一个函数用 4GBs ,跑了 10 分钟,2500 个并发 那么 4*2500*10*60 *0.00011108 = 666 元 用掉 600 万 GBs |
![]() | 11 sadfQED2 2023-04-27 12:52:36 +08:00 via Android 哈哈哈,等后续 |
13 amazingxxxxx 2023-04-27 12:56:23 +08:00 坐等腾讯客服催交 2000 万 RMB 。手动 doge |
15 mxT52CRuqR6o5 2023-04-27 12:57:18 +08:00 ![]() 腾讯:遇到大金主了 |
![]() | 16 cy18 OP @mxT52CRuqR6o5 大金(yuan)主(zhong) |
![]() | 17 Kinnice 2023-04-27 13:01:06 +08:00 在用户群帮你反馈了一下,这太猛了 |
![]() | 18 phatpooh 2023-04-27 13:03:18 +08:00 via Android 可以买机票了 |
![]() | 19 shiqueb 2023-04-27 13:05:39 +08:00 via Android ![]() 收到律师函的大 boss:员工,什么员工? |
20 amazingxxxxx 2023-04-27 13:06:06 +08:00 ![]() 未办护照的赶紧办。该吃吃,该喝喝,有什么未了的事情赶紧办好。有心愿也提前说好。 看看 5 月 1 ,国外有什么地方好玩,确认金额后就别回来了。 |
![]() | 21 nzynzynzy 2023-04-27 13:06:07 +08:00 ![]() 吃点补肾的,噶的时候多卖点钱 |
22 NeedforV2 2023-04-27 13:07:05 +08:00 是不是腾讯算错了,密切关注后续。 |
![]() | 23 MXMIS 2023-04-27 13:10:27 +08:00 好像恶意被刷的那部分流量,可以解除? |
24 iijboom 2023-04-27 13:16:15 +08:00 现在跑还来得及,别问了 |
![]() | 26 ZE3kr 2023-04-27 13:16:43 +08:00 via iPhone 公司的号,没关系的,欠的钱也是公司欠的,就算腾讯追债也是找公司追债 |
![]() | 27 Kinnice 2023-04-27 13:16:59 +08:00 按照楼主的说法,跑了几分钟炸了,那我们姑且算总共跑了 10 分钟 262100000000 / (64MB/1024)GB / (10min*60)s 大概 10 分钟开了 6989333333 左右的并发??是这样算吗? |
![]() | 28 k9982874 2023-04-27 13:22:19 +08:00 放狗找了一下疼迅云对“资源”的解释,然而没找到。。 |
![]() | 29 Felldeadbird 2023-04-27 13:26:48 +08:00 公号私用,完蛋。26W ,程序和楼主哪个可以跑?五一快来了,准备好吧。 |
![]() | 30 quzard 2023-04-27 13:28:14 +08:00 via iPhone 让大伙看看跑的啥程序,不会真有 bug 吧 |
![]() | 31 cy18 OP @Felldeadbird 不算公号私用,跑的优化算法是公司产品用到的参数。 |
![]() | 32 xujiang 2023-04-27 13:34:16 +08:00 坐等后续 |
![]() | 33 cy18 OP ![]() @Felldeadbird 不是 26W ,按那个算法算出来接近三千个 W 了 |
34 dezou 2023-04-27 13:38:47 +08:00 OP 还有心情来写个帖子 /doge |
![]() | 35 acthtml 2023-04-27 13:43:57 +08:00 瞧把你吓的 |
![]() | 36 quzard 2023-04-27 13:44:43 +08:00 viaiPhone ![]() 左边的本月资源使用量和右边的资源使用量不一致,大概率触发了 bug ,来用阿里云吧 /doge |
![]() | 37 yokisama 2023-04-27 13:45:58 +08:00 via Android op 这部分应该可以免了,不然 tx 云现在已经可以张罗着南山警察局抓人了 |
![]() | 38 yuzo555 2023-04-27 13:46:31 +08:00 感觉就是右侧数据计算展示的 bug 左边是正确的,算一下就会发现 25.59 × 1024 ≈ 2621 ,和右边的数据在纯数字上是对得上,可能是展示的 bug |
39 jifengg 2023-04-27 13:49:14 +08:00 可能是楼上说的,除错写成乘了 |
![]() | 40 106npo 2023-04-27 13:58:51 +08:00 腾讯:这位客户,啊不,这位被告,您还有什么要补充的么? |
![]() | 41 QKgf555H87Fp0cth 2023-04-27 14:02:17 +08:00 准备南山法院吧 |
![]() | 42 xiaohundun 2023-04-27 14:06:18 +08:00 有趣。。看你还不慌,挺好的 |
![]() | 43 ChengLuffy 2023-04-27 14:12:20 +08:00 哇,等一个后续 |
![]() | 这是怎么不慌的蹲后续 |
![]() | 45 littlecorgi 2023-04-27 14:24:04 +08:00 小心南山最强法务部,蹲一个后续 |
![]() | 47 zoharSoul 2023-04-27 14:25:34 +08:00 笑死了 等个后续 |
48 acdfjelxe 2023-04-27 14:29:28 +08:00 这周的腾讯机房故障是你搞的是吧 (:doge |
49 orangechengcheng 2023-04-27 14:34:20 +08:00 蹲个后续,看看是哪个先跑 |
![]() | 50 TouristOne 2023-04-27 14:38:25 +08:00 cy |
51 dulred 2023-04-27 14:38:36 +08:00 牛 蹲起 |
![]() | 52 zjsxwc 2023-04-27 14:38:55 +08:00 简直离谱, 蹲个后续。 |
![]() | 53 Stoney 2023-04-27 14:39:47 +08:00 via iPhone 遇到南山必胜客赶紧润吧,不然跨省了 |
![]() | 54 hhjswf 2023-04-27 14:42:25 +08:00 2kw 慌个毛,哥们烂命一条 |
![]() | 55 simo 2023-04-27 14:45:23 +08:00 账号没钱,是不是就自动停了? 我这也跑着呢,怕怕 |
![]() | 56 cy18 OP @simo 问了客服,账号欠费后要 24 小时才会自动停机。这次是他们的 bug ,但下次如果是我自己的程序 bug ,搞不好真的得提桶跑路。 |
![]() | 57 xytest 2023-04-27 14:52:03 +08:00 云函数乃账号余额杀手! |
![]() | 59 SGTeam 2023-04-27 14:59:27 +08:00 上次就往云函数上面部署了个自己的 bitwarden_rs 服务,一天花了 1 块多。我算下来有这钱我 300 三年买他个 vps 是不香吗 还有就是,我就我自己用我的都不知道这家伙怎么能花出去这么多的。 |
![]() | 61 worldqiuzhi 2023-04-27 15:38:56 +08:00 所以到底是多少钱 |
62 ywy12345 2023-04-27 15:39:23 +08:00 要小心 monolithic 的“函数”导致的各种可能的循环调用。。。特别是一初始化就调用自己这种的。。。这里面没有 singleton 和状态。。。循环调用吃掉几千万真不是梦 |
![]() | 63 WhereverYouGo 2023-04-27 15:39:33 +08:00 插个眼,好奇 |
![]() | 64 cy18 OP @worldqiuzhi 没花钱,免费额度都没用完呢。 |
![]() | 66 cy18 OP ![]() @Cat7373 浪费的额度算钱估计撑死也就十几块,刚客服给我打电话说赔我 200 代金券。 精神损失费不可估量,不过已经在论坛回帖里找回点精神损失了。 |
67 sunxyless2 2023-04-27 16:00:57 +08:00 放心用,有透支上限的,怎么可能让你上来刷个几千万 |
68 AA5DE3F034ACCB9E 2023-04-27 16:02:37 +08:00 笑死,怎么通过验收的 |
![]() | 69 retanoj 2023-04-27 16:04:23 +08:00 我就想知道这 bug 鹅厂怎么算 |
![]() | 70 davidoff567 2023-04-27 16:09:53 +08:00 这个模块的测试同学要倒霉了,这种易现缺陷能流到生产环境上,默哀一秒钟 |
71 jifengg 2023-04-27 16:12:02 +08:00 看来是虚惊一场,那就好 |
72 yolooo 2023-04-27 16:31:20 +08:00 ![]() 此时一位前端同学失去了他的年终奖 |
73 rayhuang110 2023-04-27 16:35:49 +08:00 ![]() 楼主及各位评论区的小伙伴们你们好,我是腾讯云云函数的研发同学。 非常抱歉给大家带来不便,云函数计费资源使用量数值异常原因是前端控制台使用的单位与数值实际的单位不一致导致,实际的用量及其费用均正常,不会导致楼主产生额外的费用,我们已第一时间修复了这个问题,目前展示已恢复。因我们的问题导致楼主的困惑深表歉意。同时非常感谢楼主及时反馈问题,作为奖励我们将赠送一定腾讯云代金券。 也非常欢迎大家在腾讯云建议反馈平台 https://cloud.tencent.com/voc/对云函数的不足提出批评,我们会虚心接受,及时改进,谢谢大家! |
![]() | 74 LokiSharp 2023-04-27 16:37:39 +08:00 ![]() 不愧是宇宙第一工单系统 V2EX |
![]() | 75 ernest 2023-04-27 16:38:36 +08:00 via iPhone @cy18 这种金额的代金券一般都是奖励发现问题啦,我们之前提过一些线上小问题也是这样。前端问题还好,虚惊一场,摸摸楼主~ |
76 rayhuang110 2023-04-27 16:38:53 +08:00 抱歉上方回复的链接不方便跳转 反馈平台 https://cloud.tencent.com/voc |
![]() | 77 QKgf555H87Fp0cth 2023-04-27 16:42:07 +08:00 ![]() @rayhuang110 你们腾讯的 bug 太多了,我上个礼拜就发现两个 bug |
![]() | 78 evil0harry 2023-04-27 16:44:52 +08:00 ![]() 语气强硬一点说影响到你的系统了,让他们补偿点优惠券什么的 |
79 rayhuang110 2023-04-27 16:47:23 +08:00 ![]() 楼主及各位评论区的小伙伴们你们好,我是腾讯云云函数的研发同学。 非常抱歉给大家带来不便,云函数计费资源使用量数值异常原因是前端控制台使用的单位与数值实际的单位不一致导致,实际的用量及其费用均正常,不会导致楼主产生额外的费用,我们已第一时间修复了这个问题,目前展示已恢复。因我们的问题导致楼主的困惑深表歉意。同时非常感谢楼主及时反馈问题,作为奖励我们将赠送一定腾讯云代金券。 也非常欢迎大家在腾讯云建议反馈平台: https://cloud.tencent.com/voc/ 对云函数的不足提出批评,我们会虚心接受,及时改进,谢谢大家! |
![]() | 80 RatioPattern 2023-04-27 17:22:00 +08:00 感觉这个 bug 可能有小半年了 |
![]() | 82 xiaomoxian 2023-04-27 19:08:58 +08:00 via Android 换了我早就在外太空了 |
83 whileFalse 2023-04-27 19:34:11 +08:00 via iPhone 这玩意 cpu 和内存绑定的吧,开 64 兆内存 cpu 只有一丢丢 |
![]() | 84 cy18 OP @whileFalse 实测了 64 跟 128 的运行时间差异到不了两倍,反正用不到这么多内存,64M 性价比更高。 |
85 whileFalse 2023-04-27 20:16:57 +08:00 via iPhone @cy18 恩 里面下载数据的时间无论 64 还是 128 都差不多。 我的意思是你开这么点 cpu ,就算跑了很多实例,可能还不如一台高配台式机跑几个小时… 文档: https://cloud.tencent.com/document/product/583/68734 |
![]() | 86 cy18 OP ![]() @whileFalse 有效果,而且效果还很不错。 我在电脑上面跑,单核跑一个任务 1 秒左右,8 核 16 线程的机器上 10 分钟只能跑 800 个左右任务。做一次 100 多代,每代 800 个任务的迭代优化,基本要跑个通宵。 云函数上面跑,只跑一个任务的时候 3 秒多能跑完,开 2400 个线程发 https 请求并发 2400 个任务,跑一轮只要 40 秒左右,而且通过观察系统的 tcp 连接数量跟 cpu 占用率发现,大部分时间其实都是卡在本地 cpu 处理 https 请求上,如果优化下 https 处理效果应该会更好,不过现在的够用,就懒得折腾了。实际跑下来 1 个多小时就能跑完 100 轮左右的迭代,而且每代可以有 2400 个任务。 |
87 whileFalse 2023-04-27 20:52:23 +08:00 via iPhone @cy18 咦,那可能是腾讯机器多,所以云函数实际上使用的 cpu 远超文档中说明的“0.1 个核心”? 你机器啥配置 |
![]() | 88 cy18 OP @whileFalse 我还是走了些弯路,先折腾的云函数,之后才发现 python 有几个专门的分布式计算的库,可以通过 k8s 动态创建容器作计算,效果应该更好。想着云函数这个凑合也能用,就先用着了。 |
![]() | 89 cy18 OP @whileFalse 3700x+32G 2400 任务并发,每个就按 0.1 核,其实也有 240 核了,比我这 8 核 16 线程强了 10 倍了。 |
90 whileFalse 2023-04-27 20:54:53 +08:00 via iPhone 而且你说单核 1 秒,那理论上 8 核应该 1 秒至少跑 8 个,一分钟 500 个,10 分钟 5000 个。实际上只跑了 800 个,是不是磁盘啥的瓶颈了。 |
![]() | 91 cy18 OP @whileFalse 这么一算确实,不知道是不是哪里算错了,可能有其他什么瓶颈。我电脑上使用 process pool 跑的,按说应该能跑满,可能是跑久了 cpu 降频? |
![]() | 92 cy18 OP ![]() @whileFalse 重新看了下一两年前写的代码,前面说的问题规模有点问题,我把遗传算法筛选前的样本数量跟筛选后的样本数量搞混了。之前说的 800 跟 2400 是每轮筛选后的样本数量,筛选前的样本数量在代码里看不出来,懒得看了。 用同样的 800 规模重新测试了一下运行速度,本地差不多要 13 分钟一轮,并发跑一轮只要 30 秒左右,提升还是非常明显的。 |
93 leeraya 2023-04-28 11:23:47 +08:00 此时一位 tx 前端和 qa 正在被吊打 |
![]() | 94 huangzhiyia 2023-04-28 12:10:45 +08:00 via Android 腾讯云 beta 云 |
![]() | 95 |