rhel74 运行 selenium 截屏 chrome 网页,总是会死机,或者假死,而且无法强制退出。能不能质疑一下 Linux 的资源管理? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
jahan
V2EX    Linux

rhel7 运行 selenium 截屏 chrome 网页,总是会死机,或者假死,而且无法强制退出。能不能质疑一下 Linux 的资源管理?

  •  
  •   jahan 2018-03-29 17:58:41 +08:00 4267 次点击
    这是一个创建于 2803 天前的主题,其中的信息可能已经有所发展或是发生改变。

    window2012 和 linux 都是 4g 内存,同样的 cpu linux 在运行 chrome 网页 selenium 截图的时候,总是会出现假死。windows12 就不会,一直运行很稳定。 平时使用数据的 linux 版本,也发现 linux 下的数据库没有 2012 下的效率高、稳定性也存疑。 是不是我这里设置的问题呢?百思不得其解啊 感觉犯了大忌,质疑了 linux 的管理效率。

    或者是我设置的问题呢?请赐教

    15 条回复    2018-03-30 16:04:19 +08:00
    402645707
        1
    402645707  
       2018-03-29 18:20:04 +08:00
    chrome 内存泄漏没得洗,推特上去年 chrome 内存泄漏 bug 的时候就有 google 的员工说发的开发机是 128G 内存所以看不出来
    windows 的虚拟内存效率高,同样是刷 b 站,物理内存 4g 占用 3.7g 还能愉快 qq 网易云后台跑,linux 物理内存内存 3.5g 直接跪了
    linux 的效率你可以看看 docker,一群小机代替一个母鸡才是未来,就像当年 Wintel 联手用 X86 微型机把 Powerpc 在内的一堆平台埋葬一样
    jahan
        2
    jahan  
    OP
       2018-03-29 18:24:31 +08:00
    @402645707 那就是要换掉 chrome ?用 who ?
    Windows,服了。
    linux,多少 pc 能替代母鸡?
    jahan
        3
    jahan  
    OP
       2018-03-29 18:26:06 +08:00
    配置优化措施? linux 貌似依赖这些。
    windows 感觉是随便上
    @402645707
    neoblackcap
        4
    neoblackcap  
       2018-03-29 19:41:54 +08:00
    docker 压根就不是什么小机,就是一个资源隔离的增强版进程
    至于 chrome 内存泄漏,你是怎么用 selenium 的呢?用的是 chrome headless 模式? chromedriver 版本是多少,浏览器版本是多少?
    很多时候 driver 跟 chrome 的版本对不上会有问题的。
    jahan
        5
    jahan  
    OP
       2018-03-29 19:53:45 +08:00
    @neoblackcap 不是 headless。浏览器为最新版本。版本是按照版本映射取的最新版。
    docer 总要寄生在一个机器上吧,如果按照
    @402645707 说的,应该是一群(多少)小机( pc ?)能够取代主机?
    不过觉得很多时候时间耗费在了搭建环境上,dock er 配置部署确实方便。ova 都让人觉得方便不少
    neoblackcap
        6
    neoblackcap  
       2018-03-29 22:45:42 +08:00 via iPhone
    @jahan 不是 headless 可能是 xvfb,毕竟大家给的反馈都是用 headless 模式之后内存使用大幅减少。
    至于 docker 取代主机根本无稽之谈,docker 或者 vm 都是为了更好地利用硬件而已。就是要将内存,CPU 更好地用于生产。不存在什么替代。所谓的取代应该是基于 x86 微机的分布式集群取代大型机吧。压根都是两回事
    jahan
        7
    jahan  
    OP
       2018-03-29 23:43:53 +08:00
    @neoblackcap 有吃内存的解决方法吗?着实着急。换浏览器?貌似也绕不开。
    iwtbauh
        8
    iwtbauh  
       2018-03-29 23:52:43 +08:00 via Android
    数据库效率低?是不是 CPU 的 bug 的锅,rh 和 c 社两家是很激进的,为了安全大补特补,性能下降严重,比主线内核严重多得多
    没记错的话 windows server 系统微软说由于性能考虑默认不启用修补!!!
    如果是最新的系统,请更换自行编译的主线内核,并移除对 CPU bug 的修补,在我的笔记本电脑上 IO 性能能提升 10 倍以上
    iwtbauh
        9
    iwtbauh  
       2018-03-29 23:58:06 +08:00 via Android
    @iwtbauh 或者最省心的办法是降内核版本,降到没有这个 CPU 漏洞修补的内核版本

    用这个工具

    https://github.com/speed47/spectre-meltdown-checker

    想办法让三个漏洞修补都变成“未修补”的状态

    牺牲安全大幅度提升性能。
    jahan
        10
    jahan  
    OP
       2018-03-30 00:23:10 +08:00
    @iwtbauh 对时常跳出一个 cpu 的什么时钟错误。移除 bug,能提升这么多?非常明显?那还真是要考虑不用 7.4 了。降低内核版本之后稳定不?
    omph
        11
    omph  
       2018-03-30 10:18:05 +08:00
    selenium 不是也支持火狐吗?
    iwtbauh
        12
    iwtbauh  
       2018-03-30 13:18:17 +08:00 via Android
    @jahan 和时钟错误不是一回事。是前段时间沸沸扬扬的 Spectre 和 Meltdown 漏洞,x86 CPU 硬件出现漏洞无法修补,只能让操作系统以大幅度降低性能为代价缓解这个硬件漏洞。

    没记错的话,微软说出于性能考虑默认不在服务器版本的 Windows 上修补,想补手动打开

    其中 rh 和 c 社两家特别激进,为了安全不顾一切,给内核打了特殊的补丁!导致 rh 和 Ubuntu 性能下降最严重。在我的笔记本上 IO 性能下降 10 倍以上。平时用个 vim 都有可能卡一下。反正我受不了固定了旧内核不更新。/t/428504

    我猜测你数据库性能不高问题可能与此有关
    jahan
        13
    jahan  
    OP
       2018-03-30 15:41:13 +08:00
    @iwtbauh 用您说的脚本可以实现固件降级?另外 7.3 是不是没有打这个补丁呢?
    iwtbauh
        14
    iwtbauh  
       2018-03-30 16:03:41 +08:00 via Android
    @jahan 那个脚本就是检测是否打过补丁工具。降内核需要自己降。而且相关补丁都向前移植了,降内核可能也有修补,因此最坏的情况下需要自行编译内核。或者换 Debian 9 试试,Debian 9 直接用的主线内核的修补,可以通过传入内核命令行参数 nopti noibrs noibpb 来禁用修补
    iwtbauh
        15
    iwtbauh  
       2018-03-30 16:04:19 +08:00 via Android
    @jahan 也不一定是这个问题,你先用那个脚本检查下修补状态
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     815 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 123ms UTC 20:10 PVG 04:10 LAX 12:10 JFK 15:10
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86