请教一下 Hadoop 在生产环境可以通过 Docker 安装吗? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
NeroKamin
V2EX    Hadoop

请教一下 Hadoop 在生产环境可以通过 Docker 安装吗?

  •  
  •   NeroKamin 2024-03-04 09:58:17 +08:00 1941 次点击
    这是一个创建于 586 天前的主题,其中的信息可能已经有所发展或是发生改变。
    背景:新入职的一家传统公司,开发运维的活都要自己干。领导不懂技术,今年定下的目标是要在公司内搞一个大数据平台,指定要部署一套 Hadoop 集群,让我来负责。我感觉按目前公司的业务来说根本用不到,基本上属于是绩效工程,我自己也对这方面没有太多研究。很早以前接触过一点 Hadoop ,印象就是安装配置挺麻烦的,所以我想来请教下在生产环境上能否使用 Docker 来简化 Hadoop 的安装配置,是否有什么坑?
    12 条回复    2024-03-12 14:40:46 +08:00
    superchijinpeng
        1
    superchijinpeng  
       2024-03-04 10:37:19 +08:00
    太可以了,现在政府的底层都是在 k8s 上了
    NeroKamin
        2
    NeroKamin  
    OP
       2024-03-04 11:18:55 +08:00 via iPhone
    @superchijinpeng 没有 k8s 环境,弄 k8s 感觉更复杂了。我想直接用 docker compose ,但这样是不是就和 hadoop 伪分布式集群差不多了,组件都跑在一个机器节点上了
    cus
        3
    cus  
       2024-03-04 18:05:40 +08:00 via iPhone
    单机就没有任何必要布集群了
    cus
        4
    cus  
       2024-03-04 18:08:26 +08:00 via iPhone
    可以看看阿里云的 lindorm ,我们之前的场景 lindorm 成本和自建接近。
    NeroKamin
        5
    NeroKamin  
    OP
       2024-03-04 22:51:41 +08:00
    @cus 绩效工程,领导要啥就只能做啥,打工人没有拍板的权力。领导要 Hadoop 就得上 Hadoop ,领导要 Docker 就得用 Docker 。
    其实我主要是想问在不引入 k8s 、docker swarm 等的情况下有没有比较好的方案编排这些组件,并且不是单机集群
    luckybearops
        6
    luckybearops  
       2024-03-05 00:23:16 +08:00   1
    我的理解,应该是有 ansible 编排的 hadoop 集群,可以去 GitHub 找找
    kneo
        7
    kneo  
       2024-03-05 08:24:29 +08:00 via Android
    能。生产环境常用。当然坑很多,说有一百个坑都不为过。你想一个都不踩是不可能的。该踩的都得踩一遍,都是经验,就别想着避坑了。
    ispong
        8
    ispong  
       2024-03-05 10:12:40 +08:00
    合作一下?
    ispong
        9
    ispong  
       2024-03-05 10:14:10 +08:00
    NeroKamin
        10
    NeroKamin  
    OP
       2024-03-05 17:09:20 +08:00 via iPhone
    @ispong 这是啥?你们公司的产品吗
    NeroKamin
        11
    NeroKamin  
    OP
       2024-03-05 20:14:43 +08:00
    @kneo #7 能分享一下经验吗
    ispong
        12
    ispong  
       2024-03-12 14:40:46 +08:00
    @NeroKamin 是的, 4 月份推广. 应该对你有所帮助,感觉我们可以合作
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     955 人在线   最高记录 6679     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 22:51 PVG 06:51 LAX 15:51 JFK 18:51
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86