Mac Intellij 下远程调试 Hadoop 代码有什么好的方案? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
yhf
V2EX    Hadoop

Mac Intellij 下远程调试 Hadoop 代码有什么好的方案?

  •  
  •   yhf 2015-10-29 04:10:40 +08:00 4209 次点击
    这是一个创建于 3637 天前的主题,其中的信息可能已经有所发展或是发生改变。

    用 VirtualBox 和 vagrant 安装了 ubuntu ,在 ubuntu 里安装了 Hadoop.

    然后我在本地 Intellij 里写代码,因为本地没有安装 Hadoop, 所以 Intellij 无法代码补全,也没有错误提示,十分痛苦。有什么好的解决方案吗?我现在是自己在本地写,然后 rsync 到虚拟机,然后再在虚拟机里跑。

    6 条回复    2015-10-29 16:43:23 +08:00
    bbx
        1
    bbx  
       2015-10-29 04:55:42 +08:00
    安装 virtualbox 或者 vagrant 或者 docker 之类的其实都挺不方便的,年轻的时候经常这么测试。。
    你需要的 unit test 之类的,而不是“写了代码,打成 jar 再传到 server 上 run 一个小点的 dataset ”
    jamesyf
        2
    jamesyf  
       2015-10-29 06:03:46 +08:00
    你是写什么 hadoop 代码?如果是 java/scala 的 mapreduce 代码的话一般你可以使用 maven/gradle/ant 来做依赖管理,只要把这些东西陪好的话 intellij 就可以自动把对应的依赖拉下来做代码补全。
    wakemecn
        3
    wakemecn  
       2015-10-29 06:23:11 +08:00
    Mac 本地是可以安装 Hadoop 单击模式或者伪分布式模式作为实验用的。
    haog
        4
    haog  
       2015-10-29 09:21:12 +08:00
    其实无非是两个痛点:
    1 是没补全,这个好说, maven 或者 gradle 都能简单解决。但是 mapreduce ,即使有补全,没有 compile error 。 runtime error 也是不时会出现
    2 是反复调试蛋疼。其实 2 是更为痛苦的一点,以为你要反复的 build uber jar ,然后 test ,即使是在 local 下面也是烦得一 b 。更别说,还可能处理各种格式的文件, avro , protobuf 等等。所以说,你需要 unit test 来反复 rerun 你写好的 test case 。
    可以试一下:
    https://github.com/gaohao/hhdp
    好不好用试一试
    yhf
        5
    yhf  
    OP
       2015-10-29 11:44:14 +08:00
    @bbx
    @haog
    @jamesyf
    感谢!


    @wakemecn 嗯,我知道。但是老师要求用 ubuntu.......
    jimmyzhang33
        6
    jimmyzhang33  
       2015-10-29 16:43:23 +08:00
    1. 在 Intellij 里面编码;
    2. 在 Intellij 编写完以后上传到代码库上面;
    3. 在 server 上写个 shell ,功能包括更新 server 上的代码,及自动运行;
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1475 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 16:44 PVG 00:44 LAX 09:44 JFK 12:44
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86