亲爱的 v2ex,我要向你道歉。 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
JamesWone
V2EX    成都

亲爱的 v2ex,我要向你道歉。

  •  
  •   JamesWone 2015-12-31 15:10:15 +08:00 6043 次点击
    这是一个创建于 3648 天前的主题,其中的信息可能已经有所发展或是发生改变。

    昨日下午三点半左右,你们运维肯定检测到了一股来自成都某地的异常 IP 。
    额,没错那是我干的~

    事情是这样滴,前两天闲着没事又无聊~然后我就尝试着自己写了个多线程爬虫框架...两天功夫,就写完了...写完了得测试啊...然后我就寻思着写了个 DEMO...

    额,就是这个啦...https://github.com/JamesWone/Spy

    然后今天我想再测试的时候,整死跑不出东西...我还以为我代码有问题呢...于是重构..再跑..再重构..再跑~要抓狂了有木有....
    难道是我 ip 被小黑屋了?打开 Chrome....果然被"Acceess Denied"了....

    oh~mygod~我完全不是故意的啦~一股罪恶感犹然而上心头~希望 V2EX 不要封我的号啦~毕竟这是我的处女贴啊~QAQ

    额~事情就是酱紫...

    PS:你们运维反应真快,为 V2EX 点个赞~

    27 条回复    2016-01-06 02:57:54 +08:00
    Liang
        1
    Liang  
       2015-12-31 15:12:39 +08:00
    大大已报警了。。。看看你最近是否有快递
    Ellison
        2
    Ellison  
       2015-12-31 15:17:11 +08:00
    然而...你多 F5 试试...
    JamesWone
        3
    JamesWone  
    OP
       2015-12-31 15:17:50 +08:00
    @Liang 大哥我胆子小~不要吓我~
    Slienc7
        4
    Slienc7  
       2015-12-31 15:19:36 +08:00
    后台程序自动封的,访问频率过高自动屏蔽对应 IP ,这种应该还不需要人工操作,安心。
    JamesWone
        5
    JamesWone  
    OP
       2015-12-31 15:21:33 +08:00
    @xgowex V2EX 昨天都是可以爬的,明显今天才加的反爬虫措施。
    sandideas
        6
    sandideas  
       2015-12-31 15:23:20 +08:00
    自动封的。。
    我记得以前弄自动签到的时候有个错误没想出为什么
    多弄了几次就被封了三天
    warlock
        7
    warlock  
       2015-12-31 15:24:21 +08:00
    spy.go 49 行 for w.resp == nil {} 这不会死循环吗?
    Slienc7
        8
    Slienc7  
       2015-12-31 15:24:40 +08:00
    @JamesWone 几年前就有了。
    JamesWone
        9
    JamesWone  
    OP
       2015-12-31 15:27:52 +08:00
    @warlock 那个 for{}是为了起阻塞的作用,因为不确定 goroutine 是否已经执行完毕。
    justjavac
        10
    justjavac  
       2015-12-31 15:54:46 +08:00
    如何看待知乎又挂了?
    justjavac
        11
    justjavac  
       2015-12-31 15:55:12 +08:00
    靠,发错地方了。 t/247465
    JamesWone
        12
    JamesWone  
    OP
       2015-12-31 15:57:25 +08:00
    @justjavac 我用 PHP 有写过一个知乎爬虫,然后当天下午知乎就挂了,那一夜我彻夜难眠....
    justjavac
        13
    justjavac  
       2015-12-31 15:59:19 +08:00   2
    @JamesWone 之前我用 C 语言写过一个 hello world ,结果那天晚上汶川地震了,那一夜我彻夜难眠....
    warlock
        14
    warlock  
       2015-12-31 16:02:06 +08:00
    @JamesWone
    1 、 golang 的包名 似乎应该小写
    2 、我感觉那里不需要你自己阻塞
    3 、死循环也叫阻塞?
    mystryl
        15
    mystryl  
       2015-12-31 16:30:21 +08:00
    我三脚猫的功夫写了一个脚本爬限制 ip 的收费资讯网站 5 分钟一次
    跑了 3 个月了。。。。期间客服问过我一次干嘛的,我说我挂了个自动刷新
    然后就没事了。。
    imn1
        16
    imn1  
       2015-12-31 16:36:32 +08:00
    @justjavac
    还是你厉害!!!
    usb
        17
    usb  
       2015-12-31 16:40:14 +08:00
    @justjavac 23333
    lxjsmdc
        18
    lxjsmdc  
       2015-12-31 16:43:56 +08:00
    我每天都 Acceess Denied 几次
    等 10 分钟过后就行了

    因为我习惯每次打开 N 个帖子再浏览
    JamesWone
        19
    JamesWone  
    OP
       2015-12-31 16:45:18 +08:00
    @warlock 关于阻塞这个是版本遗留问题了,因为第一版的时候 Spy 句柄是可以在 Filter 中动态的异步回调的,第二版然后就去掉了异步回调改成了 Spy.Sub()同步回调,这样其实这个 for{}就没有必要了,多谢你的提醒哦,我会更进的。
    JamesWone
        20
    JamesWone  
    OP
       2015-12-31 16:45:36 +08:00
    @justjavac 纠正一下,汶川地震是下午....
    angryRabbit
        21
    angryRabbit  
       2015-12-31 16:46:52 +08:00
    我觉得你这不叫爬虫,叫静态网站生成器。。。
    JamesWone
        22
    JamesWone  
    OP
       2015-12-31 16:51:17 +08:00
    @angryRabbit 233333....
    yeyeye
        23
    yeyeye  
       2015-12-31 17:04:10 +08:00
    楼主你好 我们强大的运维告诉你 你的 IP 被自动封禁了 我们的运作并没有受到影响 我们甚至根本就没关注到你的行为 你就被系统干掉了……
    cz208209
        24
    cz208209  
       2015-12-31 17:06:49 +08:00
    '我要进去了'
    ‘快点’
    ‘我进去了’
    ‘快点’
    ‘我弄疼你了’
    ‘你 TM 的到底进不进去’
    xdeng
        25
    xdeng  
       2015-12-31 17:37:14 +08:00
    @lxjsmdc 握下手
    zjqzxc
        26
    zjqzxc  
       2016-01-02 18:40:22 +08:00
    用 surface 的时候从来没 Acceess Denied 过。。
    用台式机经常 Acceess Denied ,,然后就得开全局代理先凑合一下。。
    (都是正常使用)
    一直没想明白为啥(都是 chrome 而且已登陆,插件会自动同步)
    dbdd
        27
    dbdd  
       2016-01-06 02:57:54 +08:00
    看得我胃里一阵翻腾,还好没吃晚饭
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5164 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 34ms UTC 08:19 PVG 16:19 LAX 00:19 JFK 03:19
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86