
昨日下午三点半左右,你们运维肯定检测到了一股来自成都某地的异常 IP 。
额,没错那是我干的~
事情是这样滴,前两天闲着没事又无聊~然后我就尝试着自己写了个多线程爬虫框架...两天功夫,就写完了...写完了得测试啊...然后我就寻思着写了个 DEMO...
额,就是这个啦...https://github.com/JamesWone/Spy
然后今天我想再测试的时候,整死跑不出东西...我还以为我代码有问题呢...于是重构..再跑..再重构..再跑~要抓狂了有木有....
难道是我 ip 被小黑屋了?打开 Chrome....果然被"Acceess Denied"了....
oh~mygod~我完全不是故意的啦~一股罪恶感犹然而上心头~希望 V2EX 不要封我的号啦~毕竟这是我的处女贴啊~QAQ
额~事情就是酱紫...
PS:你们运维反应真快,为 V2EX 点个赞~
1 Liang 2015-12-31 15:12:39 +08:00 大大已报警了。。。看看你最近是否有快递 |
2 Ellison 2015-12-31 15:17:11 +08:00 然而...你多 F5 试试... |
4 Slienc7 2015-12-31 15:19:36 +08:00 后台程序自动封的,访问频率过高自动屏蔽对应 IP ,这种应该还不需要人工操作,安心。 |
6 sandideas 2015-12-31 15:23:20 +08:00 自动封的。。 我记得以前弄自动签到的时候有个错误没想出为什么 多弄了几次就被封了三天 |
7 warlock 2015-12-31 15:24:21 +08:00 spy.go 49 行 for w.resp == nil {} 这不会死循环吗? |
10 justjavac 2015-12-31 15:54:46 +08:00 如何看待知乎又挂了? |
13 justjavac 2015-12-31 15:59:19 +08:00 @JamesWone 之前我用 C 语言写过一个 hello world ,结果那天晚上汶川地震了,那一夜我彻夜难眠.... |
15 mystryl 2015-12-31 16:30:21 +08:00 我三脚猫的功夫写了一个脚本爬限制 ip 的收费资讯网站 5 分钟一次 跑了 3 个月了。。。。期间客服问过我一次干嘛的,我说我挂了个自动刷新 然后就没事了。。 |
18 lxjsmdc 2015-12-31 16:43:56 +08:00 我每天都 Acceess Denied 几次 等 10 分钟过后就行了 因为我习惯每次打开 N 个帖子再浏览 |
19 JamesWone OP @warlock 关于阻塞这个是版本遗留问题了,因为第一版的时候 Spy 句柄是可以在 Filter 中动态的异步回调的,第二版然后就去掉了异步回调改成了 Spy.Sub()同步回调,这样其实这个 for{}就没有必要了,多谢你的提醒哦,我会更进的。 |
21 angryRabbit 2015-12-31 16:46:52 +08:00 我觉得你这不叫爬虫,叫静态网站生成器。。。 |
22 JamesWone OP @angryRabbit 233333.... |
23 yeyeye 2015-12-31 17:04:10 +08:00 楼主你好 我们强大的运维告诉你 你的 IP 被自动封禁了 我们的运作并没有受到影响 我们甚至根本就没关注到你的行为 你就被系统干掉了…… |
24 cz208209 2015-12-31 17:06:49 +08:00 '我要进去了' ‘快点’ ‘我进去了’ ‘快点’ ‘我弄疼你了’ ‘你 TM 的到底进不进去’ |
26 zjqzxc 2016-01-02 18:40:22 +08:00 用 surface 的时候从来没 Acceess Denied 过。。 用台式机经常 Acceess Denied ,,然后就得开全局代理先凑合一下。。 (都是正常使用) 一直没想明白为啥(都是 chrome 而且已登陆,插件会自动同步) |
27 dbdd 2016-01-06 02:57:54 +08:00 看得我胃里一阵翻腾,还好没吃晚饭 |