这是一个专门讨论 idea 的地方。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
这是一个创建于 2932 天前的主题，其中的信息可能已经有所发展或是发生改变。
（不喜勿喷：都说了是灵光闪现）
想法是这样子的：
首先有这样一个平台，可以让爬虫爱好者提交爬虫上来 （不仅仅是可以爬网站，还可以爬公众号、头条号 ====）
比如：某爬虫爱好者，提交了一个 V2EX 最新帖子 和 最热帖子的爬虫进来
然后：这个爬虫可以让其他用户订阅使用
当聚集了一定的爬虫爱好者，每天会产生很多内容
主要的意义：聚合碎片化的阅读，为用户节约时间
当然一个平台需要不断的优化调整才能达到更好的体验，
这只是一个小小的想法，不知道能吸引到人来写爬虫不
想法是这样子的：
首先有这样一个平台，可以让爬虫爱好者提交爬虫上来 （不仅仅是可以爬网站，还可以爬公众号、头条号 ====）
比如：某爬虫爱好者，提交了一个 V2EX 最新帖子 和 最热帖子的爬虫进来
然后：这个爬虫可以让其他用户订阅使用
当聚集了一定的爬虫爱好者，每天会产生很多内容
主要的意义：聚合碎片化的阅读，为用户节约时间
当然一个平台需要不断的优化调整才能达到更好的体验，
这只是一个小小的想法，不知道能吸引到人来写爬虫不
 | 1 Evrins 2017-11-20 11:10:31 +08:00 via iPhone 好像已经有一个这样的网站了 |
 | 4 watzds 2017-11-20 11:19:05 +08:00 via Android 那么多爬虫 /反爬虫工程师，那么费劲，一定程度上共享得了 |
 | 5 lneoi 2017-11-20 11:19:59 +08:00 已经有了...V 站里之前不就有在推广 |
 | 6 evlos 2017-11-20 11:22:31 +08:00 之前那个搞什么云爬虫的服务在 V2EX 做了那么多推广也没见人再提过 … |
 | 7 dbfox OP |
 | 8 ywgx 2017-11-20 11:27:12 +08:00 可爱的 |
 | 9 beastk 2017-11-20 11:36:22 +08:00 via iPhone 就怕被不法分子利用 |
 | 12 40huo 2017-11-20 12:28:41 +08:00 之前好像看到过一个做了个框架，然后上面有各种人写的爬虫，还有些是付费的。 |
 | 13 liangjing414 2017-11-20 12:31:07 +08:00 网上 搜 “神箭手”，不谢 |
 | 14 qiqico 2017-11-20 12:35:47 +08:00 有个网站 showapi, 提供很多接口调用，其中也包括一些爬虫接口，还可以在线自定义爬取规则 |
 | 16 cheetah 2017-11-20 13:02:27 +08:00 |
 | 17 1931 2017-11-20 13:16:18 +08:00 via iPhone 深蓝阅读？ |
 | 18 em70 2017-11-20 13:35:21 +08:00 很早前就见过,主打不是共享,而是傻瓜化爬取,还是工具型的产品,不吸引人. 按楼主的想法,应该是数据驱动的,核心是爬取的数据共享,比工具共享要好,可以试试 |
 | 19 110male 2017-11-20 13:38:33 +08:00 管理，封他账号，他要爬 v2ex |
 | 21 weer0026 2017-11-20 14:06:59 +08:00 这个让我想起来 golang 的爬虫框架 pholcus 了，思路很像。 |
 | 22 wmhx 2017-11-20 14:22:16 +08:00 |
 | 23 haker 2017-11-20 14:25:13 +08:00 八爪鱼 |
 | 24 QQ2171775959 2017-11-20 14:36:38 +08:00 爬一下爬，要是能汇聚一批人和信息的也是有一点用处的 |
 | 25 fiht 2017-11-20 16:52:13 +08:00 提交了一个爬虫上来： 提交的爬虫放在你的服务器上跑么... 不如 rss 靠谱 |
 | 26 ThinkMan 2017-11-20 16:56:17 +08:00 几个月前，我也有这种想法。一模一样。 |
 | 27 Zzzzzzzzz 2017-11-20 16:58:44 +08:00 秒变分布式 CC 平台..... |
 | 29 wulin 2017-11-20 17:46:03 +08:00 订阅 1024 |
 | 30 Shura 2017-11-20 18:23:02 +08:00  1 v 站有人做了个自动签到平台就是这个思路，我发现最难的是“某爬虫爱好者，提交了一个 V2EX最新帖子 和 最热帖子的爬虫进来 ”，很难做到让人提交爬虫脚本，到最后平台基本也就是作者自己提供的脚本最多了。 |
 | 31 looplj 2017-11-20 20:35:21 +08:00 神箭手 |
 | 32 qfdk PRO 1 跳蚤大神不是早就搞了 这轮子不用造了 |
 | 33 Arnie97 2017-11-21 01:56:09 +08:00 via Android 这根 RSS 有什么本质差别… |
 | 34 yech1990 2017-11-21 02:28:40 +08:00 via Android Google 阅读器还在的时候，google 和 yahoo 有类似的实现。Google RSS 关闭后，我也有和楼主一样的想法。 虽然现在有一些类似的方案，但都是闭源收费的服务为主。 之前打算在 github 开个 organization, 分享一些爬虫代码，定义一套接口规范，最终输出类似 RSS 的 xml 格式。 零散写了一些脚本后就放弃了。一方面工程浩大，一方面代码水平太差，一个人连 demo 都实现不了，实现不了 demo 的话，不可能有其他人贡献代码。另外就是现在 RSS 阅读似乎是时代的逆流了，不知几年后 RSS 的用户，也就没太多折腾的动力了。 楼上很多推荐聚合阅读的，应该是没明白楼主的出发点吧。。。 |
 | 35 naiba 2017-11-21 08:28:33 +08:00 via Android 即刻+1 |
 | 36 Norie 2017-11-21 09:27:06 +08:00 即刻+2 |
 | 37 Aresn 2017-11-21 11:20:31 +08:00 你听说过 feedly 吗 |
 | 38 haogefeifei 2017-11-21 14:28:50 +08:00 即刻+3 |
 | 39 haozhu 2017-11-21 15:04:16 +08:00 即刻+4 |
 | 40 dorothyREN 2017-11-21 16:26:42 +08:00 我看行 |
 | 41 forestyuan 2017-11-21 17:21:19 +08:00 这样做会不会有法律风险？ |
 | 42 yangxiongguo 2017-11-22 01:09:39 +08:00 今天头条？ |
 | 43 chenyu8674 2017-11-22 10:47:42 +08:00 还不如建个爬虫开发者与反爬虫工程师的约架网站 |
 | 44 dreamin 2017-11-25 20:38:13 +08:00 我直接贴个网址吧，先说不是为了推广。我也是之前网上搜的，用过。http://www.shenjianshou.cn/index.php?r=market/productList |
Select Language