Explore to V2EX:发现更多的博客 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
coyove
V2EX    分享创造

Explore to V2EX:发现更多的博客

  •  
  •   coyove
    coyove 2016-07-06 14:48:23 +08:00 4199 次点击
    这是一个创建于 3442 天前的主题,其中的信息可能已经有所发展或是发生改变。

    为什么要写博客?各人的理由都不尽相同,但有一点是一样的:那就是希望自己的思想被更多人看到。

    在现在的环境下,搭建一个博客是异常容易的,但对于我们这样默默无闻的普通程序员、学生或者科技爱好者来说,想要获得人气则是很困难的。

    所以 Explore to V2EX 这个项目就诞生了:为了发现更多的博客

    当然这个项目不可能像 Hacker News 之类的聚合网站一样可以给博客新增数万访问。

    但至少,闲的无聊的时候按一下按钮,也许正好就发现了一篇自己感兴趣的博文,一个爱好相同的博主,一个设计非常符合自己口味的网站。这种偶然带来的喜悦更让人回味无穷。

    Explore to V2EX

    Github: https://github.com/coyove/awesome-v2ex

    注:由于在不使用 API 的情况下, V2EX 并没有提供通过 ID 找用户的方法。所以本程序使用的是爬取特定用户的回复列表,从中提取出更多用户名,然后继续爬的方法。所以肯定会有较大遗漏。

    同时程序在获取链接后会尝试访问两次,如果都失败则会把链接剔除,所以也会有误报。网络环境: Linode 日本

    15 条回复    2016-07-08 09:34:02 +08:00
    ZGLHHH
        1
    ZGLHHH  
       2016-07-06 15:04:14 +08:00
    通过 ID 爬用户信息可以看看 V2EX API :
    p/7v9TEc53
    coyove
        2
    coyove  
    OP
       2016-07-06 15:09:38 +08:00
    @ZGLHHH API 每小时限制 120 次请求,太慢了
    doublleft
        3
    doublleft  
       2016-07-06 15:10:30 +08:00
    这个。。我记得最早在 WordPress 中文社区上见过,还参加了。。
    endoffight
        4
    endoffight  
       2016-07-06 15:10:38 +08:00
    哈哈,看到我的了,已 star
    vitodesign
        5
    vitodesign  
       2016-07-06 17:21:31 +08:00
    感觉不如把所有博客首页截个图,用列表的形式放出来。。。这个按钮,点两次就不想点了哇
    yuhu
        6
    yuhu  
       2016-07-06 17:36:16 +08:00
    额,应该是 I ‘’ m feeling lucky 吧。
    wyntau
        7
    wyntau  
       2016-07-06 17:50:09 +08:00
    这个不错, 也看到了我的啦 哈哈
    benson458
        8
    benson458  
       2016-07-06 21:48:54 +08:00
    中间 I'm feeling lucky 的按钮, 如果能支持 vimium 就更好,每次都要用鼠标点,好麻烦
    RqPS6rhmP3Nyn3Tm
        9
    RqPS6rhmP3Nyn3Tm  
       2016-07-07 02:03:53 +08:00 via Android
    我在想,通过文章 ID 来爬会不会一种比较好的方法…枚举会比较方便?
    coyove
        10
    coyove  
    OP
       2016-07-07 10:32:30 +08:00   1
    @wbing
    已改

    @BXIA
    两种方法都差不多,直接爬用户个人页可以同时获得用户的个人信息和最近回复,直接爬文章的话只能获得一串用户名,之后还要再爬一遍个人页。

    V 站对于访问频率也有限制,单个 IP 大概在 1~3s ,太快的话很快就会返回 access denied
    csy123
        11
    csy123  
       2016-07-07 15:45:54 +08:00
    好像把很多 github 和企业官网也抓进来了呀
    tilv37
        12
    tilv37  
       2016-07-07 17:06:02 +08:00
    也看到我的了, stared
    samael
        13
    samael  
       2016-07-07 17:30:53 +08:00
    看到我了, 嗯, 已 star
    benson458
        14
    benson458  
       2016-07-07 23:56:29 +08:00
    刚才用了一会,发现太多的企业网站还有 github 的了,连淘宝店铺都有....
    coyove
        15
    coyove  
    OP
       2016-07-08 09:34:02 +08:00
    @wbing
    @csy123
    如果有网站链接则跳转网站链接,如果没有,则跳转 github 用户页。因为有些用户没有在 v 站标明自己的个人网站地址,但可以在 github 上看到

    淘宝链接已经移出,对于企业官网,目前除了手动排查外也没有想到什么好方法。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     912 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 31ms UTC 20:42 PVG 04:42 LAX 12:42 JFK 15:42
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86