国内一位开发者在 GitHub 上开源了个集众多数据源于一身的爬虫工具箱: InfoSpider - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
vincekang
V2EX    推广

国内一位开发者在 GitHub 上开源了个集众多数据源于一身的爬虫工具箱: InfoSpider

  •  
  •   vincekang 2020 年 8 月 29 日 6666 次点击
    这是一个创建于 1967 天前的主题,其中的信息可能已经有所发展或是发生改变。

    国内一位开发者在 GitHub 上开源了个集众多数据源于一身的爬虫工具箱:InfoSpider

    其主要目的,在于帮助用户安全快捷的拿回自己的数据,并提供数据分析功能,基于用户数据生成图表文件,让用户能更直观、深入了解自己的信息。

    目前该工具箱支持了包括 GitHub 、知乎、B 站、以及各大知名邮箱与社交网站的用户数据爬取。

    Documentation:https://infospider.vercel.app

    GitHub:https://github.com/kangvcar/InfoSpider

    Video Demo:https://www.bilibili.com/video/BV14f4y1R7oF/

    29 条回复    2020-09-02 08:58:31 +08:00
    Ultraman
        1
    Ultraman  
       2020 年 8 月 29 日 via Android   5
    你说的这个开发者究竟是不是你?
    是。
    waytoshine
        2
    waytoshine  
       2020 年 8 月 29 日
    可以,Python 写的,学习学习
    hnbcinfo
        3
    hnbcinfo  
       2020 年 8 月 29 日
    看了下名字,这个开发者不就是你吗
    luckyswag
        4
    luckyswag  
       2020 年 8 月 29 日
    你可真是个小机灵鬼
    bigbigeggs
        5
    bigbigeggs  
       2020 年 8 月 29 日
    这不就是推广?还能这样
    j137tt736CExzlfM
        6
    j137tt736CExzlfM  
       2020 年 8 月 29 日   6
    哈哈,推广就推广,就先自己谢了一个项目,并开源了,还”国内一位开发者“,看了这样的标题,加上下面的评论,懒得点你发的链接。
    felixin
        7
    felixin  
       2020 年 8 月 29 日 via Android
    建议用 pyinstaller 打包一下给小白用。

    另外,知乎账号支持爬自己匿名的内容吗
    felixin
        8
    felixin  
       2020 年 8 月 29 日 via Android   2
    不要理会楼上这些阴阳怪气的,他们没什么成就的
    ylqhust
        9
    ylqhust  
       2020 年 8 月 29 日
    快进到看守所拘留。
    lunatic5
        10
    lunatic5  
       2020 年 8 月 29 日   1
    牛批。很有趣的项目,已博客转发分享
    winglight2016
        11
    winglight2016  
       2020 年 8 月 29 日   1
    本来以为是又一个爬虫轮子,看了 GitHub 发现是下载个人信息?然而看了 bilibili 的介绍,我又迷茫了,为啥下载下来都是 json,内容还都是 utf-8 编码?

    麻烦 lz 整理一下输出 /爬取的具体内容,给个爬取后进行数据处理的应用场景例子,比如,QQ/微信聊天记录备份等等。

    很遗憾,目前支持的网站我感觉都用不上,希望 lz 能提供扩展教程。另外,目前这个 tk 做的 GUI,除了支持图标,还不如直接用命令行交互更直观。
    Whalko
        12
    Whalko  
       2020 年 8 月 29 日   1
    装依赖那一步卡住了,Google 搜过是通病,而且好像不太容易解决。看到 issue 有人提,就是 Microsoft Visual C++ 14.0 is required. 这个
    ErwinCheung
        13
    ErwinCheung  
       2020 年 8 月 29 日
    这不就是推广?还能这样
    vincekang
        14
    vincekang  
    OP
       2020 年 8 月 29 日
    @lazzyboy 我都懒得回复你,这是一个开源项目,我只想让更多人看到自己的劳动成功,获得大家的认可,一起交流学习。不知道这是不是吃到你的瓜了?
    vincekang
        15
    vincekang  
    OP
       2020 年 8 月 29 日
    @felixin 谢谢你的建议,我计划在下一个版本提供 web 端支持以适应多平台。
    vincekang
        16
    vincekang  
    OP
       2020 年 8 月 29 日
    vincekang
        17
    vincekang  
    OP
       2020 年 8 月 29 日
    @winglight2016 谢谢你的评论,发出来就是希望能看到你这样的讨论,你的建议非常棒!我会在下一个版本改进!
    vincekang
        18
    vincekang  
    OP
       2020 年 8 月 29 日
    @Whalko 期待你的解决方案
    AlexaZhou
        19
    AlexaZhou  
       2020 年 8 月 29 日
    为啥要装成第三方推荐自己呢,请自信一点,光明正大直接推就行
    vincekang
        20
    vincekang  
    OP
       2020 年 8 月 29 日
    baoshuo
        21
    baoshuo  
       2020 年 8 月 29 日   3
    @Livid 看起来应该扔推广板块里

    @vincekang 自信一点,直接推就行了
    ashong
        22
    ashong  
       2020 年 8 月 29 日 via iPhone   1
    自主知识产权一个味道。


    踏踏实实做事就有收获
    ddzzhen
        23
    ddzzhen  
       2020 年 8 月 30 日 via Android   1
    这么机智,只有 star 了
    xinyana
        24
    xinyana  
       2020 年 8 月 30 日 via Android   1
    一些人的评论简直不要脸,,我看到的是一个不错的开源项目,那些嘴上仙骨道风的人,其实没来源过什么项目
    vincekang
        25
    vincekang  
    OP
       2020 年 8 月 30 日
    @xinyana 谢谢你的肯定
    @ddzzhen 谢谢支持
    j137tt736CExzlfM
        26
    j137tt736CExzlfM  
       2020 年 8 月 30 日
    @vincekang 不好意思,看了后面评论,误会了,对不住。
    qq7790586
        27
    qq7790586  
       2020 年 8 月 31 日
    哈哈哈,无中生友
    chinaqzxh
        28
    chinaqzxh  
       2020 年 9 月 2 日 via Android
    waytoshine
        29
    waytoshine  
       2020 年 9 月 2 日 via Android
    @chinaqzxh ??
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2227 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 37ms UTC 00:28 PVG 08:28 LAX 16:28 JFK 19:28
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86