写了个小说爬取工具,支持校对和过滤广告 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
The Go Programming Language
http://golang.org/
Go Playground
Go Projects
Revel Web Framework
ma6254
V2EX    Go 编程语言

写了个小说爬取工具,支持校对和过滤广告

  •  
  •   ma6254
    ma6254 2019-03-10 15:56:28 +08:00 5361 次点击
    这是一个创建于 2457 天前的主题,其中的信息可能已经有所发展或是发生改变。

    上班摸鱼的时候看小说

    原先写了个小说爬取工具,然后发现章节乱序,和章节缺失

    举个例子,这张图片太长 https://i.loli.net/2019/03/10/5c84c074db964.jpg

    然后爬了起点的章节,起点的 VIP 是可以预览前几端的,用这个作为样本,去检验那些盗版站的章节内容

    学 Golang 没多长时间,求个 Star

    https://github.com/ma6254/FictionDown

    a24.gif

    20 条回复    2019-03-14 17:11:36 +08:00
    bzj
        1
    bzj  
       2019-03-10 16:11:26 +08:00
    那你这个跟传播盗版有什么区别
    shintendo
        2
    shintendo  
       2019-03-10 16:59:37 +08:00
    nanaw
        3
    nanaw  
       2019-03-10 17:14:26 +08:00   2
    @ma6254 @bzj @shintendo

    V 站规则似乎只是禁止直接发布”盗版“内容吧
    站里擦边的东西,相关的讨论可不少
    正版侠们先买个 adobe 再说话?
    swulling
        4
    swulling  
       2019-03-10 17:36:58 +08:00 via iPhone
    思路还是不错的,不过不错的小说可以订阅支持下。

    不值得订阅的呢,八成也不值得看
    pythonee
        5
    pythonee  
       2019-03-10 18:08:06 +08:00
    @swulling 我也觉得如果通过算法,算出值得推荐的小说那是非常可以的
    shintendo
        6
    shintendo  
       2019-03-10 21:40:36 +08:00   3
    @nanaw
    V 站规则似乎只是禁止直接发布”盗版“内容吧
    站里擦边的东西,相关的讨论可不少
    正版侠们先买个 adobe 再说话?
    ---------------------
    1. about v2ex: 为了保持这里的良好氛围,V2EX 有自己的明确规则:这里绝对不讨论任何有关盗版软件、音乐、电影**如何获得**的问题
    2. 相关讨论违不违反站规,不因相关讨论多不多而改变
    3. 我不用 adobe,也尽我所能地用正版或开源软件,如果你要问过去有没有用过盗版,我当然用过不少,但幸好还知道这是不对的,还没有堕落到反过来给反对盗版的人扣个 XX 侠的帽子嘲讽的地步
    nanaw
        7
    nanaw  
       2019-03-10 22:57:24 +08:00 via Android   3
    @shintendo

    1.&2. 注意这个“如何获得”。你可自去搜索“爬虫”,“破解”,“盗版”,“ Adobe ”这些关键词看看有什么内容。v 站禁止的是单单避免到处发盗版求盗版之类的,技术讨论不被限制。
    3. 我不问你以前用没用过,我就问你以后还会不会用?当你临时用到 Adobe 这类软件的时候您会直接花大几千买订阅吗?或者工作需要公司只给共享盗版您会不会自掏腰包入正呢?如果您能做到我自然敬佩

    -------------------------------------------------

    另外我嘲讽的是看到盗版就高潮的患者。显然楼主这种只是擦上边而已。这么严格的话那些爬虫基本都是侵权。还有见到过前端来问拿用户 mac 地址这样的帖子,程序猿们这么喜欢双标啊。

    ----------------------------------------

    个人观点是选择正版盗版从获取成本,体验,稳定性,以及是否入正对产品的影响程度多方考虑,用正版还是盗版都是再正常不过的事情也没有对错可言。像方正这样的公司要是没人用盗版了就要倒闭了呢,也有些内容需要入正支持才能维持。而对个人来说某些代理的“特色”版本,还有带圣光的藩剧,这些也要正版?而有些独立开发者的优质产品无论从支持存续还是体验和价格上入正都无可厚非。

    而“正版意识”就觉得有点可笑了,只用一种“理念”或者“意识形态”就忽悠人怎么看都像洗脑呢。

    希望保持理性思考。
    bzj
        8
    bzj  
       2019-03-10 23:41:11 +08:00
    @nanaw

    我针对的是楼主传播盗版这一行为,以起点的收费内容为基础去抓取盗版内容,实际上跟偷窃并没有什么区别,你举例的类似 Adobe 这样的公司,为了市场推广会默许普通用户使用盗版,不知道你在辩解什么,在这里宣扬错误的价值观,可以说是厚颜无耻,所以你哪来的资格嘲讽?
    wkx556874
        9
    wkx556874  
       2019-03-10 23:53:07 +08:00   1
    哈哈哈哈哈 每次看到正版侠就像笑
    世上应有此类人,
    否则你我皆无乐趣矣.


    另外扪心自问亦不敢蹈险,与之自此当退避三舍云云.
    PP
        10
    PP  
       2019-03-11 06:37:03 +08:00 via iPad
    以明面信息看,楼主的小工具实现的是对盗版网站的个人抓取而非对盗版的传播,楼主使用了起点的公开章节内容来进行本地校验所以不设计对起点的滥用,楼主的小工具从开发思路层面上看具有学习价值。

    楼主的小工具具有学习参考价值,不适宜推广使用。同时,这种工具由于自身传播能力的限制先天很难实现推广,所以没什么要担心的。

    反盗版是有边界的,不能对盗版内容和盗版行为扩大解释,特别是如果对一些边缘行为和学习性的内容上纲上线那才是对反盗版的滥用。
    peteryzy
        11
    peteryzy  
       2019-03-11 06:55:47 +08:00 via Android
    感谢楼主,已 star
    PP
        12
    PP  
       2019-03-11 07:03:01 +08:00 via iPad
    @Livid 我在此主题下的回复只有在这里才能看到,在自己的全部回复列表里面看不到,不知道是不是什么问题,如果是站内设定好的 feature 请忽略此留言。谢谢!
    nanaw
        13
    nanaw  
       2019-03-11 10:12:02 +08:00 via Android
    @PP 正解。我所理解的 v 站规则也是就是这个意思

    @bzj 行为楼上已经说了。 意见不一致可以讨论。

    没有任何辩证我的观点就是错误价值观就是厚颜无耻?
    那你说是辣就 4 吧。8 狡辩
    maolog
        14
    maolog  
       2019-03-11 14:18:57 +08:00
    微信读书开了会员免费看啊,一个月 19 块不多呢
    chuqi
        15
    chuqi  
       2019-03-11 14:49:49 +08:00
    @maolog +1,但是对于 Pc 是在是太不友好了。微信读书炒鸡好用,但是一些书没有,感觉很难受。
    maolog
        16
    maolog  
       2019-03-11 14:52:36 +08:00
    @chuqi #15 上同屏,妥妥的,哈哈哈哈
    Livid
        17
    Livid  
    MOD
    PRO
       2019-03-12 13:16:06 +08:00
    @PP 可能是缓存。

    因为我在未登录状态下也无法复现你说的问题:

    member/PP/replies

    这个主题本身没有任何异常标志。
    PP
        18
    PP  
       2019-03-12 16:56:02 +08:00 via iPad
    @Livid 我的回复列表里仍然没有我在此主题下的全部回复。您留言回复给我的提醒信息可以正常收到。是否需要我提供 ID 密码给您?我在赶飞机,回复可能不及时。
    PP
        19
    PP  
       2019-03-12 16:59:02 +08:00 via iPad
    @Livid 补充,我刚刚发现如果使用您提供的 member/PP/replies 可以看到所有回复,可是如果按照习惯使用 member/PP 便看不到我在这个主题下的回复。
    hp66722667
        20
    hp66722667  
       2019-03-14 17:11:36 +08:00
    到什么版啊,老子就是一个吃地沟油还在乎特么什么到不到半
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5702 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 34ms UTC 03:05 PVG 11:05 LAX 19:05 JFK 22:05
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86