开始要读一遍 scrapy 的代码了,大家说 20000 行代码,大概多久能读完? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
alexapollo
V2EX    程序员

开始要读一遍 scrapy 的代码了,大家说 20000 行代码,大概多久能读完?

  •  1
     
  •   alexapollo
    geekan 2016-05-12 23:09:52 +08:00 6214 次点击
    这是一个创建于 3439 天前的主题,其中的信息可能已经有所发展或是发生改变。

    之前写过一个 scrapy-examples 项目( https://github.com/geekan/scrapy-examples
    里面自己造了模板化抽取的轮子。但用 scrapy 来实现还是不伦不类,有点想自己做个大轮子(爬虫)。 各位觉得大概多久可以读完代码?实现一个 scrapy 大概又要多久呢?

    18 条回复    2016-05-13 23:31:45 +08:00
    yangxin0
        1
    yangxin0  
       2016-05-12 23:27:58 +08:00
    20k 行算小型项目,正常情况 1 各月要看完吃透
    zhtsuc
        2
    zhtsuc  
       2016-05-13 00:45:09 +08:00 via Android
    厉害
    alexapollo
        3
    alexapollo  
    OP
       2016-05-13 00:48:29 +08:00
    @yangxin0 一天 1000 行?
    ayaseangle
        4
    ayaseangle  
       2016-05-13 02:35:29 +08:00
    想 python 这类动态语言表达力太强,代码量小并不代表好读,有时候有进坑。。。
    kslr
        5
    kslr  
       2016-05-13 03:00:48 +08:00 via Android   1
    @alexapollo 读的思想,而不是砖头怎么摆的
    Dannytmp
        6
    Dannytmp  
       2016-05-13 06:14:59 +08:00 via Android
    没有必要把每一行都看懂吧
    haogefeifei
        7
    haogefeifei  
       2016-05-13 09:18:30 +08:00
    从使用角度去读很快的。。
    yangxin0
        8
    yangxin0  
       2016-05-13 10:08:20 +08:00 via iPhone
    @alexapollo 把握住要脉络,仔细看核心模块,其他的需要的时候再看
    nivan
        9
    nivan  
       2016-05-13 10:27:31 +08:00
    我看 LZ 头像的感觉,大概是读不完了!
    Yc1992
        10
    Yc1992  
       2016-05-13 10:28:30 +08:00
    难道单元测试的代码你也要读么。。。

    话说只看 scrapy 肯定不行吧, twisted 不看一下也是不行的。
    xiongxin8802
        11
    xiongxin8802  
       2016-05-13 10:35:47 +08:00
    @Yc1992 不读单元测试,不知道有什么功能吧,我现在也在疑惑读别人的代码,是不是要先读单元测试
    veezzz
        12
    veezzz  
       2016-05-13 11:46:14 +08:00
    最近自己也在造爬虫轮子,有兴趣可以交流下
    xiaket
        13
    xiaket  
       2016-05-13 12:08:32 +08:00
    用过, API 实在不友好, 如果有选择的话, 可能读 @binux 的 pyspider 会更好.
    andong777
        14
    andong777  
       2016-05-13 13:25:51 +08:00
    可以虑读一下早期的版本,比如 0.1 。早期版本比较精简,都是核心代码
    28ms
        15
    28ms  
       2016-05-13 14:24:01 +08:00
    scrapy 框架的核心是基于 Twisted 框架,其本身并没有什么复杂的东西, twisted 才是关键。
    alexapollo
        16
    alexapollo  
    OP
       2016-05-13 20:54:10 +08:00
    @Yc1992
    @xiongxin8802 同感,先读测试效率高
    alexapollo
        17
    alexapollo  
    OP
       2016-05-13 20:54:37 +08:00
    @28ms Twisted 复杂吗?
    @Yc1992
    wsy2220
        18
    wsy2220  
       2016-05-13 23:31:45 +08:00
    不是每一行都要看的...
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2842 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 26ms UTC 13:54 PVG 21:54 LAX 06:54 JFK 09:54
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86