转 Python 爬虫方向,求助下到达什么能力可以求职。 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xuanxxxr
V2EX    职场话题

转 Python 爬虫方向,求助下到达什么能力可以求职。

  •  
  •   xuanxxxr 2018-01-08 10:06:25 +08:00 5067 次点击
    这是一个创建于 2840 天前的主题,其中的信息可能已经有所发展或是发生改变。
    自学了近一年多,原土木工程搬砖狗一枚,在基友的努力指引方向下学了一年的爬虫方面的知识(前端、scrapy 框架、数据库等很多知识,感觉爬虫的知识面很广),爬虫基本可以上手。请问下做到能去找工作,除了爬取的项目,还有基础 Python 知识,还要准备什么呢?
    23 条回复    2018-01-10 15:00:45 +08:00
    xuanxxxr
        1
    xuanxxxr  
    OP
       2018-01-08 10:10:47 +08:00
    = =.~ 哎
    qq976739120
        2
    qq976739120  
       2018-01-08 11:04:56 +08:00
    学了一年多的话肯定不是只会爬虫了吧,多个方向一起找呗
    xuanxxxr
        3
    xuanxxxr  
    OP
       2018-01-08 11:09:53 +08:00
    @qq976739120 谢谢指点~ 不过还是多半卡在大学专业这个坎 拉钩上吊一百年不匹配。。有些蛋疼
    qq976739120
        4
    qq976739120  
       2018-01-08 11:31:39 +08:00
    @xuanxxxr 我也是.所以一般简历上不写专业,面试过了再说实话,一般过面试了对你的专业不看重的,很多面试官本人也不是科班出身
    lhx2008
        5
    lhx2008  
       2018-01-08 11:38:49 +08:00 via Android
    简单爬虫不好找工作吧,没有知乎看起来那么多,而且基本上用不到什么前端和数据库的知识,倒是分布式,多 ip,多线程,爬虫调度这些是难点。
    shawlib
        6
    shawlib  
       2018-01-08 11:55:16 +08:00
    爬虫起点低,顶点也低。能爬主流网站像知乎、微博、微信文章、今日头条、淘宝京东、拉勾直聘、汽车之家等等的,就差不多了。
    bzzhou
        7
    bzzhou  
       2018-01-08 13:29:31 +08:00
    看工作年限吧,如果是应届生或者毕业一年左右的;创业团队有时候招不到人,也会考虑招一些有潜力的培养出来。

    但是如果是工作年限比较久,如果纯粹会爬虫,有点难
    anasplrt34
        8
    anasplrt34  
       2018-01-08 14:03:15 +08:00   2
    问你几个问题 爬虫的反爬与防范 如何提高爬虫的效率 爬虫可以用来干什么 然后就是你有什么印象深刻的反爬措施 你对爬虫将来的发展趋势怎么看 python 爬虫用过 sqlalchemy 么 用过什么比较好用的库 线程进程协程怎么看 你是怎么绕过全局解释锁的 等等等等
    anasplrt34
        9
    anasplrt34  
       2018-01-08 14:04:33 +08:00
    顺带说一句 爬虫这东西真心没意思 纯粹体力活 长久不了 建议往自动化或者通用型爬虫上面靠
    sheep3
        10
    sheep3  
       2018-01-08 14:25:38 +08:00
    千万别做爬虫,老哥,真的, 听我一句劝,去做后台吧。
    xuanxxxr
        11
    xuanxxxr  
    OP
       2018-01-08 14:48:04 +08:00
    @qq976739120 谢啦~
    xuanxxxr
        12
    xuanxxxr  
    OP
       2018-01-08 14:48:43 +08:00
    @shawlib 这几个网站差不多都可以爬, 或许应该试着先不说本科专业再去找工作。
    xuanxxxr
        13
    xuanxxxr  
    OP
       2018-01-08 14:49:08 +08:00
    @sheep3 真的那么苦逼啊 心塞 感觉从一个坑到另一个坑~
    xuanxxxr
        14
    xuanxxxr  
    OP
       2018-01-08 14:49:57 +08:00
    @anasplrt34 最后两三个问题有些没头绪 看来还需要更深入点- -。 不过看大家评论也是个大坑哦~
    xuanxxxr
        15
    xuanxxxr  
    OP
       2018-01-08 14:50:46 +08:00
    @bzzhou 好的~ 也就是毕业一年多一点 不过还是要加强学习= =。 有点慌
    topbandit
        16
    topbandit  
       2018-01-08 14:52:56 +08:00
    年纪大不大?再学学 linux,把 windows 格式化,装个 gentoo 玩玩
    xuanxxxr
        17
    xuanxxxr  
    OP
       2018-01-08 14:54:57 +08:00
    @topbandit 毕业一年 不大。 自用的 Mac 差不多半个 Linux 都试试吧
    p2pCoder
        18
    p2pCoder  
       2018-01-08 14:57:33 +08:00
    可以先找工作试试
    xuanxxxr
        19
    xuanxxxr  
    OP
       2018-01-08 14:58:42 +08:00
    @p2pCoder 嗯 最近已经开始了 实习全职全在努力。。。
    KgM4gLtF0shViDH3
        20
    KgM4gLtF0shViDH3  
       2018-01-08 17:14:28 +08:00
    简单爬虫没意思,谁都会,最少要能破解滑动验证码还有拼图验证码才算专业爬虫吧。
    xuanxxxr
        21
    xuanxxxr  
    OP
       2018-01-08 20:37:03 +08:00
    @bestkayle 嗯 都会一些~
    deadseven
        22
    deadseven  
       2018-01-08 20:44:14 +08:00
    别几把瞎几把转了,做好后端你不会没饭吃的
    shawlib
        23
    shawlib  
       2018-01-10 15:00:45 +08:00
    @xuanxxxr 代码挂到 github,最好做一个完整的个人项目。我也不是本专业的。文科生...加油吧,面试的时候真诚点,不难。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2611 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 29ms UTC 12:33 PVG 20:33 LAX 05:33 JFK 08:33
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86