小白头一次试图写爬虫,想爬 glassdoor 的数据 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
yellowtail
V2EX    Python

小白头一次试图写爬虫,想爬 glassdoor 的数据

  •  
  •   yellowtail 2018-03-15 17:11:09 +08:00 4671 次点击
    这是一个创建于 2768 天前的主题,其中的信息可能已经有所发展或是发生改变。
    想找到那些股价被低估的公司做投资

    在 glassdoor 公司评分界面按 F12 再按 F5 网页就跳转到报错页面是什么情况?
    比如
    https://www.glassdoor.com/Overview/Working-at-ASML-EI_IE5781.11,15.htm#trends-overallRating
    浏览器是 chrome
    第 1 条附言    2018-03-15 22:32:43 +08:00
    --------------------------
    其实也不一定非要 f5... 可以找到不同日期对应的不同评分

    https://www.glassdoor.com/api/employer/1138-rating.htm?dataType=trend&category=seniorManagement&locatiOnStr=&jobTitleStr=&filterCurrentEmployee=false%20Request%20Method:%20GET

    但是发现这个网址不是固定的,貌似和员工数量有关(比如员工数量是 1138 ?) 但是也不知道怎么找到搜索框对应的元素 什么是 cookie.. 看了一晚上没看明白...还下了个八爪鱼

    国内应该可以找到不同公司的接待处的接待信息 前来调研的券商团队越多 应该是越有价值的
    12 条回复    2018-03-27 07:51:51 +08:00
    Unik
        1
    Unik  
       2018-03-15 18:18:33 +08:00   1
    不用 F12,右键,检查。。再刷新
    ml1344677
        2
    ml1344677  
       2018-03-15 18:40:11 +08:00
    我试了一下 我怎么不会
    yellowtail
        3
    yellowtail  
    OP
       2018-03-15 20:34:09 +08:00
    @Unik 可是还是一样的
    qiayue
        4
    qiayue  
    PRO
       2018-03-15 20:43:11 +08:00
    我也不会
    是不是因为你浏览器上某个扩展导致的?
    Nicoco
        5
    Nicoco  
       2018-03-15 20:46:10 +08:00
    反调试用的,你 ctrl+s,报错页面源代码,把里面的 location、debugger 之类的代码注释掉看看。
    很多网站都有反调试的。
    F1024
        6
    F1024  
       2018-03-15 20:52:23 +08:00
    并没有报错啊 360 极速浏览器
    rickwise
        7
    rickwise  
       2018-03-15 23:36:00 +08:00 via iPhone
    有成功爬到么?对你的这个主题很感兴趣,希望一起研究!
    bbx
        8
    bbx  
       2018-03-16 04:47:11 +08:00
    glassdoor 数据你也信。。。公司花钱就能改的
    yellowtail
        9
    yellowtail  
    OP
       2018-03-17 15:02:10 +08:00
    @bbx 那有证据没..
    bbx
        10
    bbx  
       2018-03-18 04:38:25 +08:00
    @yellowtail 自己写的评论莫名被删,网上搜一下,一大把相关的。glassdoor 说穿了就是公司的 branding,和 yelp 没区别。
    yellowtail
        11
    yellowtail  
    OP
       2018-03-22 14:46:21 +08:00
    @bbx 但是打分应该是可以保留的吧..
    bbx
        12
    bbx  
       2018-03-27 07:51:51 +08:00
    @yellowtail doubt
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2745 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 32ms UTC 12:15 PVG 20:15 LAX 05:15 JFK 08:15
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86