推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
用 BeautifulSoup 分析百度贴吧的页面，为什么只能提取前 60 多行的数据呢？
liaipeng 2015-07-27 11:33:31 +08:00 3504 次点击这是一个创建于 3780 天前的主题，其中的信息可能已经有所发展或是发生改变。
f = urllib.urlopen(url).read()
soup = BeautifulSoup(f, 'html.parser')
如上面的代码，f打印出来看了是完整的页面，有几百行，但是把soup打印出来只有60多行。爬取其他网页的数据整成，就是爬百度贴吧的帖子会出现这种情况，是什么原因呢？
soup = BeautifulSoup(f, 'html.parser')
如上面的代码，f打印出来看了是完整的页面，有几百行，但是把soup打印出来只有60多行。爬取其他网页的数据整成，就是爬百度贴吧的帖子会出现这种情况，是什么原因呢？
 | 1 WhiteLament 2015-07-27 11:59:08 +08:00  1 'html.parser' 换成 'lxml' 试试？ |
 | 2 lingo233 2015-07-27 12:01:47 +08:00 我记得贴吧未登录只能看一页的内容。 |
 | 3 iyaozhen 2015-07-27 12:02:53 +08:00 2 楼应该是真相。 |
 | 4 liaipeng OP @WhiteLament 提示这个，对BeautifulSoup模块还不熟悉，第一次接触 Couldn't find a tree builder with the features you requested: lxml.parser. Do you need to install a parser library? |
 | 6 yappa 2015-07-27 12:16:03 +08:00 1 html.parser改成lxml，或者html5lib,这两个模块都要先安装 |
| 9 WhiteLament 2015-07-27 12:36:55 +08:00 你没安装 pip install lxml |
| 10 yappa 2015-07-27 12:38:54 +08:00 估计你是从文档里面复制出来的代码，“html.parser”是“html解析器”的意思，你要找到适合的解析器，lxml,html5lib就是所谓的“html.parser"。 |
| 11 WhiteLament 2015-07-27 12:39:11 +08:00 有些页面不够规范，不同解析器兼容不一样，造成结果不同。 我也遇到过，换一个解析器就好了 |
| 12 liaipeng OP |
Select Language