推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 4065 天前的主题，其中的信息可能已经有所发展或是发生改变。
我用python做了一个爬知乎的项目，地址在这里： https://github.com/egrcc/zhihu-python
有几个问题想请教一下大家。有没有办法，在不模拟登录的情况下，取得某个问题下的所有回答？
这个项目用到了beautiful soup，但速度实在是很慢，有没有什么其他的库，解析html速度更快一点的？另外，如果要大规模部署的话，是不是用scrapy这个框架更好？
有几个问题想请教一下大家。有没有办法，在不模拟登录的情况下，取得某个问题下的所有回答？
这个项目用到了beautiful soup，但速度实在是很慢，有没有什么其他的库，解析html速度更快一点的？另外，如果要大规模部署的话，是不是用scrapy这个框架更好？
 |
1
hadoop 2014 年 12 月 17 日
怎么解决知乎验证码的问题
|
 |
2
EPr2hh6LADQWqRVH 2014 年 12 月 17 日
bs4的解析效率和xml解析器有关的啊，你装个lxml效率倍增。
而且你多开几个进程不就完了。。这种io指向的情景甚至多开线程都行吧 |
 |
4
invite 2014 年 12 月 17 日
请求多了，小心IP被封。哈哈。
|
 |
7
iewgnaw 2014 年 12 月 17 日
爬虫就不要太追求速度了，太快了很容易封IP的
|
 |
8
imn1 2014 年 12 月 17 日
lxml + xpath 比 bs 快，regex 更快
导出 cookies 可以不在程序中登录，实际上也是要登录，登录界面换成浏览器而已 我的爬虫一向不带登录，只是读取浏览器cookies，因为都是自用，不发布，没必要写那么复杂 |
 |
9
shoumu 2014 年 12 月 17 日
pyquery快一点
|
 |
12
libo26 2014 年 12 月 17 日
“如何自动读浏览器cookies?”
@yaotian google一下，很多。。 比如： http://n8henrie.com/2013/11/use-chromes-cookies-for-easier-downloading-with-python-requests/ |
 |
13
CosWind 2014 年 12 月 17 日  1
太快了，可以用代理，http://pachong.org/
|
Select Language