V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
alexbaba
V2EX  ›  Python

python 3 种爬取方式对比

  •  
  •   alexbaba · 2016-02-29 11:00:41 +08:00 · 2643 次点击
    这是一个创建于 3190 天前的主题,其中的信息可能已经有所发展或是发生改变。
    地址 : https://github.com/daxia4444/djangospider

    提供了 3 种抓取页面的方式:
    ( 1 )多线程下载。
    ( 2 ) tornado 异步下载
    ( 3 ) twisted 异步下载

    只是一个雏型。希望以后能改进,这是个轻型的框架,代码非常少,可以很容易明白异步抓取和多线程抓取的方式,让后 custom 你自己的需求。
    4 条回复    2016-02-29 22:51:40 +08:00
    edwardlol
        1
    edwardlol  
       2016-02-29 13:14:18 +08:00
    ...it has a few code
    you can easily understand how to use ...
    gaotongfei
        2
    gaotongfei  
       2016-02-29 13:35:43 +08:00
    @edwardlol 我也想吐槽这句话的。。。
    shakespaces
        3
    shakespaces  
       2016-02-29 21:24:23 +08:00
    已 star
    alexbaba
        4
    alexbaba  
    OP
       2016-02-29 22:51:40 +08:00
    不好意思,目前还有很多地方需要修改,希望有 hack 来一起完善这个框架,以后会加入分布式的功能,目前打算用 Django 的 Molde 作为数据库接口。打算用虚拟机启动几个 ubuntu 来作为 exmaple 分布式。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2871 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 14:09 · PVG 22:09 · LAX 06:09 · JFK 09:09
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.