多线程爬虫抓小说

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 3364 天前的主题，其中的信息可能已经有所发展或是发生改变。

写了个多线程爬虫，感觉自己好无耻呀。。。之前写了个单线程的，任务丢到 rq 里面去去，真的很慢，两千多个网页，跑了半天。这个也跑了小班天。。。。。 https://github.com/ljdawn/python_share/blob/master/biquge_spider.py

程爬虫

小班天

单线

无耻

13 条回复 • 2015-10-02 03:29:31 +08:00

ljdawn

2015-09-06 22:53:50 +08:00

rq 那个没放是因为。。。这个是抓得 CL 呀。哈哈哈哈哈哈

sivacohan

2015-09-07 04:01:03 +08:00 via Android

用 gevent 保平安

je11yfish

2015-09-07 08:05:42 +08:00

楼主，这事儿用 Gevent 是王道啊……

ljdawn

2015-09-07 08:25:30 +08:00

@sivacohan 周末来一发么么哒

ljdawn

2015-09-07 08:25:48 +08:00

@je11yfish 周末来一发。么么哒

LeoQ

2015-09-07 09:50:51 +08:00

楼上这么赤裸裸的求 YP ，哈哈哈

cooiky

2015-09-07 11:46:39 +08:00

"Referer":"http://cl.loius.biz/"

这是亮点？

800126

2015-09-07 11:50:01 +08:00

@LeoQ 哥，我只是来追随你的头像的。

ljdawn

2015-09-07 12:44:01 +08:00

@cooiky 哈哈哈哈我那会儿用的是另外一个域名。。。

ljdawn

2015-09-07 12:44:49 +08:00

@LeoQ 亚灭爹。。。。来一发不是这个意思。。是说用 gevent 。。。你太邪恶了哈哈哈

leeyuzhe

2015-09-07 17:18:22 +08:00

"Referer":"http://cl.loius.biz/"
说！是不是去抓过图片！还是成人文学？

ljdawn

2015-09-07 20:12:13 +08:00

@leeyuzhe 抓得小说哈哈哈哈

symons

2015-10-02 03:29:31 +08:00

为啥不用多进程，要用多线程，请教一下