推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 3978 天前的主题，其中的信息可能已经有所发展或是发生改变。
我第一次接手一个比较大型的爬虫任务，要爬取一个千万级别的网站，所以要用到scrapy+redis多线程，分布式抓取，服务器配置等等，想找一个有这种经验的人讨教。我明白时间宝贵，所以愿意出钱作为学费，而且只需您辅助我的工作过程，给予一些指导。
 |
1
mhycy 2015 年 2 月 26 日
爬的是哪个站？有多少资源可用？
|
 |
2
iannil 2015 年 2 月 26 日
可以参考我这个回复 http://v2ex.com/t/127220#reply5
|
 |
3
laotaitai 2015 年 2 月 27 日
直接外包给我吧. 不过哈, 一般情况下, 少于5W的项目我不接. 哥是专业的玩爬虫的. 我写过爬取全世界60%左右连了网的电脑, 一共收集了3亿的资源的. 对, 你没看错, 就是爬你们的电脑, 不是爬网站.
|
 |
6
fising 2015 年 2 月 27 日
3楼吹牛逼不打草稿
|
 |
7
mrhuiyu 2015 年 2 月 27 日
@laotaitai 话说···爬电脑？首先不礼貌的冒问一下···今天不是愚人节？额·····好吧那请问····假设电脑关机和非管理员用户登录电脑后无法访问指点盘符，那爬虫可以进去访问？
|
 |
8
jedyu 2015 年 2 月 27 日
3楼是爬IP吧？
|
 |
9
mozutaba 2015 年 2 月 27 日
3楼是爬ip的开放服务？
|
 |
10
joshryo 2015 年 2 月 27 日
3楼太谦虚了，居然还有40%连了网的电脑没爬。
|
 |
11
xidianlz 2015 年 2 月 27 日
3楼说的是扫描比较好吧 不算爬虫
|
 |
12
xFan 2015 年 2 月 27 日
3楼歪楼以后没人理楼主了...
你们赶紧正回来,. |
 |
13
angerskon 2015 年 2 月 27 日
3楼说的3亿的资源是指的3亿台电脑吗？照你说的60%来算，也就是说全球5亿左右的计算机联网。ipv4的地址一共42亿左右，除掉一些保留的，怎么也不止5亿吧。
|
 |
14
thinkmore 2015 年 2 月 27 日
3楼就是来骗回复的
|
 |
15
crazycookie 2015 年 2 月 27 日
楼上都被 3楼带歪了
其实有偿指导也是一件 比较 bug的事情 这种分布式我在做，确实 scrapy + redis 可以完成这些 我用linode跑的国外的站，4台服务器，还算稳定 |
 |
16
binux 2015 年 2 月 27 日 via Android
千万级别不算大型啊。。。
|
 |
17
lucn 2015 年 2 月 27 日
scrapy开发成本高，pyspider半小时搞定
|
 |
18
gouwudang 2015 年 2 月 27 日
楼主可以来我司工作，每天得爬上亿条数据
|
 |
20
cxl008 2015 年 2 月 27 日
scrapy+mongodb+redis 的方案 分布40台机器。。 爬取国内200多个安卓市场。。。。。。。。数据量到1亿左右。。没有3楼那么牛逼了。。。。
|
 |
22
CodeDrift 2015 年 2 月 27 日
突然感觉3L在360上班。。。
|
 |
24
mengskysama 2015 年 2 月 27 日
之前我用了一台快到期的独服，24G内存，开了15台，特意申请了255个IP。
爬的是last.XX，用了近二十多天爬了将近1忆的专辑信息（几亿歌曲信息。 自己写的主从架构，只用了mysql，好像也没遇到什么瓶颈。 个人感觉爬其实挺好爬的。如果源没有限制特别死或者太坑爹反爬虫策略的话  |
 |
25
nine 2015 年 2 月 27 日
pyspider吧，很好用。。
|
 |
31
professorz OP |
 |
33
2dog 2015 年 2 月 27 日
@laotaitai 邮件沟通吧 [email protected]
|
 |
34
inter 2015 年 2 月 27 日
千万算个球大型。我们这一台服务器上的一个爬虫实例，一天就是上千万的请求。
其实还能更高，但是现在提不上去的原因是一个实例就把对方一台服务器的下行吃满了。我们还得想着怎么帮对方提高吞吐量，对方cdn配置有问题的时候还得帮他们做同步. python真是弱啊，上亿的就几十台服务器了。我们这一台单核1g机器，跑两个实例。 1亿请求，200多个站点，这就是台好点的服务器的事情 |
 |
35
Yannis1990 2015 年 2 月 27 日
一直想知道 “千万级” 的网站是什么意思？
千万个页面？ |
|
37
professorz OP @Yannis1990 嗯 千万个条目
|
|
38
mengskysama 2015 年 2 月 27 日  1
@cxl008 www.66ip.cn/zz.html 估计都是扫出来的，无辜的网民
|
 |
39
mikangchan 2015 年 2 月 27 日
想求教下怎么精确控制内容...
数据量不大，不过图片较多，而且要精确控制一部分文字内容 |
 |
41
lonelygo 2015 年 2 月 27 日
我是来看3楼歪楼的
|
 |
42
flyingkid 2015 年 2 月 28 日
3L如果是写DHT爬虫的话我还是相信的。
|
|
43
professorz OP @inter 你们不是用的python?用的啥？
|
 |
45
linkupmylife 2015 年 3 月 1 日
我也玩过爬虫，爬完全是HTML，再用HTM转TXT之后放到EXCEL里筛选，非常麻烦。
|
Select Language