分布式采集系统如何设计呢？使用python语言

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 3984 天前的主题，其中的信息可能已经有所发展或是发生改变。

比如，我要采集淘宝商品购买的用户id，同一个ip访问频率太多，会被封ip，会被限制，
那么如果我有10个vps，我该如何让程序能协作呢，如何分配任务呢，我该补充哪方面的知识呢

请大家指点一二

4 条回复 • 1970-01-01 08:00:00 +08:00

Wy4q3489O1z996QO

2013-12-26 16:13:01 +08:00

gearman

fdsfsdfsdf3334

2013-12-26 16:27:50 +08:00

@romotc 谢谢我了解下

pubby

2013-12-26 16:43:54 +08:00

搞啥分布式，

每个vps上装个http或者socks5代理，挨个轮换代理不就行了

Lax

2013-12-26 17:06:10 +08:00

如楼上说法，http库支持proxy。
用简单的http代理比如tinyproxy安装到vps上。