分布式采集系统如何设计呢？使用python语言

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 4409 天前的主题，其中的信息可能已经有所发展或是发生改变。

比如，我要采集淘宝商品购买的用户id，同一个ip访问频率太多，会被封ip，会被限制，
那么如果我有10个vps，我该如何让程序能协作呢，如何分配任务呢，我该补充哪方面的知识呢

请大家指点一二

4 条回复 • 1970-01-01 08:00:00 +08:00

Wy4q3489O1z996QO

2013 年 12 月 26 日

gearman

fdsfsdfsdf3334

2013 年 12 月 26 日

@romotc 谢谢我了解下

pubby

2013 年 12 月 26 日

搞啥分布式，

每个vps上装个http或者socks5代理，挨个轮换代理不就行了

Lax

2013 年 12 月 26 日

如楼上说法，http库支持proxy。
用简单的http代理比如tinyproxy安装到vps上。