代理之代理。
https://github.com/xlaurent/pproxies
之前写豆瓣爬虫时,需要用到代理,就用 Go 写了这么个东西,帮助管理代理池,有兴趣的可以看看。但目前有个问题,并发过高的话,会导致连接不能及时关闭,性能下降,以后可能会修复。
这是一个 HTTP 代理,支持 CONNECT 方法。可以帮助管理代理池,自动更换出口代理 IP 。
pproxies 还有一个上游代理。上游代理从 pproxies 所维护的代理池中获取。一旦目前的上游代理不可用,便会自动切换上游代理,从而与目的网站保持连接畅通。
一般 HTTP 代理: HTTP 请求 -> 代理所在主机 -> 目的主机
pproxies : HTTP 请求 -> 代理所在主机 -> 上游代理主机 -> 目的主机
当代理池为空时,会自动调用 API 获取新的代理。
1
bearqq 2016-09-08 22:23:29 +08:00 via Android
赞一个,本来打算用 python 写一个的,没遇到需求一直没动工
|