V2EX › resolvewang 的所有回复 › 第 5 页 / 共 7 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7

❮

❯

2018-03-06 21:49:00 +08:00

回复了 resolvewang 创建的主题 › 分享创造 › 开源一款高可用的分布式代理 IP 池（附性能测试图）

@freedot 欢迎使用哦

2018-03-06 17:18:48 +08:00

回复了 resolvewang 创建的主题 › 分享创造 › 开源一款高可用的分布式代理 IP 池（附性能测试图）

@hunk 可以对比使用，看看效果，hahahh

2018-03-06 16:51:26 +08:00

回复了 resolvewang 创建的主题 › 分享创造 › 开源一款高可用的分布式代理 IP 池（附性能测试图）

@xrlin #17 感谢捧场

2018-03-06 16:24:36 +08:00

回复了 resolvewang 创建的主题 › 分享创造 › 开源一款高可用的分布式代理 IP 池（附性能测试图）

@iamnoten #15 欢迎试用。使用过程中有任何问题可以直接提 issue

2018-03-06 16:14:51 +08:00

回复了 resolvewang 创建的主题 › 分享创造 › 开源一款高可用的分布式代理 IP 池（附性能测试图）

@sunwei0325 #13 感谢。希望能用起来，就是最好的

2018-03-06 16:03:17 +08:00

回复了 resolvewang 创建的主题 › 分享创造 › 开源一款高可用的分布式代理 IP 池（附性能测试图）

@sw10 #11 客气了。其实 haipproxy 还有一个点做得比同类项目要好，就是它取 IP 的时候看同时参照最近校验时间、响应速度和稳定性。这也是从高度不可用的代理 IP 池中挑选中质量尚可的代理 IP 的一个很重要的策略

2018-03-06 15:47:14 +08:00

回复了 resolvewang 创建的主题 › 分享创造 › 开源一款高可用的分布式代理 IP 池（附性能测试图）

@sw10 squid 是实现的一个客户端。但是它的效果应该不会有定制的客户端的效果好，比如[client/py_cli]( https://github.com/SpiderClub/haipproxy/blob/master/client/py_cli.py) 原因是 squid 对代理 IP 的使用效果没有一个正负面反馈，而定制的客户端可以对高质量 IP 和低质量 IP 进行直接的反馈，根据反馈，客户端再决定是否将相同 IP 再次传递给爬虫使用。这就是截图中的 greedy 策略。如果是用 robin 策略，那么就和使用 squid 差不多了，即高质量和低质量 IP 轮询。这种方式很可能错过很多高质量 IP，因为网上抓来的 IP 大多是短效的，客户端 IP 池可能还没轮完一轮，某些高质量 IP 可能就不能用了

2018-03-06 14:28:41 +08:00

回复了 resolvewang 创建的主题 › 分享创造 › 开源一款高可用的分布式代理 IP 池（附性能测试图）

@haofly #7 哈哈哈，感谢捧场。你当真用了吗

2018-03-06 14:22:01 +08:00

回复了 resolvewang 创建的主题 › 分享创造 › 开源一款高可用的分布式代理 IP 池（附性能测试图）

@golmic #5 好的，有想法的话，可以一起改进。做这个之前，我就是用着别的都不是很舒服。因此集中花了两个多月研究同类项目和其它一些文档，又结合自己的一些想法，实现了 haipproxy。期待你的使用和反馈

2018-03-06 14:15:06 +08:00

回复了 resolvewang 创建的主题 › 分享创造 › 开源一款高可用的分布式代理 IP 池（附性能测试图）

@golmic #1 感谢捧场　:)

2018-03-06 14:14:50 +08:00

回复了 resolvewang 创建的主题 › 分享创造 › 开源一款高可用的分布式代理 IP 池（附性能测试图）

@Charkey #2 那赶紧用用，期待宝贵的反馈意见。因为开源比较晚，所以反馈的意见还不够，项目一些细节还能优化

2017-12-11 18:26:54 +08:00

回复了 JEFFMEME 创建的主题 › iDev › MAC 10.11 命令行报错，如何修复

后人+++
很强

2017-12-06 14:40:25 +08:00

回复了 recall704 创建的主题 › 分享创造 › k8s 离线部署 ansible 脚本

感谢分享，star+fork 了。到时候有问题再请教一下你

2017-10-12 14:05:39 +08:00

回复了 resolvewang 创建的主题 › 问与答 › Python 做服务化，用 thriftpy 和 celery 有啥区别？

@junneyang 谢谢回答。thrift 是跨语言，但 thriftpy 应该不跨语言，我也没深入使用，这方面还是小白。感谢

2017-10-12 11:14:06 +08:00

回复了 resolvewang 创建的主题 › 问与答 › Python 做服务化，用 thriftpy 和 celery 有啥区别？

经过一段时间的思考，我现在的理解是，thrift 它是为不同项目提供 rpc 调用，而 celery 却是单一项目的 rpc 调用，需要共享相同的 Celery 实例。
目前我能理解到的就是这个了。。。

2017-10-12 11:11:26 +08:00

回复了 resolvewang 创建的主题 › 问与答 › Python 做服务化，用 thriftpy 和 celery 有啥区别？

@ttycode 恩恩，是的

2017-10-12 11:11:10 +08:00

回复了 resolvewang 创建的主题 › 问与答 › Python 做服务化，用 thriftpy 和 celery 有啥区别？

@haofly thrift 总听说过的吧。thriftpy 就是 thrift 的纯 python 实现。

2017-06-13 22:38:17 +08:00

回复了 beyoung 创建的主题 › 分享创造 › 英语进阶指南发布一周 Github 收获 2300+ star 有些难以置信感谢 V 站的小伙伴们

@Yc1992 哈哈哈，我也这么觉得

2017-06-12 16:40:48 +08:00

回复了 resolvewang 创建的主题 › 问与答 › aiohttp 怎么复用连接池

@messense 好的，明白了，感谢

2017-06-12 13:42:41 +08:00

回复了 resolvewang 创建的主题 › 问与答 › aiohttp 怎么复用连接池

@messense 我一直以为 teardown 和 setup 在 unnittest.main()中只会运行一遍。。。

event loop 在程序的整个生命流程中，如果被 close 了，那么就不能使用 asyncio.get_event_loop()获取了吗？根据上面的代码，感觉是这样的。那这也就是说，我们只能在程序不用 event loop 的时候再关吗？

感觉自己对 event loop 模型还不是特别清楚。

1 2 3 4 5 6 7

❮

❯