在公网上部署分布式爬虫，安全方面要有哪些考量？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 2714 天前的主题，其中的信息可能已经有所发展或是发生改变。

比如使用 json rpc 的话，远程连接的授权验证，防注入，放炸弹等等，要怎么搞

4 条回复 • 2017-06-17 17:24:59 +08:00

klxq15

2017-06-17 07:53:27 +08:00 via Android

防炸弹

bazingaterry

2017-06-17 08:55:54 +08:00 via iPhone

iptables 限制一下 input 的 IP ？

gouchaoer

2017-06-17 12:02:57 +08:00 via Android

爬虫不需要有公网 ip，所以安全上没啥需要注意的。。。。但是你调度系统不知道用的啥需要有公网 ip，但是爬虫分布式又需要爬虫验证，我的策略是用一个命令收到限制的 redis 代理

vileer

2017-06-17 17:24:59 +08:00

参考新网络安全法，如果是与用户隐私有关数据，单服务器不能超过判刑上限