@typcn 你的静态资源没有缓存吗，每次都重新计算？etag 计算量比 sha1 要小。

@typcn 比静态资源高。

@typcn 谁说我就一个IP了

我直接压 sha1 就完了，按照几万次 sha1 就需要1秒计算，只要我每秒请求超过几万次，你就挂了。

1. 如何高效的利用我们的代理IP(不是很多)，又不被淘宝封(这个希望能比较详细点)？
想让马跑又不让马吃草。。唯一的办法就是挖掘每个IP的抓取极限，看看多大的速度不会被封。另外一种办法就是找更多的代理。

2. 我们现在这套PHP架构是否合适做这个爬虫，如果不适合，能不能建议一下？
取决于瓶颈在被封，还是处理速度。如果你没有足够的IP，无法提高速度，语言或者架构是无法为你带来提升的。反之，瓶颈不再是怕被封的话。使用异步抓取，多进程解析能进一步提高性能。而 PHP 这么好的语言，我不知道行不行。

3. 我在网上看到有人提出应该有一个反监控系统用来检测对方的反爬的变化，并且做出相应的调整，有人做过这个东西吗？
这东西还是靠更多经验，你就抓一个淘宝，而且没有那么多IP资源让你折腾的话，手动搞一个流量限制就好了。由于抓取延迟长达3秒，细的特征实际上一点用都没有。就是 UA+cookie+每分钟流量控制就完了。


最后广告一下： https://github.com/binux/pyspider 异步，带流量控制，多进程带 WEBUI 的爬虫

@maga 你不是说“有许多用户同时访问的时候”，“同一台手机，访问打印出来的”

@maga 既然有许多用户同时访问，你怎么知道打出来的那一条是你的？而且你 print 的时候，多进程吗？ flush 了吗？
你在哪看？你在页面上输出读到的 cookie ，看看和发送的是否一致。

确认不是缓存的问题吗？你能复现吗？既然你是根据 cookie 判断用户的，你怎么知道返回的是其他用户的ID？

彩票中奖

你会写一个淘宝店铺，你就会爬了。

这东西好几年了，但是不稳定，不建议在自动测试中使用

@bugeye 指望行善这种虚无缥缈的东西还是算了。
有人从经济为出发点，有人以政治正确为出发点，涵盖更广。
@7colcor 这病都存在几十年了。

@bugeye 于是就没人愿意研制埃博拉的药咯，反正发达国家没这病，发展中国家付不起8万刀。

@cxe2v 至少加和邮政相同比例的钱，他也是不送的。

@bugeye ZF管理下的邮政，在非自由市场，比如山区。各种通不送吧，至少这个是有得比的。

“更牛的是不需要输入验证码” 这是 12306 的责任
什么抢票不公平，我还觉得通宵去排队，排前面就买到了不公平呢。

有人愿意花费体力，我愿意花费脑力，这有什么不公平的。

扫日志

@DjvuLee 层可以共享，可以叠加，但是不能混合，比如你可以基于 unbuntu 的层，做一个 python3.0 的层，再基于 python3.0 做各个程序，这时候的 python3.0 可以共享。

但是你不能做一个 python3.0 的层，同时需要 mysql，这时不能把 mysql 混进来，只能在 python3.0 的层上装 mysql，或者在 mysql 的层上装 python3.0