好接口，从哪里找到的啊？

楼主追求速度的话 研究下swoole 速度应该能达到极致吧

@wdkwdkwdk 恩 没错 韬韬是名人 顶韬韬哈

还得是分析log中的ip吧，几秒钟访问超过限制就封掉
做抓取的表示一般大型网站都是这么屏蔽的

@touch top命令看到的是加上buffer的内存占用
用free -m 看第二行那个是减去buffer的内存占用，这个才是主要看的
我感觉scrapy内存应该不会用的那么多吧

是减去buffer以后的内存占用吗

招不招python/php啊~~

如果200万这么多请求，还需要控制一下当前最大请求数量

如果使用异步模式下载网页，应该很容易达到下载峰值吧
类似这样子

from twisted.web.client import getPage
from twisted.python.util import println
from twisted.internet import defer, reactor

def getPages():
i = 0
while i < 1000:
url = 'http://127.0.0.1:8081'
getPage(url).addCallback(println)
i += 1

reactor.callWhenRunning(getPages)
reactor.run()

chrome每升一个版本就会出现一个奇怪的bug