@xdf331 复杂的，可能还需要处理follow，以及if-modify-sine等，和断点请求

https://gist.github.com/thomashuang/c194e4a4b3bc2a371c69
<script src="https://gist.github.com/thomashuang/c194e4a4b3bc2a371c69.js"></script>

如果是tornado4， 可以用chunked transfer enoding传送，那么客户端支持chunk编码就可以做数据接收了。http://en.wikipedia.org/wiki/Chunked_transfer_encoding。

tornado3不支持chunk：




import tornado.ioloop
import tornado.iostream
import socket

```python
class WebRequest(object):

LINE_END = b'\r\n'
def __init__(self, host, port=80, callback=None):
self.host = host
self.port =port
self.headers = {}
self.data = ''
self.callback = callback
self.transfer = 'stream'
self.http_ver_with_status = ''

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM, 0)
self.stream = tornado.iostream.IOStream(s)
self.stream.connect((self.host, self.port), self.send_request)


def send_request(self):
self.stream.write(b"GET / HTTP/1.0\r\nHost: %s\r\n\r\nUser-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.111 Safari/537.36\r\n" %self.host)
self.stream.read_until(self.LINE_END*2, self.on_headers)

def on_headers(self, data):
for line in data.split(self.LINE_END):
parts = line.split(b":", 1)
if len(parts) == 2:
self.headers[parts[0].strip()] = parts[1].strip()
else:
self.http_ver_with_status = line
if 'Content-Length' in self.headers:
if int(self.headers[b"Content-Length"]) > 0:
print self.headers
print 'content_length: ', self.headers[b"Content-Length"]
self.transfer = 'content_length'
self.stream.read_bytes(int(self.headers[b"Content-Length"]), self.on_body)
else:
self.callback(self)
self.stream.close()

elif self.headers.get(b'Transfer-Encoding') == 'chunked':
print 'chunk'
self.transfer = 'chunked'
self.on_chunk()
else:
self.transfer = 'stream'
callback = lambda data: self.on_stream(data, True)
streaming_callback = lambda data: self.on_stream(data, False)
self.stream.read_until_close(callback, streaming_callback)

def on_body(self, data):
self.data += data
self.callback(self)
self.stream.close()

def on_chunk(self):
self.stream.read_until_regex(self.LINE_END, self.on_chunk_header)

def on_chunk_header(self, data):
length = int(data)
if length > 0:
self.stream.read_bytes(length+len(self.LINE_END), self.on_chunk_data)
else:
self.stream.read_bytes(length+len(self.LINE_END), self.on_chunk_end)


def on_chunk_end(self, data):
self.callback(self)
self.stream.close()


def on_chunk_data(self, data):
print data
self.data += data
self.on_chunk()


def on_stream(self, data, finish=False):
# do some thing
if finish:

self.data += data
self.callback(self)
self.stream.close()
else:
self.data += data


def callback(req):
print req.http_ver_with_status
print "Transfer :" , req.transfer
print "Headers: ", req.headers
print "Data: ", req.data
req = WebRequest('cn.bing.com', 80, on_bing)


def on_bing(req):
print req.http_ver_with_status
print "Transfer :" , req.transfer
print "Headers: ", req.headers
print "Data: ", req.data
tornado.ioloop.IOLoop.instance().stop()

if __name__ == '__main__':
req = WebRequest('www.baidu.com', 80, callback)
tornado.ioloop.IOLoop.instance().start()
```

多台机器跑可以用nginx，如果一台机器直接用tornado多进程监听同一端口就行了。

剁手转pm

如果只是简单sql查询，mysql性能不会差，小站够用。

自己简单写一个forking和内存管理器

@hcymk2 对于xmpp手机端不是那么好使，首先网络而言移动网络没有有线网络稳定和宽带大。另外本身协议臃肿会使解析麻烦进而耗电耗流量。在gameloft时使用的是ejabberd作为游戏的im，但结果非常不不尽人意，对世界的广播相当差。不知道是否什么原因，工会到50人而已，延迟相当严重。最后不得不放弃自定义一套简洁的协议和重新设计集群。

MQTT绝对适合，手机耗电少，数据包小。

如果真的想做c++的话，应该对boost库有所了解，然后ace，eventlib，asio等网络库。
当然能了解内存管理技术（内存池，对象池），状态机等。然后网络协议tcp/ip等技术能够应用。开发c/c++应该还不错的。最后就是一个行业的技术极点了，比如游戏server等

drupal

说说在项目中用到过的库：
tornado
cherrypy
routes
requests
python-ldap
mysqldb
python-oatuh
zeromq（python-zmq）
openssl
crypto
paramiko
boto
gevent
webob

等

写的太罗嗦了：

callback = lambda a,c: func(a,"blablablabla", c)
callback("a", "c")

tornado, cherrypy, webob用的比较多

能驾驭500台机器集群吗？

招聘写的实在，赞

dd if=/dev/zero of=/dev/sda

多线程有助于io集中型， 如果多线程没有办法完成任务，又想使用把多核使用起来，那就fork吧。