requests.get().text 在 python2 里是 unicode ， python3 里是 str （也是 unicode ）， requests 会把网页内容(.content ，类型是 bytes)用 chardet 检测出的编码类型转换成 unicode ，然后给.text 这个 property 。

然而 windows 命令行的默认编码是 cp936 （好像是这么拼的），所以如果 chardet 抽风了， unicode 内容就不合理， print 时候就可能乱码或者报错，后者可能性更高一点。

有两个方法： 0 ）你开个文件把爬到的东西写进去，完了用 sublime/notepad++之类的东西打开看看，能看就没错了； 1 ）手动给 response.content 做 decode ，我这儿 win10+python3.4.2 ， rsp.content.decode('utf-8') != rsp.text

print(web.content.decode('utf-8'))，我这个 win10 能正确在 cmd 中打印网页里的中文

@moogle 就比如你的 dataframe 长这样

\ A 'date' B C
1
2
3

这个时候可以 pop('date')同时转换……
楼上提到的 parse_dates 印象里接受 col_name ，不过刚看了下源代码， True 时会把 index 处理成 DatetimeIndex 。
pandas 里的黑魔法太多了，建议还是手动来比较好， pandas 版本升级了不容易出错，出错了也知道应该怎么改。。

vpn 拨到 vps 需要客户端固定 ip ，得配置； ngrok 要用它的中转服务器，被干扰很严重；花生壳现在免费版只是个动态域名解析，宽带没外网 ip 没法用；
感觉 ssh -R+自动重连比较好？ bitvise 和 myentunnel 都可以自动重连，不过是不是支持-R 就不知道了……

@messyidea 开缓存试试。。

@cyio 求搜索关键字（或者来源），一下没找到这事

@hzwer 啊看漏两句，严格说来我也算是个人的。。用正则比较轻便吧，感觉每次装 lxml 全球气温都要上升一点

@hzwer 它是个 xml 解析库， bs 可以用它来解析网页，可以改成"html.parser"或者其他的试试，不保证能用。。 http://www.crummy.com/software/BeautifulSoup/bs4/doc/#installing-a-parser

如果你的 index 已经长得像日期了， df.index = pd.DatetimeIndex(df.index); df = df.sort_index() ，如果 index 还是某个叫做 date 的 column ，就先 df.index = pd.DatetimeIndex(df.pop('date'))

依赖里没写 lxml ，我新建的 python3 virtualenv 直接 pip install 之用起来会报错……其实直接用正则就可以搞定？

可以尝试兼容 python2 ，加点测试，多点词典后端（英英，离线文件等？）。。

pypi 上的下载都是镜像站带来的，不要太慌

"*/20 * * * * timeout=600 scrapy crawl cnbeta"加进 crontab 就行了， 20 分钟来一发， 10 分钟没跑完自动干掉进程

2 比较好点， python 第三方库感觉质量普遍不高，还不如自己定制，既减少依赖又容易维护

@deepurple 前端有两个？看来反垃圾要100个以上了

小数据的频繁读写 <- Redis啊.. https://github.com/jonathanslenders/asyncio-redis

曾经用过一阵子bs4，发现在vps上会用满cpu，之后就回到regex了

似乎不经意间挖坟了

@fph418 MoonReader pro也可以，一次购买，不用交订阅费，用的是Google drive/Dropbox …… 不过不能和PC同步