python3.5 关于编码的问题

用 scrapy 写了一个爬虫，之前在其他服务器上和本地都可以跑的很好
今天换了个 ubuntu 服务器，发现报编码错误：
print('############\u7ed3\u675f\u5566' + spider.name)
UnicodeEncodeError: 'ascii' codec can't encode characters in position 12-14: ordinal not in range(128)

这里连代码里写死的 print 语句，都显示不了中文，本来应该是：
print('############开始啦'+spider.name)

每个 py 文件的开头也都加了
'# -- coding: utf-8 -- '
查了 python3 的 getdefaultencoding 结果 utf-8

以前在 python2.7 下这样好解决，但是 python3 怎么会这样... 麻烦问下这个可能是什么原因？

utf-8

Python

Python3

10 条回复 • 2018-01-02 11:21:28 +08:00

ipwx

2018-01-01 21:13:21 +08:00

因为 console 是字节流输出，不能输出 unicode 字符串，而 python3 的字符串常量是 unicode。当你 print 中文，python 内部会自动转码。而这个转码可能受很多因素影响，所以不好处理。

试试 click.echo，或者 logging。

ipwx

2018-01-01 21:14:52 +08:00

http://click.pocoo.org/5/utils/#printing-to-stdout

likuku

2018-01-01 21:49:59 +08:00

@ipwx 字节流输出 ? 指 bytes 类型？那么得到的结果在 print 之前先作一次解码试试:

_str_out = _raw_bytes_out.decode('utf-8')
print(_str_out)

noqwerty

2018-01-01 22:28:52 +08:00 via iPhone

我之前在学校的上古服务器也遇到过这个问题，最后发现是 locale 出了问题，解决方法是在最开始加上：

import locale
locale.setlocale(locale.LC_ALL, 'en_US.UTF-8')

ivechan

2018-01-01 22:45:26 +08:00

这个是终端的问题, 你终端不支持 Unicode, 但是 Python 里又是 Unicode 的输出, 就冲突了.

ipwx

2018-01-01 23:19:09 +08:00

@likuku 对，正如 @ivechan 所述，大部分 console 都是字节输出。print 遇到这种情况，会把 unicode 转换成字节。

但是这个编码不是 python 自己决定的，是根据操作系统和其他各种环境决定的。比如 @noqwerty 所述的 LC_ALL 环境变量。此外有些操作系统也有可能直接支持 unicode，我不太清楚，但是 windows 也许可以。

总之情况非常复杂，所以与其自己处理，不如用类库。click.echo 自称做了很多工作。

just1

2018-01-01 23:23:01 +08:00 via Android

我猜你用了 supervisor ？

kmahyyg

2018-01-01 23:25:12 +08:00 via Android

str(byte object.encode('utf-8'))

Sylv

2018-01-02 00:33:33 +08:00 via iPhone

终端的 locale 没设置好，导致 Python 对终端的输出编码识别为了 ascii，而 ascii 无法 encode Unicode，于是就报错了。

mununo

2018-01-02 11:21:28 +08:00

export LC_ALL='en_us.utf8' 添加到 ~/.bashrc 中。en_us.utf8 这种 locale 串分别是 [语言_地区.字符集], zh_cn.utf8 代表 zhongwen_China.utf8，虽然都是 UTF8 但是不同语言和地区的日期显示，金钱符，吧啦吧啦的显示不一样。