这是一个创建于 4626 天前的主题，其中的信息可能已经有所发展或是发生改变。
估计是变成坏掉的不完整的UTF-8字符了，求解决方案。
另外，估计不是编码问题，因为出现问题的字符是随机的，并不固定。
另外，估计不是编码问题，因为出现问题的字符是随机的，并不固定。
第 1 条附言 · 2013 年 5 月 20 日
https://github.com/wontoncc/cnbetaCC 代码仓库在这边，主要是 worker 和 processor 做爬取信息的处理。
第 2 条附言 · 2013 年 5 月 21 日
重新写了一遍抓取的代码，用 stream 和原生 buffer 处理，并没有出现这个问题；
估计是 bufferhelper 模块的问题：https://github.com/JacksonTian/bufferhelper
有点可笑的是，bufferhelper 这个模块本身就是为了防止 chunk 拼接的时候被阶段的问题…
我自己的处理方案是：
var buf = Buffer(0);
...
res.on('data', function(chunk){ ... buf = Buffer.concat([buf,chunk]); ... });
res.on('end', function(){ ... buf = Buffer(0); });
于是这贴可以结了，感谢各位的指教。
估计是 bufferhelper 模块的问题：https://github.com/JacksonTian/bufferhelper
有点可笑的是，bufferhelper 这个模块本身就是为了防止 chunk 拼接的时候被阶段的问题…
我自己的处理方案是：
var buf = Buffer(0);
...
res.on('data', function(chunk){ ... buf = Buffer.concat([buf,chunk]); ... });
res.on('end', function(){ ... buf = Buffer(0); });
于是这贴可以结了，感谢各位的指教。
 |
1
chemzqm 2013 年 5 月 19 日  1
可能抓到的是gzip版本，设置请求头 Accept-Encoding:deflate
|
 |
3
orzfly 2013 年 5 月 19 日 1
随机的？话说js好像不支持0~0xFFFF之外的字符。
|
 |
5
inaction 2013 年 5 月 19 日
测试：刚才明明发的中文字符：〖〗，变成了[]
|
 |
8
juicy 2013 年 5 月 20 日 1
会不会是你本机缺少相应的字符库，而抓到的数据本身是没问题的？也许在其他有相应字符库的机子上是显示正常的？
|
 |
9
wontoncc OP @juicy 刚刚测试了一下，并不是这个问题。
而且因为是随机的缘故，本来有些字这次请求完好，下一次请求却坏到了。如果是字库问题应该一直都看不到才对。 |
 |
11
leafduo 2013 年 5 月 20 日 1
贴代码吧
|
|
14
juicy 2013 年 5 月 21 日
恭喜楼主攻克难题～～～
|
|
15
chemzqm 2013 年 5 月 21 日
给他提个issue吧，方便其他人。
|
Select Language