用 requests 抓取网页代码的时候，出现了一个怪异的现象。（只能获取到尾巴部分）

可能前面的内容是 ajax 获取后添加上去的

@heaton_nobu 如果是 ajax 行为，我用 charles 和 chrome F12 能看到呀。

你打开 request.text 的语句是啥

@mystryl
```python
s = requests.Session()
s.cookies.update(cookies)
s.headers.update(headers)
r = s.get(url, verify=False)
print r.headers
print r.content
print r.text
```

@mystryl print requests.get(url, headers=headers).content (不用 session 也尝试了，这次吧 cookies 放进 headers 里面)
效果一样，还是只有尾巴

应该是 js 生成的吧， ctrl+u 看看是不是和你抓取的一样。

@cdwyd view-source 看到的就是我说的：
<ul class=""
data-a="0.00"
data-b="222"
data-c="0">
<li class="xxx"> <a href="javascript:void(0);" class="removeX">删除</a>&nbsp;test
</button> </a> </li> </ul>

这是全部内容，根本没有 JS 。

网址发来看看

gzip

@notgod Requests 会自动为你解码 gzip 和 deflate 传输编码的响应数据。 如果 gzip ，会显示乱码的

@fork3rt http://gg.gg/secreturl (一会回复就不要贴网址，谢谢！帮同学研究的)

@daiv 用 terminal 执行后可以正常获取，你是用的 Pycharm 的 console 看的吧？

@fork3rt 对，我是用 pycharm console 看的

F12 看到的是生成好的源代码

真正的源代码需要在网页上右击 → 查看源代码

@daiv 同样正常结果

Out[9]: u'<ul class="betSlip full-text " \rdata-ub="0.00"\rdata-txr="0,-1,0,1,1#"\rdata-tcm="0"\rdata-bsuis="0" \rdata-xrte="1" \rdata-xrte-us="1"\rdata-stk-inc="0-2*2#2-250*10#250-500*10#500-1000*10#1000-2500*10#2500-5000*50#5000-10000*100#10000-25000*100#25000-50000*100#50000-99999999*100"\rdata-stk-mlt-inc="0-0.1*0.1#0.1-250*1#250-500*5#500-1000*10#1000-2500*50#2500-5000*100#5000-10000*100#10000-25000*100#25000-50000*100#50000-99999999*100"\rdata-isocode="RMB"\rdata-betguid=""\rdata-cus="N"> <li class="betslipHeader"> <a href="javascript:void(0);" class="removeAll">\u5168\u90e8\u5220\u9664</a> <div class="betslip-select" data-text="\u6a19\u6e96\u6295\u6ce8\u55ae"> <div id="BetSlipTypeSelectorWrapper"><div id="BetSlipTypeSelector">\u6a19\u6e96\u6295\u6ce8\u55ae</div></div> <div id="BetSlipTypesWrapper"> <div id="BetSlipTypeArrowTip"></div> <ul id="BetSlipTypes"><li data-item="1">\u6a19\u6e96\u6295\u6ce8\u55ae<span class="selected"></span></li><li data-item="2">Bankers\u5f0f\u6295\u6ce8</li></ul> </div> <select class="bet-slip-type" disabled="disabled" ><option selected="selected" value="1">\u6a19\u6e96\u6295\u6ce8\u55ae</option><option value="2">Bankers\u5f0f\u6295\u6ce8</option></select> </div> </li> <li class="emptyBetslip "><ul><li>\u8acb\u9ede\u64ca\u8ce0\u7387\u6dfb\u52a0\u6295\u6ce8</li></ul></li><li class="bsError feedBack hidden "> <div class="content"> <div class="image"><span class="icon"></span></div> <div class="text"></div> </div> </li><li id="pro" class="feedBack hidden"> <a href="javascript:void(0);" class="placeBetProgress abetslipBtn" data-atype="plc"><button><span class="buttonTextNoMessage">\u6b63\u5728\u8655\u7406\u4e2d</span><span class="buttonSmallSpinnerNoMessage"></span></button></a> </li> <li class="footer"> <span id="totalStake"></span> <a href="javascript:void(0);" class="acceptChanges abetslipBtn hidden"> <button>\u63a5\u53d7</button></a> <a href="javascript:void(0);" class="placeBet abetslipBtn failed-min-odds" data-atype="plc" > <button> <span class="totalStake"></span>&nbsp;<span class="isocode"></span>&nbsp;\u6295\u6ce8\r</button> </a> </li> </ul>'

@daiv

f = open("1.txt", "a+")
f.write(res.text.encode('utf-8'))
f.close()

文本里也是有内容的。 pycharm 的 console 经常坑爹的。。

@fork3rt 非常感谢你的提示，我用
print co[:1000]
或者
print '{}'.format(co)
这样的方式来打印就可以看。

@fork3rt 你的提醒后，发现时 pycharm 的 console 的坑。 第一次遇见这个坑

@Cynic222 现时 pycharm 的 console 的坑。 第一次遇见这个坑

@Cynic222 你使用什么进行输出的。 （我用 pycharm 的 console 有坑）

@fork3rt 我存到数据库中 也不行。 一定要保存成文件？ 你的方法是可以保存全部 源文件的。

直接开个 terminal 跑 ipython.

@Cynic222 我一般 win 环境下用 pycharm ，方便。 生产环境才是 nginx+uwsgi

@daiv 保存数据库的代码贴一下

@fork3rt 先不说数据库了。 我保存到文件，再读出的时候，还是这么现实。 我现在尝试里面的代码有什么怪异的问题。

@daiv 哈哈 好的