抓取一个有限制的网页数据

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 4021 天前的主题，其中的信息可能已经有所发展或是发生改变。

这里不能发图，详见http://bbs.csdn.net/topics/390639292

3 条回复 • 1970-01-01 08:00:00 +08:00

sohoer

2013-11-11 16:08:32 +08:00

没有仔细分析，如果是cookie拿不到可能是重定向的原因造成的，你关闭自动重定向，改为模拟请求，再对每一个重定向的连接提取 cookie

lizheming

2013-11-11 16:16:24 +08:00

审查元素左下角第五个按钮点亮（变红）后可以抓取所有包括跳转的页面的请求，然后根据跳转再详细看看吧~

txlty

2013-11-11 18:12:51 +08:00

我能用php+curl抓。
不要用控件自带的301跟踪，你自己写个函数识别301，递归跳转，每次保存最新获得的cookie。
就Ok了。