做爬虫时碰到了问题,求老司机
![]() |
1
alexapollo OP 这个站点的 JS 还会 writeln 来引入其他的 JS ,有点厉害
|
![]() |
2
xavierskip 2016-01-11 00:13:44 +08:00
![]() |
![]() |
3
halfcrazy 2016-01-11 00:15:28 +08:00
单纯 http client 请求到的 content 内容是原始的页面,(浏览器、 phantomjs )渲染解析之后多出来的东西就是 js 弄出来的。我是这么理解的,可以试着做一些下 diff 。
|
![]() |
4
alexapollo OP @halfcrazy 是的,但渲染一花资源(时间、 CPU ),二是没有很易用的库( python 下)
|
![]() |
5
alexapollo OP @xavierskip 可以解决最后获得了哪些 JS 的问题,但分析页面还是得花不少时间
|
![]() |
6
bdbai 2016-01-11 00:23:30 +08:00 via iPhone
直接研究请求好了,会比分析页面更快一些。
|
![]() |
7
FrankFang128 2016-01-11 01:22:01 +08:00 via Android
关系页面干啥
|
![]() |
8
FrankFang128 2016-01-11 01:22:11 +08:00 via Android
关心页面干啥
|
![]() |
9
zhenzhen37 2016-01-11 17:13:46 +08:00
f12
|