V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
alexapollo
V2EX  ›  程序员

如何判断一个页面的一个部分由哪些 JS 组成?

  •  
  •   alexapollo ·
    geekan · 2016-01-11 00:05:33 +08:00 · 2622 次点击
    这是一个创建于 3238 天前的主题,其中的信息可能已经有所发展或是发生改变。

    做爬虫时碰到了问题,求老司机

    9 条回复    2016-01-11 17:13:46 +08:00
    alexapollo
        1
    alexapollo  
    OP
       2016-01-11 00:08:33 +08:00
    这个站点的 JS 还会 writeln 来引入其他的 JS ,有点厉害
    xavierskip
        2
    xavierskip  
       2016-01-11 00:13:44 +08:00
    halfcrazy
        3
    halfcrazy  
       2016-01-11 00:15:28 +08:00
    单纯 http client 请求到的 content 内容是原始的页面,(浏览器、 phantomjs )渲染解析之后多出来的东西就是 js 弄出来的。我是这么理解的,可以试着做一些下 diff 。
    alexapollo
        4
    alexapollo  
    OP
       2016-01-11 00:20:03 +08:00
    @halfcrazy 是的,但渲染一花资源(时间、 CPU ),二是没有很易用的库( python 下)
    alexapollo
        5
    alexapollo  
    OP
       2016-01-11 00:20:56 +08:00
    @xavierskip 可以解决最后获得了哪些 JS 的问题,但分析页面还是得花不少时间
    bdbai
        6
    bdbai  
       2016-01-11 00:23:30 +08:00 via iPhone
    直接研究请求好了,会比分析页面更快一些。
    FrankFang128
        7
    FrankFang128  
       2016-01-11 01:22:01 +08:00 via Android
    关系页面干啥
    FrankFang128
        8
    FrankFang128  
       2016-01-11 01:22:11 +08:00 via Android
    关心页面干啥
    zhenzhen37
        9
    zhenzhen37  
       2016-01-11 17:13:46 +08:00
    f12
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5291 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 07:34 · PVG 15:34 · LAX 23:34 · JFK 02:34
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.