V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
JhOOOn
V2EX  ›  问与答

爬取优酷上的数据,在网页源码中没有,有办法爬取到吗?

  •  
  •   JhOOOn · 2015 年 9 月 21 日 · 3461 次点击
    这是一个创建于 3766 天前的主题,其中的信息可能已经有所发展或是发生改变。

    待抓取的内容这个是需要抓取的内容

    网页源代码这个是在网页源码中看到的内容,但是没有数据

    审查元素
    但是通过浏览器的审查元素功能能看到数据。

    请问通过什么方法可以获得数据?
    这个是网页的链接: http://v.youku.com/v_show/id_XMTI1ODc5MjU2NA==.html?from=s1.8-1-1.1#comment
    谢谢

    14 条回复    2015-09-22 16:29:10 +08:00
    cyberdak
        1
    cyberdak  
       2015 年 9 月 21 日
    js 加载出来的数据
    只能找 js 的加载数据了
    Tink
        2
    Tink  
    PRO
       2015 年 9 月 21 日
    优酷不是有 api 吗??
    Tink
        3
    Tink  
    PRO
       2015 年 9 月 21 日
    JhOOOn
        4
    JhOOOn  
    OP
       2015 年 9 月 21 日
    @cyberdak 请问如何找 js 加载的数据?
    JhOOOn
        5
    JhOOOn  
    OP
       2015 年 9 月 21 日
    @Tink 谢谢,想试着爬虫抓取,有没有好方法。
    gongpeione
        6
    gongpeione  
       2015 年 9 月 21 日
    看看 PhantomJS
    JhOOOn
        7
    JhOOOn  
    OP
       2015 年 9 月 21 日
    @gongpeione 谢谢,对 js 不是很懂,有思路就好办了。
    jadecoder
        8
    jadecoder  
       2015 年 9 月 21 日
    最简单的办法是找到那个 ajax 请求,可以抓 http 包。例如播放数应该是这个

    http://v.youku.com/QVideo/~ajax/getVideoPlayInfo?__rt=1&__ro=&id=314698141&sid=299011&type=vv&catid=97

    但是量大了之后会触发反爬虫机制,那就是另外一个课题了
    gamexg
        9
    gamexg  
       2015 年 9 月 21 日
    F12 网络, F5 刷新,里面总有一个有数据。
    lxy
        10
    lxy  
       2015 年 9 月 21 日
    在审查元素的 Network 标签下开启 Filter ,查看 XHR 下的 Preview 或 Response 内容,一般有对应数据的就是了。
    LINAICAI
        11
    LINAICAI  
       2015 年 9 月 21 日
    优酷开放平台有啊。
    em70
        12
    em70  
       2015 年 9 月 21 日 via Android
    嗅探接口去,看接口规则,用页面里的数据去向接口请求
    jadecoder
        14
    jadecoder  
       2015 年 9 月 22 日
    @JhOOOn PhantomJS 的性能问题极其严重
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   3081 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 13:21 · PVG 21:21 · LAX 05:21 · JFK 08:21
    ♥ Do have faith in what you're doing.