V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
hisokc
V2EX  ›  问与答

爬虫求指点

  •  
  •   hisokc · 2016 年 10 月 22 日 · 2078 次点击
    这是一个创建于 3374 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想要抓取 http://www.chuangtzui.com 网站内容 但是该网站是异步加载内容,用了 phantomjs 爬内容

    爬到内容不是真正的 html 内容,求大神指点,谢谢

    5 条回复    2016-10-24 18:02:12 +08:00
    Allianzcortex
        1
    Allianzcortex  
       2016 年 10 月 22 日
    换个思路,看开发者工具,真正请求的是这个: https://static.wixstatic.com/sites/f805a4_22568e3e95cd9a7c9f694d08ed119154_227.json.z?v=3 ,所以用 requests 去 get 这个 url 去取。如果你是用 selenium + PhantomJs 来做的话设置等待时间再长一点会不会好些?
    coreki
        2
    coreki  
       2016 年 10 月 22 日 via iPhone
    先找到 ajax 的请求地震 然后
    herozzm
        3
    herozzm  
       2016 年 10 月 22 日 via Android
    打开 chrome 的调试器,你可以看到 ajax 请求的真正地址,去抓这个
    douglas1997
        4
    douglas1997  
       2016 年 10 月 23 日
    这网站的前端怎么实现的? 很漂亮啊。
    rabbgit
        5
    rabbgit  
       2016 年 10 月 24 日
    网站数据没加密,提取源码里面的 JSON,再进一步解析就行.
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2760 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 08:23 · PVG 16:23 · LAX 00:23 · JFK 03:23
    ♥ Do have faith in what you're doing.