curl 抓取问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 4147 天前的主题，其中的信息可能已经有所发展或是发生改变。

curl可以抓取用了js延迟加载的页面全部内容么

5 条回复 • 2014-09-06 23:09:47 +08:00

lizhijun

2014 年 9 月 6 日

不行。
用python+scrapy吧。

Nintendov

2014 年 9 月 6 日

@lizhijun 没接触过这个啊，它也可以模拟用户操作么

ultimate010

2014 年 9 月 6 日

splinter完全调用浏览器，scrapy也不能执行js吧。
建议python + request +lxml，相当方便。

Nintendov

2014 年 9 月 6 日

@ultimate010 又一个没接触过的，我去查资料学习TAT

RemRain

2014 年 9 月 6 日 via iPhone

上 phantomjs，WebKit 内核，完美执行 js