有人用 Phantomjs casper 做爬虫吗？发现它太慢，如何提高性能？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3779 天前的主题，其中的信息可能已经有所发展或是发生改变。

phantomjs

casper

性能

提高

10 条回复 • 2015-09-27 16:40:00 +08:00

tabris17

2015 年 9 月 27 日

换 C/C++的 Httplib

hobbyliu

2015 年 9 月 27 日

@tabris17 我想要他的解析 js 供呢

WildCat

2015 年 9 月 27 日

ajax api 不能直接爬么

hobbyliu

2015 年 9 月 27 日

不是，我想要的东西，都是经过 js 各种规则解析出来的，没有所谓的 ajax api, 所有需要一个 webkit

xiaozi

2015 年 9 月 27 日

设置不加载图片，这样可以节省时间

hobbyliu

2015 年 9 月 27 日

@xiaozi 在哪设置？没找到相关设置呢？

pango

2015 年 9 月 27 日

@hobbyliu
给你看一个 selenium 版本的
driver = webdriver.PhantomJS(executable_path='D:\phatom\phantomjs-1.9.0-windows\phantomjs.exe',desired_capabilities=dcap, service_args=['--load-images=no'])
其他版本应该差不多，就是传一个--load-images 参数

Imivan

2015 年 9 月 27 日

王校长的头像。

FrankFang128

2015 年 9 月 27 日 via Android

必然

dingyaguang117

2015 年 9 月 27 日 via iPhone

不加载图片+1