我又继续研究了下,我发现在用PhantomJS
时候主要碰到下面几个问题
这是我使用PhantomJS
的姿势不对,还是现在动态爬虫不够成熟。
1
fractal314 2015-12-19 13:33:41 +08:00 via Android 1
这个适合小规模的抓取,太耗 cpu
|
2
rootsir 2015-12-19 15:00:32 +08:00
@fractal314 headless 哪种不占 CPU 呢
|
3
liuzhen 2015-12-19 15:18:57 +08:00
用 PhantomJS 做截图
|
4
fractal314 2015-12-19 15:26:57 +08:00
@rootsir 逗逼
|
5
rootsir 2015-12-19 15:30:49 +08:00
@fractal314 擦 ,干嘛骂人呢
|
6
ezreal 2015-12-19 15:46:49 +08:00
有,我们的 SEO 系统就是用 PhantomJS 做的,所有商品详情页用 PhantomJS 爬下来存 mongoldb 中,爬虫过来直接喂静态的页面
|
7
icedx 2015-12-19 16:19:28 +08:00
我们的充值系统就是通过 PhantomJS 读取支付宝的
|
8
flaman 2015-12-19 23:05:09 +08:00
关键字 scrapy-splash
|
9
kkx 2015-12-20 16:34:13 +08:00 via iPhone
大家有碰到过 过一段时间爬取速度变慢的么 重起程序后又能恢复速度 感觉有内存泄漏问题
我用 phantomjs 和 selenium |