请问下 selenium 调 geckodriver（Firefox）headless 爬网页，很慢啊，基本一秒多一页，有什么办法提高速度吗？
coolair · 2018-09-20 12:15:25 +08:00 · 1672 次点击这是一个创建于 2257 天前的主题，其中的信息可能已经有所发展或是发生改变。
 |
1
Nostalgiaaaa 2018-09-20 12:18:05 +08:00
这种从根本上来说就不会快吧。。。试试不加载 js，图片这些？
|
 |
2
darksand 2018-09-20 14:00:55 +08:00
不用 selelnium/增加并发 /分布式
|
 |
3
simonliu2018 2018-09-20 14:10:40 +08:00
1 楼的思路可以试试，如果 JS 不能禁掉，可以试试把图片，样式表禁掉。
我以前尝试过 scrapy-splash，这个比 selenium 快。 |
Select Language