下载数度一百多 k,耗时二十几秒,渲染这个无法避免。有其他解决方案吗? py 的会快么,不熟 py,有做过的么?。
之后还有一堆的关键词匹配。。。
1
momo733 2018-12-18 17:02:25 +08:00 via iPhone
渲染无法避免?难道是页面上加载了 webgl 或者验证鼠标轨迹的 js ?
要想解决加载速度,最好的办法还是解析 js 直接发请求,降低 phantomjs 加载时间,感觉你这个网速还是提高一下吧,具体解决方案,我也想看看其他大佬有什么解决办法! 另外这种爬虫容易被识别,建议使用 go 的 Chromedp,利用 Chrome 调试协议驱动。 |