如何批量抓取谷歌搜索每项结果的链接页面

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› Google Play

› 9to5Google

这是一个创建于 3499 天前的主题，其中的信息可能已经有所发展或是发生改变。

不是谷歌的结果页面，是结果页面里每个链接点进去的第一个页面抓取， page only 或者文本都行。

请问如何实现，谢谢！

5 条回复 • 2016-06-29 09:02:03 +08:00

knightdf

2016 年 6 月 28 日

提取链接跟进抓取啊

klklklkl

2016 年 6 月 28 日

@knightdf
谢谢，我用 GScraper 抓去了链接，请问有什么简便的方法在 win7 下批量根据抓取的链接下载页面？

ho121

2016 年 6 月 28 日 via Android

太频繁会输验证码的

suduo1987

2016 年 6 月 29 日

按照你的频率 ,可以考虑 google apps script

knightdf

2016 年 6 月 29 日

@klklklkl 把链接再丢到任务队列里去