有哪些好用的开源或者免费爬虫？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2814 天前的主题，其中的信息可能已经有所发展或是发生改变。

最近打算爬一个网站数据，链接格式自己都有。想找一个好用的爬虫软件，需求是顺利爬下数据，不被网站主发现。

源网站是一个购物网站，流量很大。

======================= 追加：源网站链接返回的数据是JSON数据，可以直接用。

源链接格式为https://www.xxxxxx.com?a=YY&b=ZZ

爬虫只需要能实现更改不同的a和b就行。其中a是在几个固定的参数里面选，b是page页码。

9 条回复 • 2017-03-10 12:43:35 +08:00

yalay

2017-03-09 16:43:16 +08:00

火车头？

klxq15

2017-03-09 16:47:22 +08:00 via Android

用 python 循环一下不就搞定了，不过爬虫的难点在于提高爬取速度

bazingaterry

2017-03-09 16:47:52 +08:00 via iPhone

Scrapy

IanPeverell

2017-03-09 16:50:33 +08:00

一个方法是用 Scrapy 框架搭，另一个方法是用 requests 写
问题除了速度还有反爬虫的问题，可以代理+随机改变请求的 HEAD

lovejoy

2017-03-09 19:40:01 +08:00

跟爬虫关系不大吧，你这个自己写脚本抓就好了

figofuture

2017-03-09 19:47:12 +08:00

tomasyl

2017-03-09 21:39:14 +08:00

nutch 啊

voidtools

2017-03-10 10:21:31 +08:00

如果只有 2 位数的页面。。。好像没必要弄爬虫。。。 dtm 通配符搞一下就好勒

lesxc

2017-03-10 12:43:35 +08:00

srcapy 就不说了，可以试试 webmagic 开箱即用！