1
aisensiy 2014 年 9 月 24 日
我想是不可以的,需要你自己去实现
|
2
binux 2014 年 9 月 24 日
这段代码和 scrapy 有什么关系。。
|
4
Melodic 2014 年 9 月 24 日
scrapy不需要合并,只需要在第一页抓完之后,返回Request,参数中携带下一页的url和自己的分析函数的回调即可
def parse(self, response): . . . url = 下一页的url yield scrapy.Request(url, callback=self.parse) 至于下一页的url是你for循环出来还是自己拼接的,就要具体分析了。 |
5
forever139 2014 年 9 月 24 日
楼主的意思我懂,你这种做法其实也是可以的,官方是推荐都能通过自己的requests管理,如果有额外的参数,你可以通过request的meta属性来yield给下个request,然后在response中取出来,这样你就可以是一个item.不过你这种情况可能传递的内容比较多,效率比较低。
|
6
pc10201 OP @forever139 亲,能否给一段示例代码或相关网页?我就是不知道怎么将response.body合并~
|
7
forever139 2014 年 9 月 26 日
|