diaoleona 最近的时间轴更新 diaoleona 最近的时间轴更新 |
diaoleonaV2EX 第 52685 号会员，加入于 2013-12-25 16:02:44 +08:00 |
diaoleona 最近回复了
2014 年 8 月 21 日 回复了 endoffight 创建的主题 › Python › 求助正则表达式牛人帮忙解决一下 |
为何不用xpath
2014 年 8 月 1 日 回复了 arbipher 创建的主题 › 酷工作 › [上海徐汇]技术创业团队求全栈工程师一枚 |
要求iOS方向，
却不能在移动设备上查看gmail，
不如先招个人让你们移动设备上先能看gmail?
却不能在移动设备上查看gmail，
不如先招个人让你们移动设备上先能看gmail?
2014 年 6 月 3 日 回复了 LetFoxRun 创建的主题 › 问与答 › 对于我这种网络爬虫，应该使用哪种模型来加快效率呢？ |
scrapy or scrapyd
2014 年 6 月 3 日 回复了 zrq495 创建的主题 › 求职 › [求实习]暑假 + 大四 |
有过在线做题数据分析的经验非常好，已经把你简历转发给HR．请耐心等待
2014 年 6 月 3 日 回复了 JackyXiong 创建的主题 › Python › Python 的文档转换模块 docutils 的使用？ |
2014 年 5 月 27 日 回复了 hao1032 创建的主题 › Python › python 如何获取一个网址的标题？？ |
@dbow 不能同意更多
2014 年 2 月 27 日 回复了 yakczh 创建的主题 › Python › 爬虫抽取连接和抽取内容的部分是不是应该分开? |
2014 年 2 月 27 日 回复了 yakczh 创建的主题 › Python › 爬虫抽取连接和抽取内容的部分是不是应该分开? |
@yakczh
'多个页面都可能有数据,每个页面有多个数据区域的话,还不知道怎么写'
没看明白你具体问题是什么？
如果担心多个页面多个数据 区域有相同的的数据的话,把你需要的数据区域都爬下来hash一下或者放在一个专门判重redis也可以在scrapy 里的中间件加一道判重过程.
最好你发个子页面的例子给看一下
'多个页面都可能有数据,每个页面有多个数据区域的话,还不知道怎么写'
没看明白你具体问题是什么？
如果担心多个页面多个数据 区域有相同的的数据的话,把你需要的数据区域都爬下来hash一下或者放在一个专门判重redis也可以在scrapy 里的中间件加一道判重过程.
最好你发个子页面的例子给看一下
2014 年 2 月 26 日 回复了 WeeTom 创建的主题 › 上海 › 上海 明道 www.mingdao.com 招 iOS 工程师 |
来黑你们公司的么？？
2014 年 2 月 26 日 回复了 yakczh 创建的主题 › Python › 爬虫抽取连接和抽取内容的部分是不是应该分开? |
看你怎么设计了，我之前是爬到的response.url和 web content压缩一下放在一个数据库里，然后根据需求再做不同的抽取
Select Language