请问大量的数据收集常用的技术有哪些？ - V2EX

首页注册登录

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 4584 天前的主题，其中的信息可能已经有所发展或是发生改变。

比如GOOGLE购物频道这样的，一般用什么技术实现呢？

2 条回复 • 1970-01-01 08:00:00 +08:00

1

sohoer

2012-05-08 18:38:45 +08:00

1

就是所谓的垂直搜索吧，
或者用采集器实现，
或者自己写
http://www.searchtb.com/2011/07/%E5%BF%AB%E9%80%9F%E6%9E%84%E5%BB%BA%E5%AE%9E%E6%97%B6%E6%8A%93%E5%8F%96%E9%9B%86%E7%BE%A4.html

2

docete

2012-05-08 19:14:25 +08:00

1

你说的是网络爬虫吧。一般会用开源方案做二次开发。scrapy用的人比较多。

关于 · 帮助文档 · 博客 · API · FAQ · 实用小工具 · 1115 人在线 最高记录 6679 ·

Select Language

创意工作者们的社区

World is powered by solitude

VERSION: 3.9.8.5 · 22ms · UTC 19:00 · PVG 03:00 · LAX 11:00 · JFK 14:00
Developed with CodeLauncher
♥ Do have faith in what you're doing.