V2EX › luw2007 的所有回复 › 第 12 页 / 共 12 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 3 4 5 6 7 8 9 10 11 12

❮

❯

2014 年 11 月 3 日

回复了 luw2007 创建的主题 › 奇思妙想 › 是否已经存在爬虫库交易网站, 类似极客网站

@wangleineo @ziyunhx 很多网站不会提供api，同时也不阻止爬虫爬取。比如一些地方政府网站，或者一些公益网站。这些网站可能开发完毕之后就很少改动界面结构，但是数据内容却一直在不断更新。它们不会提供api给开发者，或者提供开发者友好的数据源。因此需要爬虫来整理数据。这些爬虫规则的维护成本不高，并且将开发成本转嫁给消费者，消费者提供一定的报酬的规则维护者。
说到底，只是提供交流的平台。具体维护还是需要各个开发自行去维护。

2014 年 10 月 30 日

回复了 luw2007 创建的主题 › 奇思妙想 › 是否已经存在爬虫库交易网站, 类似极客网站

@Doubear 平台提供的是交易和执行环境. 你爬了这个站. 其他人也想要, 怎么办. 通过平台, 你可以把你的爬虫买给他们. 他们自己去定制跑任务. 而不用自己去写爬虫爬取.

其实主要是集中爬虫. 避免大家都在重复写同样的内容.

2014 年 10 月 30 日

回复了 w2angel 创建的主题 › 奇思妙想 › 人人影视要关闭资源了，谁做个爬虫出来

@w2angel http://v2ex.com/t/142606 讨论爬虫交易平台呢. 感兴趣不?

2014 年 10 月 30 日

回复了 luw2007 创建的主题 › 奇思妙想 › 是否已经存在爬虫库交易网站, 类似极客网站

@mrytsr kmonolabs.com应该和import.io 差不多.
我只是想提供平台. 不想直接实现.
毕竟需要实现的网站太多了.

2014 年 10 月 30 日

回复了 luw2007 创建的主题 › 问与答 › 是否已经存在爬虫库交易网站, 类似极客网站,

@mrytsr 主贴在http://v2ex.com/t/142606