V2EX › besttime 的所有回复 › 第 3 页 / 共 3 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3

❮

❯

2016-01-10 21:37:06 +08:00

回复了 besttime 创建的主题 › 程序员 › 说一说，这段事件做一个爬虫外包项目的糟心事儿。

@TaMud 个人以为，费用方面，非零开头的最小五位数已经是达到了我的心里预期的。能否告知一下这样一个项目你的心里预期是怎么样的。不方便这里说的话，可以私信我，谢谢。（其实早知道这么麻烦，翻个倍我都不做，说句矫情的话，上周，我熬到我整个人都要感觉不行了。）

2016-01-10 20:46:36 +08:00

回复了 besttime 创建的主题 › 程序员 › 说一说，这段事件做一个爬虫外包项目的糟心事儿。

@TaMud 可能是因为该发包方经过诸如你这些人的交流，丰富了需求文档。他发给我的需求文档，其实看过去都是可以实现的。然后我问一些问题，也大多能说个所以然出来。

2016-01-10 20:44:22 +08:00

回复了 besttime 创建的主题 › 程序员 › 说一说，这段事件做一个爬虫外包项目的糟心事儿。

@jugelizi 我已经对 ip 限制提出了解决方案，其实很简单，弄个 vps ，让爬虫跑在 vps 上，不少 vps 都有一键切换 ip 功能，目标网站封我 ip ，我就切呗。反正 vps 便宜，实在不行多准备几个。

2016-01-10 20:41:51 +08:00

回复了 besttime 创建的主题 › 程序员 › 说一说，这段事件做一个爬虫外包项目的糟心事儿。

@gdtv 只能根据抓取的数据尝试写入数据库，然后数据库根据某些字段进行去重设置。（时间参数肯定不能作为去重依据）。我考虑过很多种方案，只能这样进行实现，是最优的。

2016-01-10 20:39:42 +08:00

回复了 besttime 创建的主题 › 程序员 › 说一说，这段事件做一个爬虫外包项目的糟心事儿。

@Ellison 结果就是，发包方说我在这个平台的就事论事的言论，是对他的诽谤，他要起诉我哟，呵呵达。

2016-01-10 20:38:26 +08:00

回复了 besttime 创建的主题 › 程序员 › 说一说，这段事件做一个爬虫外包项目的糟心事儿。

@woai110120130 主要是发包方的需求文档写的很笼统，比如，有一项是说需要监控数据。我的想法是通过数据是否能够写入数据库实现识别新数据的监控（数据库有去重设置，能写入的都是新数据。）理论上这样也是对项目需求的实现，但是发包方一直不满意。我也重构了两次代码，但是，按发包方的逻辑是实现上是不稳定的，然后就是死结了。

1 2 3

❮

❯