• 外包信息请发到 /go/outsourcing 节点。
• 不要把相同的信息发到不同的节点
这是一个创建于 4191 天前的主题，其中的信息可能已经有所发展或是发生改变。
请问各位大牛，有如下爬虫需求外包，请问一般开价几何？有兴趣的请联系我。 谢谢。
针对类似如下网站，http://app.zjepb.gov.cn:8089/nbjcsj/
1. 按照规定的数据库表的格式，将基础数据和每小时的实时数据内容爬取下来存入数据库,其中初始阶段应将所有可能的历史数据保存。
算法要求：
1，从之前向现在的时间取爬取，这样如果因为网络等原因断开后，再次开始时，能自动从更早的时间点开始爬取。
2. 如果超时，至少要有3次重试。再超时，或者发生错误时，能发送邮件给指定人。
2. 性能：内存不能超过300M， CPU使用率不能超过30%。
3. 数据库：已设计好，使用postgresql.
4. 做成可以用cron调用的命令，比如ruby或者node.js的可以执行的命令。
针对类似如下网站，http://app.zjepb.gov.cn:8089/nbjcsj/
1. 按照规定的数据库表的格式，将基础数据和每小时的实时数据内容爬取下来存入数据库,其中初始阶段应将所有可能的历史数据保存。
算法要求：
1，从之前向现在的时间取爬取，这样如果因为网络等原因断开后，再次开始时，能自动从更早的时间点开始爬取。
2. 如果超时，至少要有3次重试。再超时，或者发生错误时，能发送邮件给指定人。
2. 性能：内存不能超过300M， CPU使用率不能超过30%。
3. 数据库：已设计好，使用postgresql.
4. 做成可以用cron调用的命令，比如ruby或者node.js的可以执行的命令。
第 1 条附言 · 2014 年 12 月 19 日
寻长期兼职爬虫，最好python。懂postgresql和celery者优先。
 |
1
rrfeng 2014 年 7 月 30 日
怎么从『更早的时间』开始爬？
|
 |
2
icedx 2014 年 7 月 30 日
大约半狗
|
 |
3
faceair 2014 年 7 月 30 日
爬虫用node写不错
|
 |
4
macken 2014 年 7 月 30 日 via Android
这个爬虫需求不难，这个网站貌似很脆弱的样子，要注意别把对方的网站爬瘫，技术用啥实现都可以吧，crontab都可以调用
|
 |
5
cdwyd 2014 年 7 月 30 日
第二页还有往后的数据是根据首页的referer参数返回数据的？怎么会有这样的设计
|
 |
6
d0o0g 2014 年 7 月 30 日
专注爬虫定制服务三十年！经验丰富！
政府网站各种奇葩！ 楼主的目标网站，响应很慢，不过也就十六页记录。 所以程序写起来不会太难，用python脚本实现，轻松搞定。 |
 |
7
ultimate010 2014 年 7 月 31 日
搞定不难，价位多少？
|
 |
8
no13bus 2014 年 7 月 31 日
恩。楼主给你163邮箱里面发了封邮件，你看看。可以的话联系邮件中的qq。
|
 |
9
RangerWolf 2014 年 7 月 31 日
你们是不是已经把这个网站搞瘫痪了？完全打不开啊~ 哈哈
|
 |
10
chevalier 2014 年 7 月 31 日
我可以做，原来做过半年的Python爬虫工作
|
 |
11
baigreen 2014 年 7 月 31 日
so easy~
小伙伴们上。。 |
 |
12
guosunpeng 2014 年 7 月 31 日
为什么我想起了shadowprotect的增量备份
|
 |
13
chang888 2014 年 8 月 4 日
可以用node来做，不难实现。
|
 |
16
rubylove OP 现在需要扩大规模，爬取更多省份数据，如果还有兴趣的兄弟们，请联系我。 QQ:18028206
|
 |
18
yongjiu236z 2016 年 12 月 11 日
|
Select Language