这是一个创建于 4674 天前的主题，其中的信息可能已经有所发展或是发生改变。
之前没想过把他做成产品只是按照自己的实际需求做，断断续续用业余时间做了快两年，为了完成这个项目在去年12月断然离职到现在全职做了4个月，
现在总算是可以晒出来给大家用用了。
他是一款WEB版的通用型网页数据采集工具，我叫他鸟巢采集器。
鸟巢采集器拥有强大的内容采集和数据过滤功能，基于JAVA语言开发，是平台无关的可以在任何系统上运行。
鸟巢采集器分WEB端和后端应用，WEB端不干预后端应用的逻辑只为后端应用提供可视化的操作界面，后端应用完全由用户部署管理，包含“采集器应用”、“爬虫池应用”、“爬虫应用”。
通过WEB端对后端应用的接入，可以对后端应用进行可视化管理。
鸟巢采集器访问地址:
http://www.newcrawler.com/
鸟巢采集器能做些什么：
采集数据、博客迁移、友情链接检查、定向采集实现垂直搜索 等等。
鸟巢采集器相比其它采集器的优势：
1、平台无关，可以在任何系统上运行如：Linux、Windows ...
2、可以运行在云环境 PAAS 平台上如：Google App Engine 、Sina App Engine 、AppFog ...
3、Raspberry Pi 也是支持的。
4、提供四种插件，让鸟巢采集器可以满足更多更复杂的需求。
5、可以将采集到的数据以文本或附件的形式发布到指定的邮箱，如推送资讯到Kindle。
6、使用WEB的管理方式，可以在任何终端上操作。
总之最大的优势是WEB版平台无关，其它核心功能也都有。
目前唯一一个在用鸟巢采集器抓取数据的网站：
http://www.shishibi.com/
如果您只想看看效果请使用下面的账号密码登录
test
test
如果您想试用请留下邮箱，我将给您发送邀请码
PS: 正式版发布后会考虑收费但肯定会至少有1个月的试用期，试用期过后后端应用还是可以正常使用的，只是不可以通过WEB端进行可视化管理，对于邀请注册的用户在正式版发布后至少可以多免费使用1年。
提前声明英文版还没找专业人士翻译目前是直接GOOGLE的。
鸟巢采集器还有一个爬虫分享计划，试想一下每抓取一个页面换一个IP是不是很爽呢，只是目前尚未启动 ^^
现在总算是可以晒出来给大家用用了。
他是一款WEB版的通用型网页数据采集工具，我叫他鸟巢采集器。
鸟巢采集器拥有强大的内容采集和数据过滤功能，基于JAVA语言开发，是平台无关的可以在任何系统上运行。
鸟巢采集器分WEB端和后端应用，WEB端不干预后端应用的逻辑只为后端应用提供可视化的操作界面，后端应用完全由用户部署管理，包含“采集器应用”、“爬虫池应用”、“爬虫应用”。
通过WEB端对后端应用的接入，可以对后端应用进行可视化管理。
鸟巢采集器访问地址:
http://www.newcrawler.com/
鸟巢采集器能做些什么：
采集数据、博客迁移、友情链接检查、定向采集实现垂直搜索 等等。
鸟巢采集器相比其它采集器的优势：
1、平台无关，可以在任何系统上运行如：Linux、Windows ...
2、可以运行在云环境 PAAS 平台上如：Google App Engine 、Sina App Engine 、AppFog ...
3、Raspberry Pi 也是支持的。
4、提供四种插件，让鸟巢采集器可以满足更多更复杂的需求。
5、可以将采集到的数据以文本或附件的形式发布到指定的邮箱，如推送资讯到Kindle。
6、使用WEB的管理方式，可以在任何终端上操作。
总之最大的优势是WEB版平台无关，其它核心功能也都有。
目前唯一一个在用鸟巢采集器抓取数据的网站：
http://www.shishibi.com/
如果您只想看看效果请使用下面的账号密码登录
test
test
如果您想试用请留下邮箱，我将给您发送邀请码
PS: 正式版发布后会考虑收费但肯定会至少有1个月的试用期，试用期过后后端应用还是可以正常使用的，只是不可以通过WEB端进行可视化管理，对于邀请注册的用户在正式版发布后至少可以多免费使用1年。
提前声明英文版还没找专业人士翻译目前是直接GOOGLE的。
鸟巢采集器还有一个爬虫分享计划，试想一下每抓取一个页面换一个IP是不是很爽呢，只是目前尚未启动 ^^
第 1 条附言 · 2013 年 4 月 9 日
不知道有没有人发布应用，附上安装说明
1.下载GAE发布工具 “windows-gae-deploy-tools.zip” 与采集器应用包 “soso-crawler-gae.zip”
http://pan.baidu.com/share/link?shareid=359591&uk=539995500
http://pan.baidu.com/share/link?shareid=366793&uk=539995500
2.解压 windows-gae-deploy-tools.zip
解压 soso-crawler-gae.zip 到发布工具的war目录，war目录结构如下:
-war
-WEB-INF
-index.html
-favicon.ico
....
2.修改project-app-deploy.xml配置文件，
your.gae.app.id #Google App Engine 的App Id
your.gae.account #Google App Engine 的账户
your.gae.account.password #Google App Engine 的账户密码
3.双击运行 deploy.bat 进行发布
4.发布成功后接入你的采集器应用到WEB端
登录newcrawler.com在
系统设置 > 采集器管理
填上你的刚刚发布的应用地址和名称点添加，成功后你就可以在WEB端管理你的采集器应用了
1.下载GAE发布工具 “windows-gae-deploy-tools.zip” 与采集器应用包 “soso-crawler-gae.zip”
http://pan.baidu.com/share/link?shareid=359591&uk=539995500
http://pan.baidu.com/share/link?shareid=366793&uk=539995500
2.解压 windows-gae-deploy-tools.zip
解压 soso-crawler-gae.zip 到发布工具的war目录，war目录结构如下:
-war
-WEB-INF
-index.html
-favicon.ico
....
2.修改project-app-deploy.xml配置文件，
your.gae.app.id #Google App Engine 的App Id
your.gae.account #Google App Engine 的账户
your.gae.account.password #Google App Engine 的账户密码
3.双击运行 deploy.bat 进行发布
4.发布成功后接入你的采集器应用到WEB端
登录newcrawler.com在
系统设置 > 采集器管理
填上你的刚刚发布的应用地址和名称点添加，成功后你就可以在WEB端管理你的采集器应用了
第 2 条附言 · 2013 年 4 月 9 日
还需要注意的一点，GAE应用需要Datastore Indexes创建好之后才能使用，大家可以在GAE的控制台查看Datastore Indexes 状态
谢谢刚刚反馈的用户。
谢谢刚刚反馈的用户。
 |
101
flank 2013 年 4 月 12 日
看起来很不错的
|
 |
102
flashack 2013 年 4 月 13 日
演示站是没放开爬？我看才2w多数据
|
 |
104
dotbuddle 2013 年 4 月 14 日
谢谢楼主！
dotbuddle 在鸡媚儿 我这登录你的后台好慢。 |
 |
105
jezal 2013 年 4 月 14 日
|
 |
109
hengxin196 2013 年 4 月 20 日
|
 |
110
CoderGeek 2013 年 4 月 25 日
[email protected] 求邀请码！
|
 |
111
fixture 2013 年 4 月 26 日
|
 |
112
yeshang 2013 年 4 月 26 日
非常棒的东西, 服务器采集的好处就是更快. 求邀请 0o (AT) outlook.com
|
 |
113
chunshuai 2013 年 4 月 28 日
|
 |
114
shunai 2013 年 4 月 28 日
379527241（at）马化腾
|
 |
117
winterx 2013 年 4 月 28 日
我也求一个码~~~
winterx # vip.qq.com |
 |
118
wenjuncool 2013 年 4 月 28 日
求邀请码，邮箱:[email protected]
|
 |
120
Geass 2013 年 5 月 1 日
|
 |
121
G2bN4dbX9J3ncp0r 2013 年 5 月 1 日
|
 |
122
xiaoyao 2013 年 5 月 3 日
[email protected]
十分感谢~ |
 |
123
boangs 2013 年 5 月 3 日
|
|
124
xiaoyao 2013 年 5 月 4 日
添加应用时出现
错误: Status code:404 |
 |
125
leehomsf 2013 年 5 月 4 日
leehomsf#gmail.com谢谢
|
 |
126
1dian01 2013 年 5 月 5 日
@sohoer 有个网站开发的项目不知道是否有空帮忙 http://www.v2ex.com/t/67755#reply8
|
 |
128
newsentry 2013 年 5 月 6 日
求邀请码 [email protected]
|
 |
129
blueshark 2013 年 5 月 6 日
求邀请码riskstar#163.com谢谢
|
 |
131
Rei 2013 年 5 月 9 日
登陆后的页面是NOT FOUND
|
 |
133
mantianyu 2013 年 5 月 11 日
UI 也是自己做的嘛？
|
 |
136
solo7net 2013 年 5 月 28 日
密码忘了~~~
注册邮箱也不记得是哪个了... |
 |
138
orzcc 2013 年 6 月 3 日
如果实际应用的话，会有以下几个功能需求必须解决：
1. 代理自动换ip 2. OCR 3. cookie 4. 采集中目标站点页面规则变化后的报警机制。 …… 随便说几个～呵呵 |
 |
139
sohoer OP @orzcc 是的说得很中肯，
1.代理自动换IP只能靠插件实现，因为GAE不可能实现代理。 2.OCR也需要使用插件或接口，目前我自己就实现了简单的价格图片识别 3.COOKIE不是问题目前就可以模拟登录 4.在网址检测中有一个使用站点规则检测，当没有匹配到数据时会认为规则失效可以发送邮件通知 |
|
140
orzcc 2013 年 6 月 4 日
@sohoer 这类工具我倒是挺需要的，但是我希望最好是php的，这样子有一些特殊脚本自己也可以二次开发和构造。等楼主这个工具成熟了以后倒是可以考虑合作下，再做一个php的版本。
|
 |
145
UG1u8zhQxhvqXNrk 2014 年 1 月 13 日
@sohoer 您好，我是javaer一枚。热诚于技术，三年java开发经验。之前在北京做了两年java，主要是开发 www.secoo.com 这个电商网站。于13年5月份到现在在华新水泥以外派的形式做java开发，想在年后找一个创业团队，主要私心是为了提升技术。看到你在v2上面留言说明年打算在武汉组团需要java成员，同时看到你的《鸟巢采集器》项目，不明觉厉，所以很希望成为你年后团队的一员。
在武汉工作期间项目给的时间都很充裕，所以有很多时间去学习。我现在在投入时间写一个小型的java web框架，也花时间学习python。但是一直没有去做过爬虫，如果你对我有意的话，我会从现在开始投入时间去学习爬虫以不至于参加你的团队后为你拖后腿。 写这么多其实无非是想给您留个联系方式，希望能收纳：qq:327075297 gmai:burgleaf[AT]gamil.com |
 |
146
TONYHEAD 2014 年 9 月 11 日
这个网站已经终止了吗？
|
 |
148
disidea 2015 年 4 月 14 日
[email protected] 求邀请码！
|
Select Language