@hepin1989 赞同！！语言只是工具，真正的牛人用什么都牛。。。吐槽语言垃圾的，我绝的大部分情况是没在合适的场景用合适的语言。。

@yakczh 我们这边做爬虫python java c都用，各有个的好处。论性能还是c > java > python的。用的java的好处就是更迅速便捷的大数据处理工具hadoop，hbase等等

不要黑JAVA了，国内阿里不是用java吗，国外也有很多啊，http://www.quora.com/What-kind-of-companies-use-Java-as-their-primary-language-in-software-development，只有坑的人，没有坑的语言

感觉很多都是讨论web方向的，用java做爬虫的默默飘过。。。

致敬！

我能说我用的百度DNS180.76.76.76 + 114.114.114.114嘛

说java是动态语言的我也是醉了。。。

sort -u src.txt > des.txt 就可以搞定了...

@Lullaby 这是stackoverflow上一个问题，希望可以有帮助
"Unexpected end of file" implies that the remote server accepted and closed the connection without sending a response. It's possible that the remote system is too busy to handle the request, or that there's a network bug that randomly drops connections.

With the information available it's impossible to say what's going wrong. If you have access to the servers in question you can use packet sniffing tools to find what exactly is sent and received, and look at logs to of the server process to see if there are any error messages.

http://stackoverflow.com/questions/19824339/java-simple-code-java-net-socketexception-unexpected-end-of-file-from-server

我看你的url是http://www.test.com/，实际打开是https://www.test.com，排查一下是不是https的问题；换个网站试一试

下面是zookeeper的启动脚本片段；
start)
echo -n "Starting zookeeper ... "
if [ -f "$ZOOPIDFILE" ]; then
if kill -0 `cat "$ZOOPIDFILE"` > /dev/null 2>&1; then
echo $command already running as process `cat "$ZOOPIDFILE"`.
exit 0
fi
fi
nohup "$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root. logger=${ZOO_LOG4J_PROP}" \
-cp "$CLASSPATH" $JVMFLAGS $ZOOMAIN "$ZOOCFG" > "$_ZOO_DAEMON_OUT" 2>&1 < /dev/ null &

没啥必然先后顺序, 我先买的mbp，后入6,买mbp是为了搞开发，只因为用够了ubuntu桌面版

@aa233322aaa
1.解DNS自然就知道网站的IP是什么，而且在不同地狱解析同一个网站的DNS可能还是不一样的；
2.要遵循robots协议；控制频率；也可以控制时间段，比如晚上访问量少的时候爬；被封掉就让频率更小；反爬虫很严格的站点毕竟还是少数；
3.一般一个服务都只有一个外网ip，所以要用多ip自然得多个服务器了。
这些东西多试一试就知道了。。。

@aa233322aaa 搞一个代理失效验证机制，验证通过推送给下载端；下载端动态更新代理；一个站点的dns可能会对应若干个ip，所以要轮转访问站点的若干ip，减小被封的概率；1s或者几秒访问一个站点一次，一般不会被封掉的；

对一个网站，假设100个ip，一个ip 1s一个网页，一天8w，100个ip一天就是800w了。假设N个网站，一个ip一秒100左右（N个网站轮转），那么一天就是800w了，10个ip一天就是8000w了。假设一个网页平均50kB那么每秒流量就是100*50kB= 5MB;多整点代理ip吧

工作日合盖子拿着就走，周末一半关机半天