PHP 爬虫 VS JAVA 爬虫 in 效率

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 3407 天前的主题，其中的信息可能已经有所发展或是发生改变。

单页面抓取毋庸置疑差不多，但涉及大量URL需要访问的时候：JAVA的爬虫框架轻松实现多线程；PHP有框架能够这样吗？不行的话我就得自己写multi_curl....

10 条回复 • 2015-07-19 21:40:50 +08:00

laoyuan

2015-07-19 12:33:19 +08:00

看过一篇百度团队的文档，PHP 的真 multi curl

chengzhoukun

2015-07-19 12:37:29 +08:00 via Android

Python和go很好吧，用协程库

shierji

2015-07-19 13:36:33 +08:00

表示最近要爬google。。。。还要刻意限制速度的说。

wkdhf233

2015-07-19 13:51:18 +08:00

多开几个socket，先把所有请求发完再去处理返回

msg7086

2015-07-19 15:11:41 +08:00

php轻松实现多进程。

haiyang416

2015-07-19 15:48:02 +08:00 via Android

Rolling cURL。

zts1993

2015-07-19 19:47:55 +08:00 via iPhone

python更好。

mahone3297

2015-07-19 20:49:19 +08:00

orvice

2015-07-19 21:17:56 +08:00

多线程还是go写吧。。。

Comdex

2015-07-19 21:40:50 +08:00

golang很妥当