这是一个创建于 3878 天前的主题，其中的信息可能已经有所发展或是发生改变。
刚开始和本地数度一样，可是一觉醒来发现只有8w，正常情况下应该有20w以上数据。
我在本地做过测试，可是放服务器上面过一整子速度就会很慢，不知道是什么原因。
我在本地做过测试，可是放服务器上面过一整子速度就会很慢，不知道是什么原因。
 |
1
YouXia 2014-04-11 09:35:12 +08:00  2
1.是否使用了多进程，看看有没有产生僵尸进程。
2.网络带宽。 |
 |
2
mahone3297 2014-04-11 09:54:56 +08:00 1
你是直接抓取？还是会做判断（抓取下来，查询本地有没有，有就update，没有就create）？随着数据越来越多，select会越来越慢。
|
 |
3
ooh OP @YouXia
@mahone3297 1.是用了多线程，每个线程存活周期不超过3秒。 2.带宽这个问题好像不是的，我晚上再回去确认下。 3.我是直接抓起插入，我数据源已经做成唯一的了。 4.同样数据源本地机器和服务器配置差不多，但是，服务器好像上了几w后速度就变得非常慢，前几w都很快。 |
|
4
mahone3297 2014-04-11 13:00:10 +08:00
@ooh 加点log，benchmark，看看到底耗时在哪里吧。。。
|
 |
5
mmoaay 2014-04-11 15:47:21 +08:00
是不是抓取的源拒绝你的访问了，还有就是你用的开源的爬虫么？会不会内部存在阻塞的情况
|
Select Language