基于 python 写的一个 google 的爬虫

解析器用的是beautifulsoup，框架是Django，数据库mysql。爬虫的数据会放到数据库，所以对磁盘IO有要求，不过就我一个人用，峰值很低很低，所以一直想看看云盘承受能力，内存使用情况其实也很感兴趣。中午在程序员节点发个贴（12点发的），考虑到V2的强大，做好了down机随时重启VPS的准备，一直等到12点半才来一个访问者，后来干脆去吃饭了（公司12点开饭），吃完回来一看有了7,8个人访问了，一看V2,帖子沉了，应该我发了网址，V2把帖子当成软广告了，我是希望有人能够回复，做的怎么样，哪里不行，什么水平，可以怎么改进，哪怕是一句“这也好意思放到V2”我都能接受，所以选在大家下班之后的这个点厚着脸皮再发一次，看能不能有大牛评价下，发现什么bug或者黑掉我的主机（可能是我想多了）之类的，网址是googlebridge.com，求重踩...

第 1 条附言 · 2015-08-04 23:06:11 +08:00

明天要上班，我先睡了。目前的情况汇报下，内存上升到62%，CPU上升10%。我叫googlebridge，我在V2等你（回复）~

爬虫

数据库

12点

28 条回复 • 2015-09-05 17:26:50 +08:00

limuxy

2015-08-04 23:09:42 +08:00 via Android

为什么要存进数据库啊会经常搜索同样的关键词？ #我是来消灭零回复的#

anexplore

2015-08-04 23:16:09 +08:00

google会封你不

Fing

2015-08-04 23:21:27 +08:00

@limuxy 刚做出来的时候不放，后来由于国内要备案，而且做这个站的目的很单纯，所以我选择要过滤一批数据，用数据库过滤，感觉跟栈的概念差不多，先放进去再拿出来~

Fing

2015-08-04 23:22:23 +08:00

@anexplore 我能用阿里云爬，我就能让他封不了。

est

2015-08-04 23:25:42 +08:00

@Fing 如何做到的？阿里云出口IP是动态的？

Fing

2015-08-04 23:27:12 +08:00

@est 我技术很菜，但我还是想保持一点神秘感~

anexplore

2015-08-04 23:27:19 +08:00

@Fing 代理ip？

Fing

2015-08-04 23:28:21 +08:00

@anexplore bingo

zhicheng

2015-08-04 23:30:10 +08:00

我写过一个 es + crawler ，基本可以实现一个简单的 Search Engine 了，可以爬指定站，各位小伙伴有兴趣吗？

limuxy

2015-08-04 23:35:18 +08:00 via Android

@Fing 直接在内存里处理不是比较快么写进去再读出来很影响性能吧
话说为了能备案也不容易还得自我审查啊

2015-08-04 23:35:44 +08:00 via Android

@zhicheng 有

Fing

2015-08-05 09:11:18 +08:00

@limuxy 我也跟你有同样的想法，所以我才想到到V2发贴，多一点访问我好在后台看状态。然后目前的情况就是：
1,服务器负载很小，做这些读写操作不会影响到服务器的运行。
2,内存处理跟这种读写的方式也许会有延时，不过是ms为单位，而这个站点主要做的是抓取google国外站，抓取分析可能要2-6秒，所以后者是s为单位，所以前者的ms级别对于这个站点就微乎其微了。而且对于常用关键词放到数据库反而是个缓存，这是我目前的想法。