关于目前 V2EX 搜索所用到的软件

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 5672 天前的主题，其中的信息可能已经有所发展或是发生改变。

Index and Search Server:

Tokyo Dystopia http://1978th.net/tokyodystopia/

API Server:

Tornado: http://www.tornadoweb.org/

及用来起到加速目的的 Nginx 和 Memcached。

Server

V2EX

Tornado

18 条回复 • 1970-01-01 08:00:00 +08:00

Livid

MOD

PRO

2010 年 7 月 22 日

Tornado 是一个非常好用的技术。

如果你不方便访问 Tornado 的网站的话，这里是我做的镜像：

http://web.me.com/v2ex.livid/tornado/

Livid

MOD

PRO

2010 年 7 月 22 日

及目前最新 0.2 版本的下载：

http://web.me.com/v2ex.livid/tornado/static/tornado-0.2.tar.gz

gonbo

2010 年 7 月 22 日

呵呵，分词怎么做的？

Livid

MOD

PRO

2010 年 7 月 22 日 via iPhone

N-gram

gonbo

2010 年 7 月 22 日

这个，聊胜于无

gonbo

2010 年 7 月 22 日

当然 search不是社区的主要功能，不提供也可以。呵呵

Kenyth

2010 年 7 月 22 日

跟我之前了解到的全文搜索方案有点不一样。

你的方案应该不全是在GAE上实现的吧？

其他的server是host在什么地方的呢？

Livid

MOD

PRO

2010 年 7 月 22 日 via iPhone

在另一个云里。

Kenyth

2010 年 7 月 22 日

是在Amazon的云里吗？

Kenyth

2010 年 7 月 22 日

还有你的index server是怎么访问这个v2ex的数据的呢，直接开的HTTP的API？这样要达到近似于实时索引应该要用掉不少GAE上的quota吧？

还是你已经开始用Google Storage（没用过这个，不太了解）来访问了？

areless

2010 年 7 月 22 日

sphinx现在有realtime了。

Livid

MOD

PRO

2010 年 7 月 22 日

2.4.0 时这部分通讯代码会开源的。

Kenyth

2010 年 7 月 22 日

可以有的一种方案是：

<ul>
<li>Storage用独立的方案（Google的、Amazon的或者其他的，我总觉得GAE的datastore有性能问题，GAE上quota太容易就用掉了）
<li>处理一个数据变更请求时异步的ping一下索引服务器，索引服务器再去异步的访问storage并建立索引
</ul>

云一出来，跨云的解决方案也一并出来了。

cnleoyang

2010 年 7 月 22 日

@areless 是的，刚刚发布了beta。
@Kenyth Google Storage for developers的速度和流量相当不错，官方提供python版本的库。

Livid

MOD

PRO

2010 年 7 月 22 日 via iPad

一个贴子连上回复通常数据流量是不会超过 10K 的。

lin

2010 年 7 月 23 日

我对这些东西完全不懂，但是刚才无意中看到有一篇叫

full text search on app engine

的东西：

http://www.ultrasaurus.com/sarahblog/2010/06/full-text-search-on-app-engine/

不知道有没有什么价值，先贴上来。

oldgun

2010 年 7 月 24 日

@Livid,这里不必翻墙。

oldgun

2010 年 7 月 24 日

http://www.tornadoweb.org.nyud.net/