求教,海量图片存储方案

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 4247 天前的主题，其中的信息可能已经有所发展或是发生改变。

现有几千万的图片,单个文件大概是100-200K左右.
假设不使用第三方云存储,并且单机解决.
有什么现在的方案比较好?
如果没有,有什么现有库可以在此基础上做二次开发?
如果再没有,我再考虑自己从头开发。

第 1 条附言 · 2013-04-10 13:54:40 +08:00

需要访问。和普通网站的图片服务器类似。只是说需要单机去解决。并且效率要高。不想直接用文件系统分层去管理。直接用文件系统的话效率上不会太好。

9 条回复 • 1970-01-01 08:00:00 +08:00

markmx

2013-04-09 18:03:02 +08:00

简单的不考虑同步备份机制，
让图片和网站分离开，就可以了，做很多个类似
img01.xxx.com（图片服务器1）
img02.xxx.com（图片服务器2）
img03.xxx.com（图片服务器1）
然后把图片随机传给这些地方。

Wy4q3489O1z996QO

2013-04-09 18:10:00 +08:00

貌似没说清楚具体的应用场景，单纯的存储 or 需要web访问需不需要防盗链....
And 预算情况

glancesx

2013-04-10 09:36:21 +08:00

不知道遇到什么瓶颈了.

Livid

MOD

2013-04-10 09:45:07 +08:00 via iPhone

Riak CS

NemoAlex

2013-04-10 10:15:44 +08:00

就只是存储吗？不需要访问？

darklowly

2013-04-10 13:40:27 +08:00

@romotc
@glancesx
@NemoAlex

需要访问。和普通网站的图片服务器类似。只是说需要单机去解决。并且效率要高。不想直接用文件系统分层去管理。直接用文件系统的话效率上不会太好。

glancesx

2013-04-10 21:24:05 +08:00

1)不是硬性单机的话,tfs性能还挺靠谱.
2)要求效率的话,单机的性能能高到哪里去.

gfreezy

2013-04-10 22:33:45 +08:00

遇到同样的问题了，同问。

nkliwenjian

2013-04-11 01:15:00 +08:00

一个想法，行不通也别怪。挂几个硬盘，不同的分区。图片的存储按照一定的规则存到不同的分区上去。这样并发取的时候几个硬盘就有可能同时运作。还可以考虑图片同时存几个分区上面，然后取的时候根据访问队列做io吞吐均衡。