V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
szq8014
V2EX  ›  程序员

求助,关于 Ceph 与 HBase 存储图片方案的对比

  •  
  •   szq8014 · 2019-03-29 14:39:49 +08:00 · 3332 次点击
    这是一个创建于 2065 天前的主题,其中的信息可能已经有所发展或是发生改变。

    限制要求

    最近在测试对比海量图片存储的方案,先说一下限制要求:

    1. 是给定 路径和图片 存下来, 后期需要根据给定路径去提取图片。
    2. 图片大小是 300~700K
    3. 每日图片量大约在 2000W+,存储占用约 7T。

    当前选了两个方案

    1. HBase(K-V)。测试发现中后期数据量变大后, split 略频繁有时还会出错导致节点挂掉。
    2. Ceph。使用 Ceph 的分布式存储提供 块存储 服务,然后将块挂载到 xfs 文件系统中,然后将文件写入文件系统即可。

    测试结果

    最近部署了这两套系统后对比测试,发现 HBase 的图片加载平均用时 200ms, 而 Ceph 的平均加载用时在 300~1000ms 波动较明显

    相关问题

    请问有没有搞过图片存储的大神给提下意见建议,上面 Ceph 300~1000ms 的用时是否正常,或者有没有更好的方案可以用?

    谢谢!

    8 条回复    2019-03-29 16:00:32 +08:00
    AnyISalIn
        1
    AnyISalIn  
       2019-03-29 15:05:09 +08:00 via iPhone
    为什么不用 ceph 的对象存储
    szq8014
        2
    szq8014  
    OP
       2019-03-29 15:14:12 +08:00
    @AnyISalIn Ceph 对象存储没了解过,请问这个对象存储适合什么场景?和 HBase 一样 k-v 一直存就可以了吗?现在正在补看这一块的文档
    AnyISalIn
        3
    AnyISalIn  
       2019-03-29 15:17:18 +08:00
    @szq8014 #2 比较适合少写多读的场景
    szq8014
        4
    szq8014  
    OP
       2019-03-29 15:23:12 +08:00
    @AnyISalIn 那看起来不太满足需求,目前需求是一天 2000w+的写,每张图片得读 2 次+。。
    lyzgeorge
        5
    lyzgeorge  
       2019-03-29 15:27:16 +08:00
    same suggestion 可以尝试一下 ceph 对象存储。

    如果愿意上云,来试试腾讯云 COS ?
    Mirana
        6
    Mirana  
       2019-03-29 15:50:04 +08:00
    TFS 或者 SeaweedFS 这种专门为小文件优化的文件系统,要不这么多文件的元数据要爆炸了
    vmskipper
        7
    vmskipper  
       2019-03-29 15:58:06 +08:00   ❤️ 1
    元数据 hbase 流数据 oss 每天一亿的量
    hujianxin
        8
    hujianxin  
       2019-03-29 16:00:32 +08:00   ❤️ 1
    这种情况就是对象存储,存文件系统和数据库都是不对的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2354 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 15:54 · PVG 23:54 · LAX 07:54 · JFK 10:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.