V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
metaluo
V2EX  ›  推广

基于对象存储构建数据库、消息系统等基础软件已经成为一种新趋势了吗?

  •  3
     
  •   metaluo · 252 天前 · 1946 次点击
    这是一个创建于 252 天前的主题,其中的信息可能已经有所发展或是发生改变。

    消息系统

    • Confluent: 兑现了 Kafka KIP-405 的分层存储能力,将大量数据存储到 S3 来缓解其数据复制的压力和降低存储成本。
    • WarpStream: 闭源产品,兼容 Kafka API 的一个 Kafka 替代品,完全将 S3 上作为主存储。
    • Redpanda: 开源产品,可以看作是 Kafka 的一个 rust 实现版本,存储层也实现了和 Confluent 类似的分层存储来降本。
    • AutoMQ: 国人的开源产品,对 Kafka 底层存储做重新改造实现了一个存算分离的 Kafka 。底层也依赖对象存储作为主存储来进行降本。
    • Pulsar: 国人的开源产品。前面的都算 Kafka 生态的,这个属于自建生态。主打一个存算分离,也支持将数据卸载给对象存储来降本。
    • RocketMQ: 国人开源产品,在阿里在线业务大面积应用而发扬光大。5.x 冷热分离后也实现了类似 Kafka 的二级存储,冷数据可以利用对象存储降本。

    数据库

    • Snowflake: 应该是云原生基础软件的标杆产品,算是最早开始充分挖掘对象存储无限容量、弹性、低成本潜力的企业了
    • TiDB: 23 年开始应该也是洞悉到了这个趋势,后来推出了基于 S3 对象存储的 TiDB Serverless

    其他还有很多软件,你看他们软件迭代的 roadmap ,基于都可以观察到,对象存储重塑基础软件似乎已经成为了一个潮流。不过仔细想想,这也合理,对象存储提供了太多优异的特质了:

    • 无限的存储容量:无限扩展的容量
    • 近乎无限的吞吐:几十 GB/s 的吞吐(不够可以找云厂商再开 limit )
    • 极致弹性,pay-as-you-go: 按照 API 、实际存储容量来按需收费。用多少花多少钱
    • 内建免费的跨 zone 多副本容灾:内建可用区容灾的能力,而且免流量费。基于对象存储构建具备跨可用区容灾能力的应用将会非常轻松。
    • 极低的存储存本:相比其提供的技术能力来看,其存储成本非常低,比 SSD 有一个数量级的成本优势

    大家怎么看?

    12 条回复    2024-03-15 14:46:07 +08:00
    xbo586
        1
    xbo586  
       252 天前
    其实主要还是为了适应 Serverless 的趋势,上云降本增效。
    yjhatfdu2
        2
    yjhatfdu2  
       252 天前
    云场景、实时性要求不高的场景有成本和灵活性优势,非云场景或者实时性要求高的场景就不适合了
    metaluo
        3
    metaluo  
    OP
       252 天前
    @xbo586 是的,本质是对象存储是一个非常好的弹性基础存储设施。不过云下也不是不能做,自己用 minio 这类开源对象存储解决方案成本也比使用 ssd 低廉的多。
    metaluo
        4
    metaluo  
    OP
       252 天前
    @yjhatfdu2 实时性要求高可以配合小容量的云盘来做软件设计呀。小容量的 SSD (小于 10GB )每个月就几十块,automq 就是这么干的。非云场景本质和云是一样的,只不过是私有云,没有云规模化的技术红了和成本优势。自建机房自己配 minio+ssd 也一样的。
    zhouxinyu
        5
    zhouxinyu  
       252 天前
    我再补充两个有意思的项目:
    zhouxinyu
        6
    zhouxinyu  
       252 天前
    我再补充两个有意思的项目:
    1. neon: https://github.com/neondatabase/neon
    2. dolt: https://github.com/dolthub/dolt

    里面基于对象存储做了很多数据共享方面的产品创新。云计算聚集了超大的规模,“无限容量”的低成本对象存储将成为数据密集型软件的唯一选择,同时基于共享存储的各类数据互通,格式互认,甚至完全的 Zero ETL 都正在发生。
    adoal
        7
    adoal  
       252 天前
    把软件架构里部非随机、非高密读写的存储功能放到对象存储,大概是最具有可操作性的云原生化了。
    adoal
        8
    adoal  
       252 天前
    一个软件系统里真需要高频随机读写,不能日志化的操作,其实不会很多的。
    metaluo
        9
    metaluo  
    OP
       252 天前
    补充下:redpanda 是 C++写的,不是 rust ,上面写的有误更正下
    CEBBCAT
        10
    CEBBCAT  
       252 天前
    @Livid 疑似 spam/SEO ,楼主个人主页强 AutoMQ 相关,automq.com 看到提供商业服务。同时 AutoMQ 在本站有多个相关账号疑似都在 spam:

    @wan0573 /t/1009957 /t/1016260 /t/1021131
    @zhouxinyu /t/1012517 /t/1011144
    @AutoMQ /t/1013691

    以上列举 topic 均不在“推广”等分区,以云计算/程序员居多
    zhouxinyu
        11
    zhouxinyu  
       251 天前
    @CEBBCAT 很抱歉,我们后面加上利益相关的说明。另外就是,AutoMQ 的代码是开源的,而且我们主要是在 V2EX 上输出一些云原生的技术观点,跟大家交流,我不认为这算是「 spam 」。cc @Livid
    Livid
        12
    Livid  
    MOD
       251 天前
    @zhouxinyu 请发到 /go/promotions 节点

    https://www.v2ex.com/help/node

    这个主题现在已经被移动。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   994 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 19:50 · PVG 03:50 · LAX 11:50 · JFK 14:50
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.