想请教一下数据存储的选择

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 1402 天前的主题，其中的信息可能已经有所发展或是发生改变。

需求描述:
日增数据量百万+，目前采用的是 hbase+hive，但是 hbase 服务端的 rpc 很不稳定，所以考虑换一个存储，所以想请教一下有没有更优的存储方式，应用场景为写多读少

Hbase

存储

请教

RPC

8 条回复 • 2021-01-25 11:59:46 +08:00

foxyier

2021-01-22 17:53:51 +08:00

补充一下: 数据字段不固定，所以会建几十或上百张 table，且有自动根据数据构建 table 的需求

laminux29

2021-01-22 18:00:00 +08:00

别急着换方案，先想办法调试一下，找一下不稳定的原因在哪。假设问题是硬件有瓶颈，那么换软件是无法解决问题的。

之前就看到过类似案例，数据库有延迟，优化、换数据库都解决不了。后来有大佬进行整体分析，发现瓶颈在存储上，把 ssd 从 1 个增加到 3 个，组了 raid 0，问题解决。

misaka19000

2021-01-22 18:02:48 +08:00

不是应该想着解决 rpc 不稳定的问题？

foxyier

2021-01-22 18:08:01 +08:00

@laminux29
@misaka19000
第一反应想的就是跟 hbase 的服务端沟通 rpc 不稳定的问题，但最后的结果仍是不稳定，所以考虑换存储可能一劳永逸

TimePPT

2021-01-22 18:32:46 +08:00 via Android

实时数据处理试下用 Flink ？

GGGG430

2021-01-22 18:47:07 +08:00

mysql 也行吧，我这 mysql 日增长 2000w，每天吧数据同步到 hive，dt 日期分区，然后清空一次 mysql

neoblackcap

2021-01-23 00:37:00 +08:00

RPC 不稳定能不能通过重试来解决？如果可以的话，通过分批写入，同时增加重试机制是不是改动成本会更低一点？
换存储看似简单，但是你要考虑跟你们现有的技术栈合不合适

foxyier

2021-01-25 11:59:46 +08:00

@neoblackcap 重试是有的，但是重试次数设置多了就会造成严重的数据堆积。