V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
anonymoustian
V2EX  ›  Redis

Redis 集群模式可以使用 redis-cli --pipe 导入数据吗?

  •  
  •   anonymoustian · 2018-03-11 22:00:46 +08:00 · 5863 次点击
    这是一个创建于 2435 天前的主题,其中的信息可能已经有所发展或是发生改变。

    之前 Redis 单机节点,我将要插入的 redis 的数据编辑为命令,写入 txt 文本文件里。然后调用

    cat data.txt | redis-cli --pipe

    批量向 redis 中插入数据。

    但是现在我换成集群方案了(redis 4.0),六台服务器,三主三从,我这里还是有很多数据要等待批量写入。请问这种情况下批量写入应该有什么方案呢?

    6 条回复    2018-08-17 15:32:32 +08:00
    anonymoustian
        1
    anonymoustian  
    OP
       2018-03-11 22:53:10 +08:00
    都收藏,没有人回答么。。。
    yuqaf
        2
    yuqaf  
       2018-03-11 23:04:15 +08:00
    从原理上来说就是不能。。。每次插入的数据都有可能在不同的机器上,如果放到一个连接里头。。。
    Immortal
        3
    Immortal  
       2018-03-12 01:30:13 +08:00
    不知道把批量处理的数据分成 /n 段,从三主同时写会不会快一些,一下子也没想到特别好的方案
    ETiV
        4
    ETiV  
       2018-03-12 06:07:48 +08:00 via iPhone
    github.com/eleme/corvus

    前面搭个这个,往它监听的端口里面导
    etc
        5
    etc  
       2018-03-12 08:35:07 +08:00 via iPhone
    唯品会有个开源的 redis 集群导数据工具,你去 github 找下 vipshop 下面,我用过还不错
    leriou
        6
    leriou  
       2018-08-17 15:32:32 +08:00
    我们之前遇到过, 写了个工具, 自己通过 crc 计算落到的数据槽, 将同一个机器上的键使用 pipline
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2742 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 07:51 · PVG 15:51 · LAX 23:51 · JFK 02:51
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.