这是一个创建于 3400 天前的主题，其中的信息可能已经有所发展或是发生改变。
场景：需要对redis中的不同的千万级set集合之间做去重，一直使用sdiff，但是随着数据量的增大，sdiff命令变得越来越不可靠，容易导致cpu过高，导致redis长时间无响应。
目前redis已经做了一致性哈希的分片，16台redis节点集群，每个set集合平均分到16台redis节点上。除了横向扩展，是否有更为高效的去重方案取代redis的sdiff命令？
目前redis已经做了一致性哈希的分片，16台redis节点集群，每个set集合平均分到16台redis节点上。除了横向扩展，是否有更为高效的去重方案取代redis的sdiff命令？
 |
1
kslr 2015-08-02 22:28:44 +08:00
允许有误差么？ 可以看看布隆过滤器 （ 3亿级的数据正在用
|
 |
2
zhicheng 2015-08-02 22:32:53 +08:00  1
允许多大的误差？可以看看 HyperLogLog https://en.wikipedia.org/wiki/HyperLogLog
|
 |
5
jiehuangwei 2015-08-03 17:54:26 +08:00
去重用这个 Bloom Filter
|
 |
6
hktony OP |
Select Language