亿级订单表要对物流追踪号支持 LIKE %123% 这样的前后缀都模糊查询，现在的 MySQL 查一次要几分钟，必须上 ES 或者 ClickHouse 吗？另外归档数据也要查，有没有办法压缩存储数据

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

第 1 条附言 · 4 天前

这套系统是给其它网店用的 SaaS ，总订单量有几亿条，需求是各店需要能模糊搜索自己店的物流追踪号。各店的订单量不固定，有的店有几千万条，有的店是来测试系统的只有几条
因为用户经常反馈问题的时候是直接扔张截图甚至模糊不清的照片，OCR 也不太好处理，所以需要模糊搜索追踪号

详细细节补充见 /t/1086471

105 条回复 • 2024-11-06 18:22:36 +08:00

1 2

❮

❯

101

laminux29

3 天前

@iseki
你这个例子，假阴性不就出来了：

4 、5 、
1234 、12345 、
2 、23 、2345 、
3 、34 、
4 、
5

这些都缺失。

102

iseki

3 天前 via Android

@laminux29 …你要不自己下载个 pg 试一下
我这个例子只是告诉你 k-gram 是个啥东西，不是说 pg 只会从这几个值里挑一个去找索引。

103

iseki

3 天前 via Android

@dejavuwind 对的，similarity 就是明确的模糊查询，这个 case 显然要求的是精确查询

104

iseki

3 天前 via Android

@laminux29 pg 的实际做法，可以看做（我没读代码，只说等效结果），按 3gram 输出的所有条目去查 gin 索引，对结果 recheck 。这种做法不可能出现漏掉数据的情况。

105

cz5424

2 天前 via iPhone

@julyclyde 我们是这样做的哈哈哈哈

1 2

❮

❯

亿级订单表 要对物流追踪号支持 LIKE %123% 这样的前后缀都模糊查询，现在的 MySQL 查一次要几分钟，必须上 ES 或者 ClickHouse 吗？另外归档数据也要查，有没有办法压缩存储数据

亿级订单表要对物流追踪号支持 LIKE %123% 这样的前后缀都模糊查询，现在的 MySQL 查一次要几分钟，必须上 ES 或者 ClickHouse 吗？另外归档数据也要查，有没有办法压缩存储数据