这是一个创建于 1159 天前的主题，其中的信息可能已经有所发展或是发生改变。
看了官方文档，官方文档提成反规范化设计，并且提供了 4 种方式，最简单不影响性能的就是把有关系的数据掰成扁平化，目前我们系统做了一个自定义字段，考虑数据量大而且前端要做复杂筛选条件，上了 es，存数据时同时操作了 es 和 mysql，查询全部采用 es
插入的时候把自定义和系统字段全部掰成了一份文档储存，那么字段数据更新的时候该怎么办呢，或者有什么更雅的方案嘛，有做个的大佬麻烦给点意见，第一次使用 es
 |
1
theOneMe 2021-09-10 11:40:02 +08:00
binlog
|
 |
3
kidlj 2021-09-10 12:15:01 +08:00 via iPhone
cdc debezium kafka
|
 |
4
strawberryBug 2021-09-10 12:48:38 +08:00
看你 es 和 mysql 存储的数据结构是否一致？ es 不好做 join 查询，多表写入一个索引这种需求的话还是选用传统的方式更好扩展些，即推送更新到 mq，消费 mq 写入 es(全更新 or 部分更新)。 单表对单索引这种，canal，logstash 都行
|
 |
5
jabari 2021-09-10 12:54:29 +08:00
Change Data Capture (CDC) canal kafka
|
 |
6
gBurnX 2021-09-10 13:18:04 +08:00
你都没说你的业务需求，一上来就问怎么用工具？
|
 |
7
misaka19000 2021-09-10 13:50:06 +08:00
这不简单，插入和更新都走同一套数据格式处理逻辑不就行了
|
 |
8
ElmerZhang 2021-09-10 13:57:51 +08:00
https://github.com/alibaba/canal
要保证数据一致性，这基本是最优解 |
 |
9
swcat 2021-09-10 14:31:12 +08:00
go-mysql-transfer -> 使用 lua 写同步逻辑
|
 |
10
wangxin13g 2021-09-10 17:41:05 +08:00
想说 canal 的 然后看了下发现有人发了
|
 |
11
changdy 2021-09-10 19:18:45 +08:00
debezium 😎
|
 |
12
WriteCloser 2021-09-11 01:52:29 +08:00  1
1. 阿里云 DTS 订阅 binlog 同步
2. 实时性要求不高并且数据量不大可以每天跑下全量 |
Select Language