这是一个创建于 1657 天前的主题，其中的信息可能已经有所发展或是发生改变。
logstash 同步 mysql 增量数据到 elasticsearch，除了把 mysql 的主键 id 赋值给 index.document_id 外，有没有其它办法避免数据重复的问题。
如果只有这种办法，那 mysql 的自增 id，对于 es 的文档索引效率等有什么影响吗？
如果只有这种办法，那 mysql 的自增 id，对于 es 的文档索引效率等有什么影响吗？
 |
1
Navee 2020-05-13 14:59:05 +08:00
新增文档赋值 id 的话写入会非常的慢，但也只有这一种办法能完全避免重复数据了
还有一种不靠谱的方式是自己写一个同步程序，记录每次同步的最新 id，一定程度上能避免重复 |
Select Language