这是一个创建于 3068 天前的主题，其中的信息可能已经有所发展或是发生改变。
有一个需求将 mongodb 的数据增量同步到 ES 里面，用 mongo-connector 各种崩溃，数据无法同步完全，有什么方案可以更稳定的同步吗？
 |
1
Yuansir 2017 年 8 月 18 日
|
 |
2
SlipStupig OP @Yuansir ES 5.x Unsupport
|
 |
3
Morriaty 2017 年 8 月 18 日
崩溃指什么？
|
|
4
SlipStupig OP @Morriaty 老是出现一些莫名奇妙的错误，比如：有重复记录它就会退出，然后重新启动之后依然提示有重复记录
|
|
5
Morriaty 2017 年 8 月 18 日
不是有 ignore error 的参数吗，还有，重复记录，应该是可以配置 upsert 的吧
|
 |
6
bengle 2017 年 8 月 18 日
mongodb 数据打到 kafka，kafka 再往 ES 打
|
 |
7
fzinfz 2017 年 8 月 18 日 via iPad  1
https://github.com/phutchins/logstash-input-mongodb
没用过，不过作为一款插件应该比较稳定吧 |
 |
8
finull 2017 年 8 月 18 日
river 现在都不支持了，现在就是 logstash
官方支持吧 |
|
9
SlipStupig OP |
 |
10
hcymk2 2017 年 8 月 18 日
|
|
11
SlipStupig OP @hcymk2 那我怎么把数据从 mongo 弄到 kafka 呢？
|
 |
12
scriptB0y 2017 年 8 月 18 日
写个程序一条一条 post 不行吗？
|
 |
13
rayingecho 2017 年 8 月 18 日
楼上已经有大佬说了 Confluent Plantform，我来补充一个 Connector：
Debezium http://debezium.io/docs/connectors/mongodb/ 实时抓取数据源变更到 Kafka，支持 MySQL, PostgreSQL, Mongo |
 |
14
sxw11 2017 年 8 月 18 日 1
今天刚搞完 NLog->Redis->ELK 的日志系统
楼主可以用 https://github.com/phutchins/logstash-input-mongodb 搭配 logstash 配置很简单 |
 |
15
qiyuey 2017 年 8 月 18 日
MySQL 的同步方案是：binlog -> databus -> kafka -> es
|
 |
16
popbones 2017 年 8 月 18 日 via iPhone
前阵子也有类似需求，懒得研究 mongoconnector，最后用 golong rachet 写了一个，读取和写入都很简单，主要是写写 transformation
|
 |
17
mengskysama 2017 年 8 月 18 日 1
完全可以自己造，这个代码不会超过 50 行，从 mgo 取数据_bulk 往 es 里面塞就行了，另 logstash 性能是几个采集工具性能最糟糕的，现在新的系统基本上都是 fluentd。
|
Select Language