这是一个创建于 1937 天前的主题，其中的信息可能已经有所发展或是发生改变。
求教给位 V 友一个问题： 现在我们将一份数据写入了 ES，现在有需求将数据写一份进入写入到 hdfs，现在有两种方案
- 在处理数据时，同时写入 es 和 hdfs
- 在写入 es 之后，用 scroll 方法将 es 的数据读取写入到 hdfs
哪种方法更好一点？
 |
1
gaozhy 2019-08-16 12:05:05 +08:00
处理数据时，利用 flume 多 sink，分别存 ES 和 HDFS
|
 |
2
kiddingU 2019-08-16 13:12:47 +08:00
楼上正解，flume 多个 sink,或者用 kafka 两个 consumer group 广播，kafafa-connect-es -hdfs
|
 |
3
wsbnd9 2019-08-16 18:24:32 +08:00
自己写脚本 就选择 1 利用现有的开源组件 就按照 2 楼说的
|
Select Language