为什么很多场景数据先写入 kafka 再写入 elastic，而不是直接写 elastic？
daoqiongsi1101 · 2021 年 12 月 12 日 · 2036 次点击这是一个创建于 1510 天前的主题，其中的信息可能已经有所发展或是发生改变。
是因为直接写 elastic 会造成 es 压力太大吗，所以用 kafka 缓冲一下？
 |
1
abersheeran 2021 年 12 月 12 日  1
因为用 mq 可以消峰填谷啊。整体来看能节约机器资源。
|
 |
2
ipwx 2021 年 12 月 12 日 1
因为现实世界中可能有突如其然的大量数据，让 es 暂时宕机。此时如果你每个客户端都自己重试，就会让这个突如其来再度翻几倍，那么你将损失一大批数据。Kafka 的写入比 es 快很多，所以相当于一个缓冲区，还是分布式的。
|
 |
3
akira 2021 年 12 月 12 日
是的。如果你的数据量很小，就没必要上 kafka 了
|
 |
4
iyaozhen 2021 年 12 月 12 日
就是你说的那样 但最终也取决于 ES 的性能，经常遇到队列阻塞，数据延迟的
|
 |
5
CEBBCAT 2021 年 12 月 12 日
原因很多，看设计者了。有的时候其他部门也要用这个事件
|
Select Language