logstash 主要占用哪些资源

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

Distributions

› Ubuntu

中文资源站

› 网易开源镜像站

这是一个创建于 1118 天前的主题，其中的信息可能已经有所发展或是发生改变。

在处理大量日志时，是使用多个低配置的机器部署 logstash 好还是少量高配置的机器，为什么

9 条回复 • 2021-11-01 10:53:40 +08:00

PolarBears

2021-10-31 17:48:37 +08:00

如果不需要做复杂处理的话,有考虑过用 Beats 吗?

niubee1

2021-10-31 17:50:45 +08:00

确实很奇怪，我去提过 issuse ，反馈给我个方案，去改了几个操作系统配置解决了问题，不然启动的时候要等 10 几分钟才能启动起来开始工作

mengyx

2021-10-31 18:54:24 +08:00

@niubee1 #2 应该是等待下载 GeoIP 数据的原因，可以自行设置路径

swulling

2021-10-31 19:57:41 +08:00 via iPhone

内存
推荐少数几个大规格实例

xuanbg

2021-11-01 09:40:29 +08:00

我用 fluentd ，和日志源放同一台机器，es 集群是另外的机器，除了一点内部网络带宽，不占资源。

ElmerZhang

2021-11-01 10:38:28 +08:00

主要消耗内存和 CPU ，建议少量高配置机器

swq1227

2021-11-01 10:53:22 +08:00

@PolarBears 实际场景不复杂，在使用 filebeat ，这个问题是有次面试的时候被问到的

swq1227

2021-11-01 10:53:33 +08:00

@swulling 了解了

swq1227

2021-11-01 10:53:40 +08:00

@ElmerZhang 学到了