我想实现这样的功能,把移动端的 log 发送到 elasticsearch ,然后在 kibana 上创建展示,目前知道需要用到 kafra 做筛选,然后扔到 logstash 中,最后流入 elasticseach,但是我对这些都不熟悉
1
nullllllllllllll 2019-02-26 19:43:58 +08:00
Elasticsearch 技术解析与实战
|
2
Wincer 2019-02-26 19:45:43 +08:00 via Android
es 的官方文档很详细了
|
3
kingguy 2019-02-26 19:46:30 +08:00 1
实现这点功能看 elk 文档就可以了。。或者随便搜篇文章就可以搞定了
|
4
liuxliang 2019-02-26 20:01:54 +08:00
官方文档
|
5
kongkongyzt 2019-02-26 20:06:20 +08:00
|
6
Hieast 2019-02-26 23:28:02 +08:00 via Android
看 es 权威指南,不要嫌弃这本书的版本低。一开始会根据你的需求推荐你看哪几章,把那几章看完。
然后看你使用的那个版本的官方接口文档,用到哪看到哪。 |
7
kiddingU 2019-02-27 10:22:52 +08:00
看官方文档咯,不过只是做日志收集的话也没什么看的,自动生成的 es index ,mapping 自动建立的,就是 index 看你日志大小的粒度是什么样的
|
8
CivAx 2019-02-27 10:38:11 +08:00 1
通常情况下日志的流转过程是:
部署多个 FileBeat 从多个地方(服务器)收集日志,然后推送给 LogStash,LogStash 根据自身的配置文件进行小筛,然后推送到 ElasticSearch,ElasticSearch 接收到 Raw Data 后根据自身设置建立索引,Kibana 通过读取 ElasticSearch 的索引来进行各种图形化的展示 那么这套流程的难点主要在两个地方: 1、LogStash 如何配置才能按照格式进行匹配与筛选( grok ),这是个力气活,你只能不停地调整 grok 的规则以匹配你的日志格式(比如我们是 tomcat 标准输出,grok 起来会十分简单) 2、ElasticSearch 如何对传入的 Raw Data 进行格式化处理。是根据传入的 Raw Data 自动生成 Index (一般没人这么干),还是根据模板进行文件名匹配来生成 Index,还是直接写入现有 Index。 前些阵子我也在为我司配 ELK 做日志管理系统的问题上踩了不少坑。。。要是还有不懂的可以问我(用 IM 工具会更方便,ODYzNzk3OTM=) |
9
shaohan0228 2019-02-27 11:27:28 +08:00
官方文档
我是先从网上找了一个 Demo,跑起来之后根据需求再开始翻文档 |
10
HangoX OP |