你将收获

对 ELK Stack 框架的整体理解

ElasticSearch 组件的基础知识学习及搜索运用

Logstash 组件收集日志及过滤的使用

对常见的Apache、Nginx、MySQL、Syslog进行日志收集和分析

适用人群

所有对ELK、日志与数据处理、分析感兴趣的工程师

课程介绍

ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具。


Elasticsearch是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。


Logstash 主要是用来日志的搜集、分析、过滤日志的工具,支持大量的数据获取方式。一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。


Kibana 也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助汇总、分析和搜索重要数据日志。


该课程从ELK组件中的两大组件和常用的应用日志收集进行剖析讲解。


(1)ElasticSearch:从单台的安装到集群的搭建、从基础的入门使用到高级的搜索和聚合都进行了较好的阐述。


(2) Logstash:通过收集apache日志,使用grok插件和geoip插件先让学习人员对整体框架做到了了解于胸。然后再深入的对LogStash重要的知识点进行了剖析。


(3)应用日志收集:对常见的Apache、Nginx、MySQL、Syslog进行日志收集和分析。虽说没有讲解太多,但是我想应该能做到让大家对应用日志收集了解的更加深入。




课程目录

学员评价

0.0
  • 0%
  • 0%
  • 0%
  • 0%
  • 0%

暂无评价

同学笔记

  • u011309814 2020-06-29 11:16:27

    来源:Logstash是如何工作的 查看详情

    logstash核心组成部分:

    inputs

    file:从系统文件中读取内容

    beats:filebeats,metricbeats等

    filters

    grok:就是把非结构化的数据整理成结构化数据。

    mutate:对时间执行转换操作,比如移除、重命名、修改。

    outputs

没有更多了