ELK是什么?
E=ElasticSearch ,一款基于的Lucene的分布式搜索引擎,我们熟悉的github,就是由ElastiSearch提供的搜索,据传已经有10TB+的数据量。
L=LogStash , 一款分布式日志收集系统,支持多输入源,并内置一些过滤操作,支持多输入元
K=Kibana , 一款配合ElasticSearch的web可视化界面,内置非常各种查询,聚合操作,并拥有漂亮的图形化展示功能
为什么要用ELK?
在实际应用中,我们的日志是非常重要的,它通常会记录一些比较重要的信息,如应用程序的log记录的error,warn级别的log,通常在量小的情况下,我们可以直接vi+awk+sed+grep定位原因,在量大的时候,这种方式就捉襟见肘了,而且我们还要各种聚合,或者基于异常多个关键词的搜索,并有且,或,交,并,差,补,排序等一些操作,而且相应速度必须给力,如果线上环境出了故障,能够立刻准确定位,ELK就是高手,在百万大军中取上将首级,犹如探囊取物,所以这时候ELK就非常适合了,当然除此之外,ELK也经常在运维工作中大放光彩,在应用级别的实时监控,非常适合一些重要核心服务的预警。
ELK如何安装搭建?
环境要求:
Linux系统:Centos7
Java版本:JDK1.8
ELK均为最新版本:
(1)ElasticSearch1.7.2 基于Lucene4.10.4的版本
(2)Logstash1.5.4
(3)Kibana4.1.2
集群拓扑:
ElasticSearch 3台机器:
集群名:search
机器名+es节点名 => ip地址
h1 => 192.168.1.120
h2 => 192.168.1.121
h3 => 192.168.1.122
Logstash 192.168.1.120
Kibana 192.168.1.120
下载:
elasticsearch: wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.3.tar.gz
logstash : wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz
kibana : wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz
一: 安装elasticsearch集群:
(1)解压到指定目录
(2)配置elasticsearch.yml里面,集群名字和节点名字,如果不配置默认集群名为elasticsearch,节点名随机生成一个
(3) 在线安装head和bigdisk插件
直接在elasticsearch的根目录下,分别输入:
bin/plugin --install mobz/elasticsearch-head 安装head
bin/plugin --install lukas-vlcek/bigdesk 安装bigdesk
(4)scp分发安装完毕后的elasticsearch
(5)依次启动各个机器上的elasticsearch
(6)head显示如下:
(7)bigdisk显示如下:
二:安装logstash
(1)解压到指定目录
(2)在根木下新建一个conf目录,在里面新建一个配置文件first.conf
(3)启动logstash
执行命令: bin/logstash -f conf/first.conf
三:安装kibana
(1)解压到指定目录
(2)在根目录执行bin/kibana直接启动
(3)访问http://192.168.1.120:5601/ 配置一个ElasticSearch索引
(4)在logstach里面添加数据
(5)查看图表:刚新加的数据
四: 至此,ELK组件已经安装完毕,带图形化界面的简单日志查询分析系统就搞定了
本篇只是一个简单的入门例子,如需深入可以研究elastic的官网文档:
https://www.elastic.co/guide/index.html
最后欢迎大家扫码关注微信公众号:我是攻城师(woshigcs),我们一起学习,进步和交流!(woshigcs)
本公众号的内容是有关搜索和大数据技术和互联网等方面内容的分享,也是一个温馨的技术互动交流的小家园,有什么问题随时都可以留言,欢迎大家来访!
- 大小: 16.3 KB
- 大小: 6.1 KB
- 大小: 13.2 KB
- 大小: 110.2 KB
- 大小: 2.9 KB
- 大小: 9 KB
- 大小: 80.6 KB
- 大小: 59.3 KB
- 大小: 73.2 KB
- 大小: 54.1 KB
- 大小: 12.3 KB
- 大小: 50.6 KB
- 大小: 17.8 KB
- 大小: 52.7 KB
分享到:
相关推荐
基于Logstash的日志数据采集和ELK可视化海量日志分析平台实战(全套视频+课件+代码+讲义+工具),具体内容包括: 01 Logstash的架构及运行流程 02 Logstash的数据采集案例(一) 03 Logstash的数据采集案例(二) 04...
ELK+Filebeat+Kafka+ZooKeeper构建日志分析平台,架构图解
分享一套视频教程,名字叫:构建ELK海量日志分析平台视频教程,2019年录制,内容还挺新,讲得也很棒,值得学习!!
系统环境: rhel6.5 elasticsearch:2.3.3 logstash:2.3.3 kibana:4.5.1 https://www.elastic.co/downloads 从官网下载的最新版本 rpm 包
ELK(Elasticsearch、Logstash和Kibana) 日志分析 系统搭建
基于windows环境搭建elk日志分析平台
elk搭建日志平台,按照步骤搭建即可,集成redis,elastic
自己通过5天时间在Ubuntu14.04 Server亲自搭建master节点和node节点,实验成功后亲自编写的《开源实时日志分析ELK系统搭建说明》,分虽然高一些,但是内容看了很值得,包含搭建、实验、排错等环节,谢谢大家~。
elk搭建
大数据搜索与日志挖掘及可视化方案--ELK+Stack+Elasticsearch+Logstash+Kibana大数据搜索与日志挖掘及可视化方案--ELK+Stack+Elasticsearch+Logstash+Kibana
目录 1.elk简介、ES安装.flv 2.es集群.flv 3-logstash快速入门.flv 4-logstash收集系统日志-file.flv 5-logstash收集java日志-codec.flv ...11-logstash解耦之消息队列.flv 12-kibana实践.flv 13-elk上线流程.flv
分布式实时日志分析解决方案ELK部署架构
采用ELK搭建日志分析系统
搭建自己的ELK日志分析系统,安装与配置。
本文档记录了个人在centos7环境下搭建ELK日志分析系统的步骤及遇到的问题、处理记录。明细罗列了本次搭建的系统环境和软件版本,操作系统为centos7.6,elk对应版本为7.9.3, redis版本为6.0.6。受限于更明细的环境差别...
elk日志分析系统、elk速成宝典、elk新手晋级大神 -收费版
云计算上机实验二ELK实时日志分析平台环境搭建报告
该文档提供在OpneStack环境下ELK日志管理系统的详细搭建过程。ELK是三个开源软件的缩写,分别为:Elasticsearch 、 Logstash以及Kibana , 它们都是开源软件。
大数据搜索与日志挖掘及可视化方案 ELK Stack Elasticsearch Logstash Kibana 第2版
Elasticsearch+Logstash+Kibana(ELK)是一套开源的日志管理方案,分析网站的访问情况时我们...Logstash:负责日志的收集,处理和储存Elasticsearch:负责日志检索和分析Kibana:负责日志的可视化ELK(Elasticsearch+