从零开始的Linux运维屌丝之路,资源免费分享平台   运维人员首选:简单、易用、高效、安全、稳定、社区活跃的开源软件

ELKStack快速安装

发布:蔺要红03-28分类: ELKStack


ELKstack---技术栈结合

官方网站:
https://www.elastic.co
 

ElasticSearch是一个基于Lucene的开源分布式搜索服务器。特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是第二流行的企业搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。在elasticsearch中,所有节点的数据是均等的。

 

Logstash是一个完全开源的工具,它可以对你的日志进行收集、过滤、分析,支持大量的数据获取方法,并将其存储供以后使用(如搜索)。说到搜索,logstash带有一个web界面,搜索和展示所有日志。一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。

 

Kibana 是一个基于浏览器页面的Elasticsearch前端展示工具,也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。


总结:Logstash(收集)---ElasticSearch(存储+搜索)---Kibana(web界面展示)

可选架构:
1.每个ES上面都启动一个Kibana
2.Kibana都连自己的ES
3.前端Nginx负载均衡、ip_hash  +  验证  + ACL

 
需求分析:
    访问日志:nginx tomcat file –filter
    错误日志:error log java日志 直接收, java异常需要处理
    系统日志:/var/log/*  rsyslog
    运行日志:程序写的 file  json


标准化:
日志存放目录 /data/logs/  更细分  access_log  error_log  runtime_log
格式要求:日志写jsion格式 (php python等很容易实现) 命名规则
日志切割:按天、小时、  crontab进行切分  runtime_log(开发实现,小时切割)
所有的原始日志文本----rsync推送到NAS(存储)、切记禁止使用NFS、删除7-15天前

 
工具化:
如何使用logstash进行收集方案:配置- if判断 等等等


 
yum -y install java
rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
vim /etc/yum.repos.d/elasticsearch.repo
[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
mkdir -p /data/es-data
chown elasticsearch:elasticsearch /data/es-data/
yum install -y elasticsearch
cd  /etc/elasticsearch/
rpm  -ql elasticsearch
vim elasticsearch.yml 
[root@localhost /etc/elasticsearch]# grep "^[a-z]" elasticsearch.yml 
cluster.name: myes
node.name: linux-node1
path.data: /data/es-data
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 10.10.10.25
http.port: 9200
 
温馨提示如有转载或引用以上内容之必要,敬请将本文链接作为出处标注,如有侵权我会在24小时之内删除!
<<没有了 | 没有了>>

欢迎使用手机扫描访问本站