一,目前现状介绍
日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有:
- 根据关键字查询日志详情
- 控系统的运行状况
- 统计分析,比如接口的调用次数、执行时间、成功率等
- 异常数据自动触发消息通知
- 基于日志的数据挖掘
很多团队在日志方面可能遇到的一些问题有:
- 开发人员不能登录线上服务器查看详细日志,经过运维周转费时费力
- 日志数据分散在多个系统,难以查找
- 日志数据量大,查询速度慢
- 一个调用会涉及多个系统,难以在这些系统的日志中快速定位数据
- 数据不够实时
常见的一些重量级的开源Trace系统有
这些项目功能强大,但对于很多团队来说过于复杂,配置和部署比较麻烦,在系统规模大到一定程度前推荐轻量级下载即用的方案,比如logstash+elasticsearch+kibana(LEK)组合。
对于日志来说,最常见的需求就是收集、查询、显示,正对应logstash(搜集)、elasticsearch(搜索)、kibana(展示)的功能。
二,logstash+elasticsearch+kibana(LEK)轻量级日志平台搭建
步骤1:安装JDK,至少1.7以上
步骤2:安装ElasticSearch
#下载并安装elasticsearch cd /usr/local/ wget https://download.elasticsearch.org/elasticsearch/release/org/elasticsearch/distribution/zip/elasticsearch/2.3.0/elasticsearch-2.3.0.zip unzip elasticsearch-2.3.0.zip #启动elasticsearch cd /usr/local/elasticsearch-2.3.0/bin/ ./elasticsearch #验证是否启动成功(默认端口为9200) curl -X GET http://localhost:9200
步骤3:安装logstash
#下载并安装logstash cd /usr/local wget https://download.elastic.co/logstash/logstash/logstash-2.3.2.zip unzip logstash-2.3.2.zip
步骤4:安装kibana
高版本的logstash默认已经内置了kibana,你也可以单独部署kibana。kibana3是纯粹JavaScript+html的客户端,所以可以部署到任意http服务器上(tomcat,jetty,nginx等)。
#下载并安装kibana cd /usr/local wget http://download.elasticsearch.org/kibana/kibana/kibana-latest.zip unzip kibana-latest.zip
步骤5:安装Redis
redis安装参考:http://pandan-xyz.iteye.com/admin/blogs/2285540
步骤6:集成上述安装软件
相关推荐
基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统 对nginx日志进行正则切割字段。 https://www.jianshu.com/p/f7927591d530
Elasticsearch + Logstash + filebeat + redis(也可以是其他中间件,比如kafka) + Kibana 2、生产上建议使用 建议采用 filebeat + kafka + Logstash+Elasticsearch+Kibana的架构。接上所述,随着数据量的加大...
Logstash+ElasticSearch+Kibana+Redis日志分析和监控工具 注意:关于安装文档,网络上有很多,可以参考,不可以全信,而且三件套各自的版本很多,差别也不一样,需要版本匹配上才能使用。推荐直接使用官网的这一套:...
说明文档E-mail:Blog:======ELK集成: Awesant + Logstash + Elasticsearch +Kibana + Nginx + Redis======单机版(Standalone): Logstash-index(收集日志)+ Elasticsearch(索引)+ Kibana(前端) +Nginx...
Heroku日志和ELK(Logstash + Elasticsearch + Kibana)演示 要求: 码头工人 Docker撰写 Docker Machine(如果您未使用Linux) Heroku工具带 观看实际的演示: 首先,启动3个容器(Logstash,Elasticsearch和...
openresty_nginx_logstash_kibana_elasticsearch_centos6 如何在centos6上安装(openresty + nginx + logstash + kibana + elasticsearch) 一些帮助和启发的链接: 安装openresty 假设机器上已经安装了nginx。 ...
Elasticsearch ELK 堆栈(Elasticsearch、Logstash、Kibana 作为前端和 Redis)的 loganalytic 环境的配置,并获得一个环境来验证新的 logstash 配置以用于几乎生产中的日志文件解析环境。 该项目包括一个作为典型...
ansible-logging-playbook Ansible剧本,其中包含使用Logstash,Packetbeat,Redis,Elasticsearch,Kibana,Nfsen和Observium的pfsense,vmware esxi群集,scopserv pbx和cpanel群集的日志记录/监视系统。...
他可以为Logstash和ElasticSearch提供的日志分析的Web界面说到这里,我们看看kibana和logstash到底能为我们做些什么呢?下面是kibana的界面简单来讲他具体的工作流程就是logstashagent监控并过滤日志,将过滤后的...
一个基于微服务架构的前后端分离博客系统。使用Vue + Element ,后端使用Spring cloud + Spring boot + mybatis-plus进行开发 ...采用 ElasticStack【ElasticSearch + Beats + Kibana + Logstash】搭建章鱼博客日志收集
这是一个带有简单配置的elk仓库,已经为elasticsearch安装了一些需要用到的插件,并带有一个以redis为input的logstash配置,可用于快速创建、测试、部署elk。 各组件版本 elasticsearch: 1.4.4 logstash: 1.5.0 ...
docker-symfony:面向Docker Symfony SOA的NGINX,PHP7-FPM,MySQL,Redis,ELK(Elasticsearch Logstash和Kibana),Varnish和CouchDB
4.ElasticSearch+Logstash+ Kibana日志分析框架 5.Redis,Mongo等NOSQL数据库,以及监控 6.Git+Jenkins运用 7.Docker运用 8.Open-Falcon运维架构监控 9.使用Nexus配置Maven私有仓库 10.Dubbo运用 11.等等好多主流技术...
虽然这些库不关心从那里发生的事情,但通常使用 logstash 从 Redis 检索事件并将它们转发到 Elasticsearch 服务器,而 Kibana 用于查看存储在 Elasticsearch 中的事件。 用法 有关其使用说明,请参阅每个库的 ...
Logstash 是一个建立在 elasticsearch 之上的日志索引器。 它聚合来自多个来源的日志,并允许您使用来查询它们。 Logstash 建立在 elasticsearch 之上,可让您的数据轻松扩展。 如果空间不足,只需向集群添加一个...
Logstash 是一个建立在 elasticsearch 之上的日志索引器。 它聚合来自多个来源的日志,并允许您使用来查询它们。 Logstash 建立在 elasticsearch 之上,可让您的数据轻松扩展。 如果空间不足,只需向集群添加一个...
像类似百度、谷歌这种大数据全文搜索引擎的场景都可以使用Elasticsearch作为底层支持框架,可见Elasticsearch提供的搜索能力确实强大,市面上很多时候我们简称Elasticsearch为es。Logstash是ELK的中央数据流引擎,...
AzureKubernetesService-ELK第1部分: 这是用于在Azure Kubernetes服务(AKS)中设置Elasticsearch,Logstash和Kibana群集并使用来自事件中心的消息的示例源代码。 样本客户端应用程序(例如IOT设备)将向Event Hub...
ElasticSearch+Kibana+Logstash: 全文检索服务器+可视化数据监控+日志收集框架 ThreadPoolExecutor:线程池来实现异步操作,提高效率 Thymeleaf: 页面模板技术 Swagger2******/POSTMAN****:Api接口文档工具 MinIO:...
filebeat,redis,logstash,elasticsearch,kibana,nginxf分布式架构