ELK+Redis日志流程展示

业务流程架构图:

创新互联为您提适合企业的网站设计 让您的网站在搜索引擎具有高度排名,让您的网站具备超强的网络竞争力!结合企业自身,进行网站设计及把握,最后结合企业文化和具体宗旨等,才能创作出一份性化解决方案。从网站策划到成都网站制作、网站建设、外贸网站建设, 我们的网页设计师为您提供的解决方案。

ELK+Redis日志流程展示

一个基于logstash,redis,elasticSearch,kibana的一套数据收集分析的系统

架构图描述:

    日志收集系统:(数据来源)生产者产生的日志记录行为,通过被logstash收集、转发,然后传送给redis做序列话,最后通过ELK处理分析展示。

 elasticSearch会对数据做存储,索引(基于Lunce),再kibana中建立对elasticSearch的链接,实时的抓取索索引后的数据,这样数据就可以实时的进行展示,通过一些数据组装,查询条件,得到我们想要的结果(可以通过各种方式例如图表,表格,折线图等显示)

效果图:

ELK+Redis日志流程展示

####

一、ELK搭建

http://dbspace.blog.51cto.com/6873717/1879106

二、Redis部署

 注意redis必须是3.0版本以上,不然会有各种问题,之前遇到坑

三、根据架构编写logstash的日志收集配置

[root@mycat conf]# cat /usr/local/logstash/conf/logstash_client.conf 

input{

    file{

        type => "log_count"

        path => "/var/log/messages"

}

}

output{

    redis{

        host => "192.168.1.114"

        port => 6379

        data_type => "list"

        key => "key_count"

        db => 0

}

}

四、编写logstash的配置从redis读取数据转发到ELK

[root@mycat conf]# cat /usr/local/logstash/conf/logstash_server.conf 

input{

    redis{

host => "192.168.1.114"

port => 6379

type => "redis-input"

data_type => "list"

key => "key_count"

db => 0

}

}

output{

    elasticsearch{

hosts =>"192.168.1.114:9200"

codec =>"json"

}

}

###红色部分要相同

启动2个服务

 /usr/local/logstash/bin/logstash -f /usr/local/logstash/conf/logstash_server.conf &

 /usr/local/logstash/bin/logstash -f /usr/local/logstash/conf/logstash_client.conf &

五、饼图分析

ELK+Redis日志流程展示


本文名称:ELK+Redis日志流程展示
标题网址:http://pwwzsj.com/article/jpjeph.html