ELK大数据分析课程-创新互联
ELK大数据分析课程
十年建站经验, 成都网站设计、网站制作客户的见证与正确选择。成都创新互联提供完善的营销型网页建站明细报价表。后期开发更加便捷高效,我们致力于追求更美、更快、更规范。文档出自:广通学院 版本:1.0
QQ:430696786 微信号:winlone
官方资料:
beats文件采集:https://www.elastic.co/products/beats
logstash日志分析:https://www.elastic.co/products/logstash
elasticsearch日记存储:https://www.elastic.co/products/elasticsearch
kibana日志展示界面:https://www.elastic.co/products/kibana
一、概述:
Beats:分布在每个应用服务器的采集器
Beats平台集合了多种单一用途数据采集器,这些采集器安装后可用作轻量型代理,从成百上千或成千上万台机器向 Logstash 或 Elasticsearch 发送数据。
Logstash:接收Beats传过来的数据,分析数据,并发送到存储日志的地方
Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件。
Elasticsearch:用来存储格式化好的统计数据
Elasticsearch是一个基于Lucene的搜索和数据分析工具,它提供了一个分布式服务。Elasticsearch是遵从Apache开源条款的一款开源产品,是当前主流的企业级搜索引擎。
Kibana:把统计数据通过图表形式展现出来
Kibana 是一款开源的数据分析和可视化平台,它是 Elastic Stack 成员之一,设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。
二、安装:
2.1 准备工作
* 系统环境:Centos7.4
* 安装必备软件:
yum install java-1.8.0-openjdk
* 新建目录:
mkdir /tools
mkdir /tools/install/
mkdir /tools/download/
* 新建es用户:
groupadd es #增加es组
useradd es -g es -p es #增加es用户并附加到es组
chown -R es:es /usr/lib/jvm/ #java也需要分配给es用户访问权限
chown -R es:es /tools/ #安装目录分配权限
su es #切换到es用户
2.2 安装Elasticsearch
2.2.1 Elasticsearch下载:
cd /tools/download/
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.3.tar.gz
2.2.2 解压Elasticsearch程序包:
tar -xzf elasticsearch-6.4.3.tar.gz
mv /tools/download/elasticsearch-6.4.3 /tools/install/elasticsearch-6.4.3
chown -R es:es /tools/install/elasticsearch-6.4.3
2.2.3 Elasticsearch的配置
* 进入elasticsearch-6.4.3目录
cd /tools/install/elasticsearch-6.4.3
* 设置jvm虚拟内存:
vi config/jvm.options
-Xms512m
-Xms512m
* elasticsearch.yml配置:
vi config/elasticsearch.yml
如需远程主机需访问该elasticsearch服务,需配置对外出口ip和端口:
指定路径:可以不指定,默认当前路径的data和logs,指定路径后要配置es组的权限
配置下载:
* 启动elasticsearch
./bin/elasticsearch -d
* 停止elasticsearch
ps -ef |grep elasticsearch
kill -9 进程id
* 启动配置服务可能会出现的几个错误
1. max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
vi /etc/security/limits.conf
加入:
es soft nofile 65536
es hard nofile 65536
执行命令:ulimit -Hn
2. max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
3.max number of threads [1024] for user [elasticsearch] is too low, increase to at least [2048]
vi /etc/security/limits.d/90-nproc.conf
4. system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk
bootstrap.system_call_filter: false
2.2.4 启动成功的访问地址
curl 'http://localhost:9200/?pretty'
2.3 安装Kibana
2.3.1 Kibana下载:
cd /tools/download/
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.4.3-linux-x86_64.tar.gz
2.3.2 解压Kibana程序包:
tar -xzf kibana-6.4.3-linux-x86_64.tar.gz
mv /tools/download/kibana-6.4.3-linux-x86_64 /tools/install/kibana-6.4.3-linux-x86_64
chown -R es:es /tools/install/kibana-6.4.3-linux-x86_64
2.3.3 Kibana配置:
* 配置Kibana, 配置server.host地址,需远程连接,因此配置服务器内网IP即可。
vi config/kibana.yml
配置如下:
server.port: 5601
server.host: "172.16.151.119"
elasticsearch.url: "http://localhost:9200"
配置下载:
* 启动kibana
nohup ./bin/kibana &
* 访问kibana
访问:http://172.16.151.119:5601
外网:http://外网IP:5601
2.4 安装Filebeat
2.4.1 Filebeat下载:
cd /tools/download/
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.4.3-linux-x86_64.tar.gz
2.4.2 解压Filebeat程序包:
tar -xzf filebeat-6.4.3-linux-x86_64.tar.gz
mv /tools/download/filebeat-6.4.3-linux-x86_64 /tools/install/filebeat-6.4.3-linux-x86_64
chown -R es:es /tools/install/filebeat-6.4.3-linux-x86_64
2.4.3 配置filebeat.yml文件
#=========================== Filebeat inputs =============================
filebeat.inputs:
- type: log
enabled: true
paths:
- /data/logs/*.log
fields_under_root: true
fields:
alilogtype: applog
#============================= Filebeat modules ===============================
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
#==================== Elasticsearch template setting ==========================
setup.template.settings:
index.number_of_shards: 3
#----------------------------- Logstash output --------------------------------
output.logstash:
hosts: ["localhost:5044"]
配置下载:
2.4.4 启动filebeat
nohup ./filebeat -c ./filebeat.yml &
2.5 安装logstash
2.5.1 logstash下载:
cd /tools/download/
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.3.tar.gz
2.5.2 解压logstash程序包:
tar -xzf logstash-6.4.3.tar.gz
mv /tools/download/logstash-6.4.3 /tools/install/logstash-6.4.3
chown -R es:es /tools/install/logstash-6.4.3
2.5.3 配置logstash.conf文件
vi config/logstash.conf
配置如下:
input {
beats {
port => 5044
}
}
filter {
grok {
patterns_dir => ["/tools/install/logstash-6.4.3/patterns"]
match => {
"message" => "%{IPORHOST:forwordip}.*%{HTTPDATE:logtime}.*"
}
remove_field => ["message", "host", "tags", "input", "@timestamp", "offset", "host", "@version", "beat"]
}
}
output {
elasticsearch {
hosts => ["http://localhost:9200"]
index => "beat-mylog"
#user => "elastic"
#password => "changeme"
}
stdout { codec => rubydebug }
}
配置下载:
正则配置:
2.5.4 配合jvm.options虚拟内存
-Xms1g
-Xmx1g
2.5.5 配置logstash.yml文件
vi config/logstash.yml
node.name: test
pipeline.id: main
pipeline.workers: 2
pipeline.batch.size: 125
pipeline.batch.delay: 50
pipeline.unsafe_shutdown: false
path.config: /tools/install/logstash-6.4.3/config/logstash.conf
http.host: "127.0.0.1"
http.port: 9600-9700
配置下载:
设置 | 描述 | 默认值 |
node.name | 节点的描述性名称 | 机器的主机名 |
path.data | Logstash及其插件用于任何持久需求的目录 | LOGSTASH_HOME/data |
pipeline.id | 管道的ID | main |
pipeline.workers | 将并行执行管道的过滤和输出阶段的工人数量,如果你发现事件正在备份,或者CPU没有饱和,请考虑增加这个数字,以更好地利用机器处理能力 | 主机CPU核心的数量 |
pipeline.batch.size | 在尝试执行过滤器和输出之前,单个工作线程将从输入中收集的大事件数,更大的批处理大小通常更高效,但代价是增加内存开销,你可能需要增加jvm.options配置文件中的JVM堆空间,有关更多信息,请参阅Logstash配置文件 | 125 |
pipeline.batch.delay | 当创建管道事件批处理时,在向管道工作人员发送一个较小的批处理之前,等待每个事件的时间为多少毫秒 | 50 |
pipeline.unsafe_shutdown | 当设置为true时,即使内存中仍然存在游离事件,也会在关闭期间强制Logstash退出,默认情况下,Logstash将拒绝退出,直到所有接收到的事件都被推送到输出,启用此选项可能导致关闭期间的数据丢失 | false |
path.config | 主管道的Logstash配置路径,如果指定目录或通配符,配置文件将按字母顺序从目录中读取 | 特定于平台的,请参阅Logstash目录布局 |
config.string | 包含要用于主管道的管道配置的字符串,使用与配置文件相同的语法 | None |
config.test_and_exit | 当设置为true时,检查配置是否有效,然后退出,注意,在此设置中没有检查grok模式的正确性,Logstash可以从一个目录中读取多个配置文件,如果你把这个设置和log.level: debug结合起来,Logstash将对合并后的配置文件进行日志记录,并用它来自的源文件注解每个配置块 | false |
config.reload.automatic | 当设置为true时,定期检查配置是否已更改,并在更改配置时重新加载配置,这也可以通过SIGHUP信号手动触发 | false |
config.reload.interval | Logstash多久检查一次配置文件以查看更改 | 3s |
config.debug | 当设置为true时,将完整编译的配置显示为debug日志消息,你还必须设置log.level: debug,警告:日志消息将包含传递给插件配置的任意密码选项,可能会导致明文密码出现在日志中! | false |
config.support_escapes | 当设置为true时,引号中的字符串将处理以下转义序列:\n变成文字换行符(ASCII 10),\r变成文字回车(ASCII 13),\t变成文字制表符(ASCII 9),\\变成字面反斜杠\,\"变成一个文字双引号,\'变成文字引号 | false |
modules | 当配置时,modules必须位于上表中描述的嵌套YAML结构中 | None |
queue.type | 用于事件缓冲的内部队列模型,为基于内存中的遗留队列指定memory,或者persisted基于磁盘的ACKed队列(持久队列) | memory |
path.queue | 启用持久队列时存储数据文件的目录路径(queue.type: persisted) | path.data/queue |
queue.page_capacity | 启用持久队列时使用的页面数据文件的大小(queue.type: persisted),队列数据由分隔成页面的仅追加的数据文件组成 | 64mb |
queue.max_events | 启用持久队列时队列中未读事件的大数量(queue.type: persisted) | 0(无限) |
queue.max_bytes | 队列的总容量(字节数),确保磁盘驱动器的容量大于这里指定的值,如果queue.max_events和queue.max_bytes都指定,Logstash使用最先达到的任何标准 | 1024mb(1g) |
queue.checkpoint.acks | 当启用持久队列时,在强制执行检查点之前的大ACKed事件数(queue.type: persisted),指定queue.checkpoint.acks: 0设置此值为无限制 | 1024 |
queue.checkpoint.writes | 启用持久队列时强制执行检查点之前的大写入事件数(queue.type: persisted),指定queue.checkpoint.writes: 0设置此值为无限制 | 1024 |
queue.drain | 启用时,Logstash会一直等到持久队列耗尽后才关闭 | false |
dead_letter_queue.enable | 标记指示Logstash以插件支持的DLQ特性 | false |
dead_letter_queue.max_bytes | 每个dead letter队列的大大小,如果条目将增加dead letter队列的大小,超过此设置,则删除条目 | 1024mb |
path.dead_letter_queue | 存储dead letter队列数据文件的目录路径 | path.data/dead_letter_queue |
http.host | 指标REST端点的绑定地址 | "127.0.0.1" |
http.port | 指标REST端点的绑定端口 | 9600 |
log.level | 日志级别,有效的选项是:fatal、error、warn、info、debug、trace | info |
log.format | 日志格式,设置为json日志以JSON格式,或plain使用Object#.inspect | plain |
path.logs | Logstash将其日志写到的目录 | LOGSTASH_HOME/logs |
path.plugins | 哪里可以找到自定义插件,你可以多次指定此设置以包含多个路径,插件应该在特定的目录层次结构中:PATH/logstash/TYPE/NAME.rb,TYPE是inputs、filters、outputs或codecs,NAME是插件的名称 | 特定于平台的,请参阅Logstash目录布局 |
2.5.6 logstash启动
nohup ./bin/logstash -f ./config/logstash.conf &
参数 | 说明 | 举例 |
-e | 立即执行,使用命令行里的配置参数启动实例 | ./bin/logstash -e "input {stdin {}} output {stdout {}}" |
-f | 指定启动实例的配置文件 | ./bin/logstash -f config/test.conf |
-t | 测试配置文件的正确性 | ./bin/logstash -f config/test.conf -t |
-l | 指定日志文件名称 | ./bin/logstash -f config/test.conf -l logs/test.log |
-w | 指定filter线程数量,默认线程数是5 | ./bin/logstash -f config/test.conf -w 8 |
2.5.7 相关地址
input监听:0.0.0.0:5044
Logstash API endpoint:http://127.0.0.1:9600
访问:http://127.0.0.1:9600
{"host":"iZbp1f69c0ocoflj7y2nlxZ","version":"6.4.3","http_address":"127.0.0.1:9600","id":"de36d17d-ca9d-4123-a33b-c2b9af00dcd9","name":"test","build_date":"2018-10-31T00:19:35Z","build_sha":"17e7a50dfb0beb05f5338ee5a0e8338e68eb130b","build_snapshot":false}
三、格式化日志:
3.1 nginx日志参数配置:
nginx日志输出参数配置:
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent $request_body "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for" $request_time';
nginx日志内容:
* POST:
219.135.135.2 - - [29/Nov/2018:18:41:13 +0800] "POST /portal/users/cartList HTTP/1.1" 302 5 ?appName=luckwine-portal-web&channelCode=01&traceId=1712884f4c9e4d8ad9bdb843824dd197& "http://47.106.219.117:8010/home?a=1" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:63.0) Gecko/20100101 Firefox/63.0" "-" 0.008
* GET:
219.135.135.2 - - [29/Nov/2018:18:16:32 +0800] "GET /portal/common/needLogin?dd=23 HTTP/1.1" 200 96 - "http://47.106.219.117:8010/home?a=1" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:63.0) Gecko/20100101 Firefox/63.0" "-" 0.002
nginx日志参数:
$args #请求中的参数值
$query_string #同 $args
$arg_NAME #GET请求中NAME的值
$is_args #如果请求中有参数,值为"?",否则为空字符串
$uri #请求中的当前URI(不带请求参数,参数位于$args),可以不同于浏览器传递的$request_uri的值,它可以通过内部重定向,或者使用index指令进行修改,$uri不包含主机名,如"/foo/bar.html"。
$document_uri #同 $uri
$document_root #当前请求的文档根目录或别名
$host #优先级:HTTP请求行的主机名>"HOST"请求头字段>符合请求的服务器名.请求中的主机头字段,如果请求中的主机头不可用,则为服务器处理请求的服务器名称
$hostname #主机名
$https #如果开启了SSL安全模式,值为"on",否则为空字符串。
$binary_remote_addr #客户端地址的二进制形式,固定长度为4个字节
$body_bytes_sent #传输给客户端的字节数,响应头不计算在内;这个变量和Apache的mod_log_config模块中的"%B"参数保持兼容
$bytes_sent #传输给客户端的字节数
$connection #TCP连接的序列号
$connection_requests #TCP连接当前的请求数量
$content_length #"Content-Length" 请求头字段
$content_type #"Content-Type" 请求头字段
$cookie_name #cookie名称
$limit_rate #用于设置响应的速度限制
$msec #当前的Unix时间戳
$nginx_version #nginx版本
$pid #工作进程的PID
$pipe #如果请求来自管道通信,值为"p",否则为"."
$proxy_protocol_addr #获取代理访问服务器的客户端地址,如果是直接访问,该值为空字符串
$realpath_root #当前请求的文档根目录或别名的真实路径,会将所有符号连接转换为真实路径
$remote_addr #客户端地址
$remote_port #客户端端口
$remote_user #用于HTTP基础认证服务的用户名
$request #代表客户端的请求地址
$request_body #客户端的请求主体:此变量可在location中使用,将请求主体通过proxy_pass,fastcgi_pass,uwsgi_pass和scgi_pass传递给下一级的代理服务器
$request_body_file #将客户端请求主体保存在临时文件中。文件处理结束后,此文件需删除。如果需要之一开启此功能,需要设置client_body_in_file_only。如果将次文件传 递给后端的代理服务器,需要禁用request body,即设置proxy_pass_request_body off,fastcgi_pass_request_body off,uwsgi_pass_request_body off,or scgi_pass_request_body off
$request_completion #如果请求成功,值为"OK",如果请求未完成或者请求不是一个范围请求的最后一部分,则为空
$request_filename #当前连接请求的文件路径,由root或alias指令与URI请求生成
$request_length #请求的长度 (包括请求的地址,http请求头和请求主体)
$request_method #HTTP请求方法,通常为"GET"或"POST"
$request_time #处理客户端请求使用的时间,单位为秒,精度毫秒; 从读入客户端的第一个字节开始,直到把最后一个字符发送给客户端后进行日志写入为止。
$request_uri #这个变量等于包含一些客户端请求参数的原始URI,它无法修改,请查看$uri更改或重写URI,不包含主机名,例如:"/cnphp/test.php?arg=freemouse"
$scheme #请求使用的Web协议,"http" 或 "https"
$server_addr #服务器端地址,需要注意的是:为了避免访问linux系统内核,应将ip地址提前设置在配置文件中
$server_name #服务器名
$server_port #服务器端口
$server_protocol #服务器的HTTP版本,通常为 "HTTP/1.0" 或 "HTTP/1.1"
$status #HTTP响应代码
$time_iso8601 #服务器时间的ISO 8610格式
$time_local #服务器时间(LOG Format 格式)
$cookie_NAME #客户端请求Header头中的cookie变量,前缀"$cookie_"加上cookie名称的变量,该变量的值即为cookie名称的值
$http_NAME #匹配任意请求头字段;变量名中的后半部分NAME可以替换成任意请求头字段,如在配置文件中需要获取http请求头:"Accept-Language",$http_accept_language即可
$http_cookie
$http_host #请求地址,即浏览器中你输入的地址(IP或域名)
$http_referer #url跳转来源,用来记录从那个页面链接访问过来的
$http_user_agent #用户终端浏览器等信息
$http_x_forwarded_for #当前端有代理服务器时,设置web节点记录客户端地址的配置,此参数生效的前提是代理服务器也要进行相关的http_x_forwarded_for设置
$sent_http_NAME #可以设置任意http响应头字段;变量名中的后半部分NAME可以替换成任意响应头字段,如需要设置响应头Content-length,$sent_http_content_length即可
3.2 Logstash捕获字段:
3.2.1 input组件
input {
beats {
port => 5044
}
}
3.2.2 output组件
output {
elasticsearch {
hosts => ["http://localhost:9200"]
index => "beat-mylog"
#user => "elastic"
#password => "changeme"
}
stdout { codec => rubydebug }
}
3.2.3 filter组件
官方文档:https://www.elastic.co/guide/en/logstash/6.4/filter-plugins.html
完整规格:
filter {
#正则捕获字段
grok {}
#字段类型转换
mutate {}
#时间数据赋值到另外字段
date {}
#删除数据
drop {}
}
3.2.3.1、Grok匹配日志字段:
a、新建分析nginx日志的配置logstash.conf
filter {
grok {
patterns_dir => ["/tools/install/logstash-6.4.3/patterns"]
match => {
"message" => "%{nginx_log}"
}
remove_field => ["message"]
}
date {
match => [ "logtime", "dd/MMM/yyyy:HH:mm:ss Z"]
target => "@timestamp"
}
}
b、捕获方法名 正则表达式
* 规则如下:
nginx_log %{IPORHOST:clientip} - %{USER:user} \[%{HTTPDATE:logtime}\] "(?:%{WORD:method} %{URIPATH:requestURI}(%{URIPARAM:parms}|)(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:status} %{NUMBER:bytes} (%{URIPARAM:parms}|-) %{QS:referrer} %{QS:agent} "(%{IPORHOST:forwordip}|-)" %{NUMBER:reqtime}
grok正则捕获:
https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns
kinbana测试正则捕获是否正确:
3.2.3.2、Mutate字段转换
Mutate转化器文档:
https://www.elastic.co/guide/en/logstash/current/plugins-filters-mutate.html#plugins-filters-mutate-convert
https://blog.csdn.net/cromma/article/details/52919742
Mutate作用:用于每个输出的字段作后续转换操作
convert:
将字段的值转换为另一种类型,如将字符串转换为整数。如果字段值是数组,则将转换所有成员。如果字段是散列,则不采取任何操作
mutate {
convert => {
"bytes" => "integer"
"reqtime" => "float"
}
}
lowercase & uppercase:
大小写转换,数组类型,字段名字作为数据元素。
mutate {
lowercase => [ "fieldname" ]
}
join:数组的分割字符串
使用固定连接符号,连接数组内的元素,如果给定的字段不是数组类型,什么也不做。
mutate {
split => ["message", "|"]
}
mutate {
join => ["message", ","]
}
#join处理前
"message" => “1|2|3|4”
#join处理后
"message" => “1,2,3,4”
merge:拼接字符串
字符串 + 字符串
数组 + 字符串
操作逻辑:把追加字段的字符拼接到目标字段字符上
mutate {
merge => { "目标字段" => "追加字段" }
}
split: 分割字符为数组
使用分隔符将字段拆分为数组。只对字符串字段有效。
mutate {
split => { "fieldname" => "," }
}
#split处理前
"message" => “1|2|3|4”
#split处理后
"message" => [
[0] "1",
[1] "2",
[2] "3",
[3] "4"
]
gsub:替换字符串
数组类型,没有默认设置。
该参数设置只针对string类型,如果不是string类型的,什么也不做。
mutate {
gsub => [
"agent", "\"", "",
"referrer", "\"", ""
]
}
strip:
从字段中删除空白。注意:这只适用于开头和结尾的空格。
mutate {
strip => ["field1", "field2"]
}
3.2.3.3、IP库:
geoip {
source => "clientip"
target => "geoip"
}
获取到的IP数据:
lat:维度 lon:经度
"geoip" => {
"country_code3" => "CN",
"latitude" => 39.9289,
"region_name" => "Beijing",
"location" => {
"lat" => 39.9289,
"lon" => 116.3883
}
3.2.3.4、Drop删除过滤器:
说明:把url中包含图片、css样式、js等文件不要录入日志统计
if ([requestURI] =~ "jpg|png|gif|css|js|ico"){
drop {}
}
3.2.3.5、使用新的配置文件启动:
nohup ./bin/logstash -f ./config/logstash.conf &
3.3 kibana界面配置:
界面配置:
https://www.elastic.co/guide/cn/kibana/current/tutorial-visualizing.html
1. 网站PV统计:
搜索统计条件:
配置搜索文件beat*:
2. 时间段访问字节汇总
配置Pie图形
统计方式:统计数量、汇总总数、排行统计等
统计的相关字段:可以统计多个字段,约束“时间”基础上再约束“字节数”
3. 耗时页面统计
配置柱状图
y轴耗时汇总:
x轴按地址划分统计:
再按时间拆分:
3.4 kibana统计汇总面板:
在线
客服在线
客服
问题汇总:
1、错误内容:"No cached mapping for this field, refresh your mapping from the Settings > Indices page"
解决方案:
因为Elasticsearch有更改过字段类型,所以Kibana之前映射的字段类型和更改索引之后的字段类型都不同了
2、报警黄灯:
PUT aptech-test
{
"settings" : { "number_of_shards" : 5, "number_of_replicas" : 0 }
}
是因为设置了多份副本number_of_replicas的原因,当前是单机的,只能是0副本
3.4 部署静态网站(用于测试):
3.4.1 安装nginx
yum install nginx
3.4.2 拷贝静态网站
* 把test.zip静态网站放到 /tools/apps
* 跳板机拷贝:scp -P 22 ./cpts_1406_cdz.zip root@IP:/tools/apps
* unzip 解压test.zip
3.4.3 nginx配置
worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent $request_body "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for" $request_time';
sendfile on;
keepalive_timeout 65;
server {
listen 80;
server_name localhost;
access_log /data/logs/nginx.access.log main;
location / {
root /tools/apps/;
index index.html index.htm;
}
error_page 404 /404.html;
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}
3.4.4 启动nginx
启动:nginx -c /etc/nginx/nginx.conf
停止:nginx -s stop
外网访问:http://公网IP:80
=========== 其他相关 ============
启动elasticsearch:./bin/elasticsearch -d
内网:http://局域网ip:9200/?pretty
外网:无
启动kibana:nohup ./bin/kibana &
内网:http://局域网ip:5601
外网:http://公网ip:5601
启动logstash: nohup ./bin/logstash -f ./config/logstash.conf &
内网:http://局域网ip:9600
外网:无
logstash接收数据
TCP监听端口:5044
验证: telnet 内网ip 5044
启动filebeat: nohup ./filebeat -c ./filebeat.yml &
内网:无
外网:无
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
分享标题:ELK大数据分析课程-创新互联
网页链接:http://pwwzsj.com/article/djcppd.html