Python怎么解析nginx日志-创新互联
创新互联www.cdcxhl.cn八线动态BGP香港云服务器提供商,新人活动买多久送多久,划算不套路!
超过十年行业经验,技术领先,服务至上的经营模式,全靠网络和口碑获得客户,为自己降低成本,也就是为客户降低成本。到目前业务范围包括了:成都做网站、网站建设,成都网站推广,成都网站优化,整体网络托管,成都小程序开发,微信开发,App定制开发,同时也可以让客户的网站和网络营销和我们一样获得订单和生意!这篇文章运用简单易懂的例子给大家介绍Python怎么解析nginx日志,代码非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。
Python项目的一个需求是解析nginx的日志文件,这里给出详细过程解析。
日志规则描述
首先要明确自己的Nginx的日志格式,这里采用默认Nginx日志格式:
log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"';
其中一条真实记录样例如下:
代码如下:
172.22.8.207 - - [16/Dec/2014:17:57:35 +0800] "GET /report?DOmjjuS6keWJp+WculSQAgdUkAIPODExMzAwMDJDN0FC HTTP/1.1" 200 0 "-" "XXXXXXX/1.0.16; iPhone/iOS 8.1.2; ; 8DA77E2F91D0"
其中,客户端型号信息用XXXXXXX代替。
项目中已经按照业务规则对Nginx日志文件进行了处理命名规则如下:
ID-ID-YYMMDD-hhmmss
并且所有的日志文件存放在统一路径下。
解决思路
获取所有日志文件path
这里使用Python的glob模块来获取日志文件path
import glob def readfile(path): return glob.glob(path + '*-*-*-*')
获取日志文件中每一行的内容
使用Python的linecache模块来获取文件行的内容
import linecache def readline(path): return linecache.getlines(path)
注意:linecache模块使用了缓存,所以存在以下问题:
在使用linecache模块读取文件内容以后,如果文件发生了变化,那么需要使用linecache.updatecache(filename)来更新缓存,以获取最新变化。
linecache模块使用缓存,所以会耗费内存,耗费量与要解析的文件相关。最好在使用完毕后执行linecache.clearcache()清空一下缓存。
当然,作为优化,这里可以利用生成器来进行优化。暂且按下不表。
处理日志条目
一条日志信息就是一个特定格式的字符串,因此使用正则表达式来解析,这里使用Python的re模块。
下面,一条一条建立规则:
规则
ip = r"?P[\d.]*" date = r"?P \d+" month = r"?P \w+" year = r"?P \d+" log_time = r"?P
解析
代码如下:
p = re.compile(r"(%s)\ -\ -\ \[(%s)/(%s)/(%s)\:(%s)\ [\S]+\]\ \"(%s)?[\s]?(%s)?.*?\"\ (%s)\ (%s)\ \"(%s)\"\ \"(%s).*?\"" %( ip, date, month, year, log_time, method, request, status, bodyBytesSent, refer, userAgent ),\ re.VERBOSE) m = re.findall(p, logline)
这样,就可以得到日志条目中各个要素的原始数据。
格式及内容转化
得到日志原始数据之后,需要根据业务要求,对原始数据进行格式及内容转化。
这里需要处理的内容包括:时间,request,userAgent
时间格式转化
在日志信息原始数据中存在Dec这样的信息,利用Python的time模块可以方便的进行解析
import time def parsetime(date, month, year, log_time): time_str = '%s%s%s %s' %(year, month, date, log_time) return time.strptime(time_str, '%Y%b%d %H:%M:%S')
解析request
在日志信息原始数据中得到的request的内容格式为:
/report?XXXXXX
这里只需要根据协议取出XXXXXX即可。
这里仍然采用Python的re模块
import re def parserequest(rqst): param = r"?P.*" p = re.compile(r"/report\?(%s)" %param, re.VERBOSE) return re.findall(p, rqst)
接下来需要根据业务协议解析参数内容。这里需要先利用base64模块解码,然后再利用struct模块解构内容:
import struct import base64 def parseparam(param): decodeinfo = base64.b64decode(param) s = struct.Struct('!x' + bytes(len(decodeinfo) - (1 + 4 + 4 + 12)) + 'xii12x') return s.unpack(decodeinfo)
解析userAgent
在日志信息原始数据中userAgent数据的格式为:
XXX; XXX; XXX; XXX
根据业务要求,只需要取出最后一项即可。
这里采用re模块来解析。
import re def parseuseragent(useragent): agent = r"?P.*" p = re.compile(r".*;.*;.*;(%s)" %agent, re.VERBOSE) return re.findall(p, useragent)
至此,nginx日志文件解析基本完成。
剩下的工作就是根据业务需要,对获得的基本信息进行处理。
关于Python怎么解析nginx日志就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。
本文名称:Python怎么解析nginx日志-创新互联
网页URL:http://pwwzsj.com/article/ijcdp.html