基于TBDS的flume异常问题怎么排查

这篇文章主要讲解了“基于TBDS的flume异常问题怎么排查”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“基于TBDS的flume异常问题怎么排查”吧！

创新互联专注于常宁企业网站建设,响应式网站,电子商务商城网站建设。常宁网站建设公司,为常宁等地区提供建站服务。全流程定制设计，专业设计，全程项目跟踪，创新互联专业和态度为您提供的服务

现象

长期运营中发现部署了flume集群的磁盘满，经过排查发现flume的日志目录导致。

具体问题

具体看flume的大文件日志发现，某个MySQL相关的sink持续抛出异常，打印了大量的日志
基于TBDS的flume异常问题怎么排查

分析过程

根据这个异常信息（exception）即：
com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: No operations allowed after statement closed
字面意思为MySQL服务的状态（连接）已经关闭的状态下，仍然有提交事务操作，抛出了异常，但这个异常持续抛出，仍需要深入分析。

配置分析

既然是flume抛出的，且与MySQL有关，那缩小问题范围，查找flume里谁在写MySQL。（flume的配置一般位于/etc/flume/conf/agent/flume.conf）
基于TBDS的flume异常问题怎么排查

关闭阶段仅仅检查连接是否存在。

可能的原因

从sink的逻辑看，只有在空连接的情况下，sink状态才会是BACKOFF，其他情况下状态都是READY，且在向MySQL提交事务前后，不会检查连接状态，即使在SQL抛出异常的情况下也没有修改sink状态，导致提交抛出异常后，sink循环执行，循环抛出异常。这里就是不断抛出异常的根本。那么连接到底是什么时候关闭的呢？这里的原因猜测有2个：(1)sink长时间与MySQL没有交互，超过连接自动关闭时间；(2)MySQL的异常关闭。