Hadoop故障处理-创新互联

故障描述:

创新互联主打移动网站、成都网站制作、网站设计、外贸网站建设、网站改版、网络推广、网站维护、域名注册、等互联网信息服务,为各行业提供服务。在技术实力的保障下,我们为客户承诺稳定,放心的服务,根据网站的内容与功能再决定采用什么样的设计。最后,要实现符合网站需求的内容、功能与设计,我们还会规划稳定安全的技术方案做保障。

 以前上传图片以及文件是通过nginx的配置来上传和下载图片,文件存储用的是Hadoop作为文件存储,昨晚上仿真的过程中,上传图片过程中无法连接Hadoop,发现问题很多:处理完连接报错后,还是不能上传图片,各种报错。。。。

处理思路:

 一般的故障信息都是日志来入手的。从上传图片的整个过程:从前端nginx代理后接入tomcat上传图片的实例的日志报错信息排除

 之前是Hadoop的配置中hdfs的端口修改了9100,但是tomcat的上传文件的实例中application.properties的配置文件的地址配置有问题,这些是排查故障前发生的问题,修改后还是有问题,然后继续如下的排查!

nginx的配置正常的前提下报错:

实际日志报错信息:

    首先打开nginx的日志错误日志报的是连接tomcat超时:

[root@web01 server]# tail -100f /webserver/nginx/nginx-upload/logs/error.log

2016/07/10 11:26:51 [error] 18444#0: *17007 upstream timed out (110: Connection timed out) while reading response header from upstream, client: 123.125.138.174, server: online.898china.com, request: "POST /innospace-file-server/file/upload.json?x=100&y=100&w=200&h=200&userId=87 HTTP/1.1", upstream:

发现nginx连接tomcat超时,此时排查到上传文件的tomcat实例有问题,直接定位到innospace-file-server的日志在看错误信息:

[root@web01 server]# tail -1000f /webserver/tomcat/innospace-file-server/logs/catalina.out

[ERROR] 2016-07-10 11:13:49,958 com.inno.innospace.utils.HDFSUtil - 上传文件失败

java.io.IOException: Bad connect ack with firstBadLink as 10.24.198.117:50010

    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1460) ~[hadoop-hdfs-2.6.3.jar:?]

    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1361) ~[hadoop-hdfs-2.6.3.jar:?]

    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:588) ~[hadoop-hdfs-2.6.3.jar:?]

到这里还真不知道哪里出现的问题,最好只好百度一下:

Hadoop故障处理

  发现与防火墙有关,数据在Hadoop上存储的是在从slave的节点上,连接Hadoop主的过程需要50010端口连接,最终在防火墙开启50010端口

iptables -A INPUT -p tcp --dport 50010 -j ACCEPT

开启之后问题解决了。

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


当前名称:Hadoop故障处理-创新互联
文章源于:http://pwwzsj.com/article/djephp.html