平武建站

【总结】Hadoop配置文件core-site.xml-创新互联


fs.defaultFS
    hdfs://ns1
  缺省文件服务的协议和NS逻辑名称，和hdfs-site里的对应此配置替代了1.0里的
fs.default.name，ns1 与 
hdfs-site.xml中的dfs.nameservices配置项对应



hadoop.tmp.dir
    /hadoop/1/tmp/hadoop-${user.name}${hue.suffix}
  A base for other temporary 
directories.存放一些解压jar包后的class文件，类似 
hadoop-unjar3569575687995621667，hdfs-site.xml配置文件中
dfs.namenode.name.dir；dfs.datanode.data.dir；dfs.namenode.checkpoint.dir等
配置项会用到该配置项内容



        io.compression.codecs
        
            org.apache.hadoop.io.compress.DefaultCodec,
            org.apache.hadoop.io.compress.GzipCodec,
            com.hadoop.compression.lzo.LzopCodec,
            org.apache.hadoop.io.compress.BZip2Codec,
            org.apache.hadoop.io.compress.SnappyCodec,
            org.apache.hadoop.io.compress.Lz4Codec
        
        提供压缩/解压的java工具



        io.file.buffer.size
        131072  128M
        SequenceFiles在读写中可以使用的缓存大小，在x86系统上一般配置4096倍数；决定了在读写过程当中，有多大的缓存



        ha.zookeeper.quorum
        nn1.cc.bi:2181,nn2.cc.bi:2181,s1.cc.bi:2181
  
      A list of ZooKeeper server addresses, separated
 by commas, that are to be used by the ZKFailoverController in automatic
 failover



        ipc.client.connection.maxidletime
        60000
        超出客户端与服务器连接的大空闲期maxidletime，断开服务器与客户端的连接



        io.seqfile.compression.type
        BLOCK
  
      Hadoop SequenceFile 
是一个由二进制形式key/value的字节流组成的存储文件,SequenceFile可压缩可切分，非常适合hadoop文件存储特 
性,SequenceFile的写入由SequenceFile.Writer来实现, 
根据压缩类型SequenceFile.Writer又派生出两个子类SequenceFile.BlockCompressWriter和 
SequenceFile.RecordCompressWriter, 
压缩方式由SequenceFile类的内部枚举类CompressionType来表示，定义了三种方式[NONE|RECORD|BLOCK]，
CompressionType.NONE 时 记录信息不压缩
CompressionType.RECORD 时 记录信息压缩(单条记录压缩)
CompressionType.BLOCK  一个block内会有多条记录组成,压缩是作用在block之上的，比RECODE方式能获得更好的压缩比




    topology.script.file.name
    /usr/local/hadoop/etc/hadoop/topology.sh
    机架识别脚本

成都创新互联公司主营中牟网站建设的网络公司,主营网站建设方案,app软件开发公司,中牟h5小程序开发搭建,中牟网站营销推广欢迎中牟等地区企业咨询

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。


文章题目：【总结】Hadoop配置文件core-site.xml-创新互联
转载来源：http://pwwzsj.com/article/phhsh.html

其他资讯