千家信息网

【总结】Hadoop配置文件core-site.xml

发表于:2024-11-20 作者:千家信息网编辑
千家信息网最后更新 2024年11月20日,fs.defaultFS hdfs://ns1 缺省文件服务的协议和NS逻辑名称,和hdfs-site里的对应此配置替代了1.0里的fs.default.name,ns1 与 hdfs-sit
千家信息网最后更新 2024年11月20日【总结】Hadoop配置文件core-site.xml
fs.defaultFS    hdfs://ns1  缺省文件服务的协议和NS逻辑名称,和hdfs-site里的对应此配置替代了1.0里的fs.default.name,ns1 与 hdfs-site.xml中的dfs.nameservices配置项对应hadoop.tmp.dir    /hadoop/1/tmp/hadoop-${user.name}${hue.suffix}  A base for other temporary directories.存放一些解压jar包后的class文件,类似 hadoop-unjar3569575687995621667,hdfs-site.xml配置文件中dfs.namenode.name.dir;dfs.datanode.data.dir;dfs.namenode.checkpoint.dir等配置项会用到该配置项内容        io.compression.codecs                    org.apache.hadoop.io.compress.DefaultCodec,            org.apache.hadoop.io.compress.GzipCodec,            com.hadoop.compression.lzo.LzopCodec,            org.apache.hadoop.io.compress.BZip2Codec,            org.apache.hadoop.io.compress.SnappyCodec,            org.apache.hadoop.io.compress.Lz4Codec                提供压缩/解压的java工具        io.file.buffer.size        131072  128M        SequenceFiles在读写中可以使用的缓存大小,在x86系统上一般配置4096倍数;决定了在读写过程当中,有多大的缓存        ha.zookeeper.quorum        nn1.cc.bi:2181,nn2.cc.bi:2181,s1.cc.bi:2181        A list of ZooKeeper server addresses, separated by commas, that are to be used by the ZKFailoverController in automatic failover        ipc.client.connection.maxidletime        60000        超出客户端与服务器连接的最大空闲期maxidletime,断开服务器与客户端的连接        io.seqfile.compression.type        BLOCK        Hadoop SequenceFile 是一个由二进制形式key/value的字节流组成的存储文件,SequenceFile可压缩可切分,非常适合hadoop文件存储特 性,SequenceFile的写入由SequenceFile.Writer来实现, 根据压缩类型SequenceFile.Writer又派生出两个子类SequenceFile.BlockCompressWriter和 SequenceFile.RecordCompressWriter, 压缩方式由SequenceFile类的内部枚举类CompressionType来表示,定义了三种方式[NONE|RECORD|BLOCK],CompressionType.NONE 时 记录信息不压缩CompressionType.RECORD 时 记录信息压缩(单条记录压缩)CompressionType.BLOCK  一个block内会有多条记录组成,压缩是作用在block之上的,比RECODE方式能获得更好的压缩比    topology.script.file.name    /usr/local/hadoop/etc/hadoop/topology.sh    机架识别脚本




0