博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
在执行bin/hadoop checknative 命令时
阅读量:4188 次
发布时间:2019-05-26

本文共 2187 字,大约阅读时间需要 7 分钟。

刚装的hadoop2.2的集群,在执行bin/hadoop checknative 命令时,出现如下警告:

bizip2的的本地压缩支持无效,整个编译过程,并没有出现任何错误,或异常,而且去cenots下的lib64位目录下,查看libbz2的so文件,发现也正常

Java代码  
  1. [root@ph2 hadoop-2.2.0]# ll /lib64/libb*  
  2. lrwxrwxrwx. 1 root root     17 7月  16 01:49 /lib64/libblkid.so.1 -> libblkid.so.1.1.0  
  3. -rwxr-xr-x. 1 root root 136136 11月 22 2013 /lib64/libblkid.so.1.1.0  
  4. lrwxrwxrwx. 1 root root     15 7月  16 01:49 /lib64/libbz2.so.1 -> libbz2.so.1.0.4  
  5. -rwxr-xr-x. 1 root root  67592 6月  25 2011 /lib64/libbz2.so.1.0.4  
  6. [root@ph2 hadoop-2.2.0]#   
[root@ph2 hadoop-2.2.0]# ll /lib64/libb*lrwxrwxrwx. 1 root root     17 7月  16 01:49 /lib64/libblkid.so.1 -> libblkid.so.1.1.0-rwxr-xr-x. 1 root root 136136 11月 22 2013 /lib64/libblkid.so.1.1.0lrwxrwxrwx. 1 root root     15 7月  16 01:49 /lib64/libbz2.so.1 -> libbz2.so.1.0.4-rwxr-xr-x. 1 root root  67592 6月  25 2011 /lib64/libbz2.so.1.0.4[root@ph2 hadoop-2.2.0]#

那么问题出现在哪里呢? 经google查找,发现这是hadoop2.3之前版本都有的一个问题,具体的原因,请点击问题的具体原因,就是因为在编译hadoop时,由于centos系统没有安装bzip2-devel库文件,导致的,然后,散仙在本机上使用命令:

Java代码  
  1. rpm -qa bzip2-devel  
rpm -qa bzip2-devel

查询是否安装这个库,结果,果然没有安装,知道原因后,解决就很简单了,使用
yum install -y  bzip2-devel命令,安装bzip2-devel库支持,然后重新编译我们的hadoop即可。
编译完成后,再次执行bin/hadoop checknative命令后,发现已经支持bzip2,压缩:

Java代码  
  1. [root@ph2 hadoop-2.2.0]# bin/hadoop checknative  
  2. 14/12/17 02:04:56 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native  
  3. 14/12/17 02:04:56 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library  
  4. Native library checking:  
  5. hadoop: true /root/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/lib/native/libhadoop.so.1.0.0  
  6. zlib:   true /lib64/libz.so.1  
  7. snappy: false   
  8. lz4:    true revision:43  
  9. bzip2:  true /lib64/libbz2.so.1  
  10. [root@ph2 hadoop-2.2.0]#   
[root@ph2 hadoop-2.2.0]# bin/hadoop checknative14/12/17 02:04:56 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native14/12/17 02:04:56 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib libraryNative library checking:hadoop: true /root/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/lib/native/libhadoop.so.1.0.0zlib:   true /lib64/libz.so.1snappy: false lz4:    true revision:43bzip2:  true /lib64/libbz2.so.1[root@ph2 hadoop-2.2.0]#

 

转载地址:http://nxjoi.baihongyu.com/

你可能感兴趣的文章
[软工]此EUP非彼EUP
查看>>
[软工]近距离接触RUP plug-in
查看>>
[需求]需求分析能力之一:用流程图说话
查看>>
[需求]需求分析能力之二:引入领域模型
查看>>
[软工] 楼上SLM 雏形具现
查看>>
[个人]百度裁员录音门
查看>>
[领域]一个简单的UML应用题
查看>>
[需求]需求分析能力之样例:引入领域模型的前前后后
查看>>
[瞭望站] 客户同我们一起成长。。。
查看>>
[软工]谁说MDA不需要设计?
查看>>
[软工]理想向左,现实向右
查看>>
[瞭望]从西溪湿地到中山古镇 --看“经营政府”
查看>>
[软工]RMC的目录导航结构详解
查看>>
[瞭望]冷静,过热的虚假繁荣
查看>>
[领域]从业务到抽象,再到业务 (1)
查看>>
[领域]从业务到抽象,再到业务(2)
查看>>
[豆趣]儿童读物
查看>>
[软工]说不
查看>>
[瞭望]关于Ruby on rails
查看>>
领域]在实践中展望。。。(写给DDD注释版)
查看>>