`
qindongliang1922
  • 浏览: 2141188 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
7265517b-f87e-3137-b62c-5c6e30e26109
证道Lucene4
浏览量:116015
097be4a0-491e-39c0-89ff-3456fadf8262
证道Hadoop
浏览量:124371
41c37529-f6d8-32e4-8563-3b42b2712a50
证道shell编程
浏览量:58247
43832365-bc15-3f5d-b3cd-c9161722a70c
ELK修真
浏览量:70192
社区版块
存档分类
最新评论

Hadoop2.2安装出现不支持bzip2压缩问题原因分析

阅读更多
刚装的hadoop2.2的集群,散仙在执行bin/hadoop checknative 命令时,出现如下警告:




bizip2的的本地压缩支持无效,整个编译过程,并没有出现任何错误,或异常,而且去cenots下的lib64位目录下,查看libbz2的so文件,发现也正常
[root@ph2 hadoop-2.2.0]# ll /lib64/libb*
lrwxrwxrwx. 1 root root     17 7月  16 01:49 /lib64/libblkid.so.1 -> libblkid.so.1.1.0
-rwxr-xr-x. 1 root root 136136 11月 22 2013 /lib64/libblkid.so.1.1.0
lrwxrwxrwx. 1 root root     15 7月  16 01:49 /lib64/libbz2.so.1 -> libbz2.so.1.0.4
-rwxr-xr-x. 1 root root  67592 6月  25 2011 /lib64/libbz2.so.1.0.4
[root@ph2 hadoop-2.2.0]# 


那么问题出现在哪里呢? 经google查找,发现这是hadoop2.3之前版本都有的一个问题,具体的原因,请点击此处问题的具体原因,就是因为在编译hadoop时,由于centos系统没有安装bzip2-devel库文件,导致的,然后,散仙在本机上使用命令:
rpm -qa bzip2-devel

查询是否安装这个库,结果,果然没有安装,知道原因后,解决就很简单了,使用
yum install -y  bzip2-devel命令,安装bzip2-devel库支持,然后重新编译我们的hadoop即可。

编译完成后,再次执行bin/hadoop checknative命令后,发现已经支持bzip2,压缩:
[root@ph2 hadoop-2.2.0]# bin/hadoop checknative
14/12/17 02:04:56 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native
14/12/17 02:04:56 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native library checking:
hadoop: true /root/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/lib/native/libhadoop.so.1.0.0
zlib:   true /lib64/libz.so.1
snappy: false 
lz4:    true revision:43
bzip2:  true /lib64/libbz2.so.1
[root@ph2 hadoop-2.2.0]# 





  • 大小: 49.2 KB
  • 大小: 185 KB
0
3
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics