`
qindongliang1922
  • 浏览: 2141196 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
7265517b-f87e-3137-b62c-5c6e30e26109
证道Lucene4
浏览量:116015
097be4a0-491e-39c0-89ff-3456fadf8262
证道Hadoop
浏览量:124371
41c37529-f6d8-32e4-8563-3b42b2712a50
证道shell编程
浏览量:58247
43832365-bc15-3f5d-b3cd-c9161722a70c
ELK修真
浏览量:70192
社区版块
存档分类
最新评论

hadoop升级小记

阅读更多
迎合技术发展,公司最近需要对原有的hadoop进行升级操作,升级前的hadoop为1.2.1的版本,升级后的hadoop为hadoop2.2.0的版本,下面散仙总结下升级心得:

(1)hadoop的hdfs系统,支持不同的hadoop版本之间的数据平滑过渡,比如可以直接将Hadoop1.x的数据,升级到hadoop2.x的HDFS上,能够这样升级是最好了,直接从HDFS上进行过渡。此种方法适合同种hadoop版本之间的升级什么意思呢,就是apache hadoop只能和apache hadoop直接升级,而不能跨版本和CDH的hadoop升级,容易出现问题。

(2)如果是跨版本的hadoop升级,从Apache过渡到CDH的Hadoop,或者从CDH的hadoop过渡到Apache的hadoop,那么使用的办法,只能是数据的迁移了,把apache hadoop上的HDFS上的数据拷贝到CDH的hadoop即可。
当然如果你在同种版本之间升级失败了,你也可以直接把低版本的数据直接拷贝到高版本的hadoop上,即可。

下面开始正文:

1. 升级前原来的hadoop1.x的集群,先做数据备份,主要是对hadoop1.x集群上HDFS上的数据做备份,执行命令
2. hadoop  fs  -copyToLocal  hdfs上的数据目录  本地磁盘数据   将hadoop1.x上的HDFS上的数据备份下来。
3. 数据备完后,如有必要,可对hdfs-site.xml里面的dfs.name.dir和dfs.data.dir的路径指定的元数据进行备份,防止出现升级失败造成的不必要的损失
4. 第二步完成后,即可停掉hadoop1.x的集群,注意查看备份后的数据是否与HDFS上的一样。
5. 停掉集群后,需要修改环境变量,因为Hadoop1.x和Hadoop2.x的环境变量有一处不一样,就是conf目录的路径,如下所示:

export JAVA_HOME="/usr/local/jdk"
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/home/search/hadoop
hadoop1.x的路径
export HADOOP_CONF_DIR=$HADOOP_HOME/conf
hadoop2.x的路径
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export CLASSPATH=.:$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export ANT_HOME=/usr/local/ant
export CLASSPATH=$CLASSPATH:$ANT_HOME/lib
export PATH=$PATH:$ANT_HOME/bin

export MAVEN_HOME="/usr/local/maven"
export CLASSPATH=$CLASSPATH:$MAVEN_HOME/lib
export PATH=$PATH:$MAVEN_HOME/bin

更改后,注意需要把/etc/profile.d/java.sh分发给各个机器。

6,开始配置安装hadoop2.2.0,上传hadoop2.2.0的压缩包,并解压,解压后,进入etc/hadoop目录配置core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml,配置属性,参照1.x的配置。
core-site.xml里面的内容如下(部分设置参数需要根据机器实际情况做改变):

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop1:8020</value>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/search/tmp</value>
  </property>
  <property>
    <name>hadoop.proxyuser.hadoop.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.hadoop.groups</name>
    <value>*</value>
  </property>
  <property>
    <name>io.native.lib.available</name>
    <value>true</value>
  </property>

</configuration>


hdfs-site.xml里面的内容如下(部分设置参数需要根据机器实际情况做改变):
<configuration>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop1:8021</value>
</property>
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>
<property>
        <name>dfs.blocksize</name>
        <value>134217728</value>
</property>
<property>
        <name>dfs.namenode.handler.count</name>
        <value>20</value>
</property>
<property>
        <name>dfs.datanode.max.xcievers</name>
        <value>65535</value>
</property>
<property>
        <name>dfs.replication</name>
        <value>2</value>
</property>
<property>
      <name>dfs.namenode.name.dir</name>
      <value>/data/hadoop-nd</value>
</property>
<property>
      <name>dfs.datanode.data.dir</name>
      <value>/data/hadoop-dd</value>
</property>
<property>
      <name>dfs.tmp.dir</name>
      <value>/data/hadooptmp</value>
</property>
<property>
      <name>dfs.support.broken.append</name>
      <value>true</value>
</property>
<property>
      <name>dfs.permissions.enabled</name>
      <value>false</value>
</property>
</configuration>

mapred-site.xml里面的内容如下(部分设置参数需要根据机器实际情况做改变):
<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.jobtracker.address</name>
    <value>hadoop1:8021</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop1:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop1:19888</value>
</property>
<property>
    <name>mapred.max.maps.per.node</name>
    <value>8</value>
</property>
<property>
    <name>mapred.max.reduces.per.node</name>
    <value>4</value>
</property>
<property>
    <name>mapreduce.map.memory.mb</name>
    <value>4096</value>
</property>
<property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx3072M</value>
</property>

<property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>8192</value>
</property>
<property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Xmx6144M</value>
</property>
<property>
    <name>mapreduce.task.io.sort.mb</name>
    <value>512</value>
</property>
<property>
    <name>mapreduce.task.io.sort.factor</name>
    <value>100</value>
</property>
</configuration>

yarn-site.xml里面的内容如下(部分设置参数需要根据机器实际情况做改变):
<configuration>
 
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>hadoop1:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>hadoop1:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>hadoop1:8031</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>hadoop1:8033</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>hadoop1:8088</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>  
    <description>Classpath for typical applications.</description>  
    <name>yarn.application.classpath</name>  
    <value>$HADOOP_CONF_DIR
    ,$HADOOP_COMMON_HOME/share/hadoop/common/*
    ,$HADOOP_COMMON_HOME/share/hadoop/common/lib/*
    ,$HADOOP_HDFS_HOME/share/hadoop/hdfs/*
    ,$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*
    ,$YARN_HOME/share/hadoop/yarn/*</value>  
  </property> 

<!-- Configurations for NodeManager -->
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>10240</value>
  </property>
</configuration>

(1)需要改动的地方,在原来的环境变量里java.sh里面,修改hadoop的conf的路径
改完后,记得scp到各个节点里的/etc/profile.d/路径下,并将原来hadoop1.x的hadoop目录更改为hadoop1.xold,将hadoop2.2.0的目录重命名为hadoop(可以新建个软连接)
(2)注意在hdfs-site.xml里面的namenode的dir和datanode.dir指向原来hadoop1.x的元数据地址。
(3)查看原来的本机是否为计算节点(TaskTracker),如果不是,slaves里面就不要添加本机的节点信息,slaves里面统一添加hosts里面映射的name信息。
(4)一切配置完毕后,用scp进行分发,每个节点上发一个
(5)无须进行格式化操作,直接启动集群,然后查看namenode.log,发现里面抛出error错误,说大概意思你有hdfs文件需要升级:

File system image contains an old layout version -41.
An upgrade to version -47 is required.
Please restart NameNode with -upgrade option.
        at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:221)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:787)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:568)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:443)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:491)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:684)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:669)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1254)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1320)
2014-07-17 00:21:29,770 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1
2014-07-17 00:21:29,773 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:



然后,停掉hadoop2.2.0的集群,准备执行升级,命令如下:
sbin/hadoop-daemon.sh start namenode -upgrade
然后查看,hadoop-namenode.log发现没有原来的的异常,就代表升级成功。此时
可以先停掉hadoop.2.2.0,执行命令stop-all.sh ,然后重新启动集群,start-all.sh,再次查看namenode.log如果不出错,就代表升级成功了,可以hadoop fs -ls / 查看HDFS上的文件,查看升级后的文件,如果升级失败,清空hadoop2.2.0的集群元数据,格式化namenode,重启hadoop2.2.0的集群,直接把原来hadoop1.x的备份数据,上传到
hadoop2.2.0的集群即可。


注意原来hadoop1的文件参数,hadoop2的对应的配置文件参数一致即可


查看各个节点上的jps进程,发现没有问题,,可以跑个基准测试


Hadoop自带一些基准测试程序,用来测试集群性能。例如:
如下的这个程序,会现在每个节点生成1个G的随机数字,然后排序出结果:
(1)./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar randomwriter rand
(2)./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar sort rand sort-rand
第一个命令会在rand 目录的生成没有排序的数据。第二个命令会读数据,排序,然后写入rand-sort 目录。


(3)顺便记录下,hadoop1.x的基准测试命令:
生成数据
hadoop jar hadoop-examples-1.2.1.jar teragen 10000000 input
排序输出
hadoop jar hadoop-examples-1.2.1.jar terasort  input output




如果启动后的hadoop是安全模式的话,可以手动执行hadoop dfsadmin -safemode leave 退出安全模式。
分享到:
评论

相关推荐

    hadoop1升级hadoop2步骤

    hadoop1升级到hadoop2具体步骤及方法

    Hadoop的升级和回滚

    要升级了、要回滚了、升级和回滚、Hadoop如何升级和回滚

    hadoop2.7.3 hadoop.dll

    在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path追加%HADOOP_HOME%\bin,有可能出现如下错误: org.apache.hadoop.io.nativeio.NativeIO$Windows....

    hadoop-3.3.4 版本(最新版)

    Apache Hadoop (hadoop-3.3.4.tar.gz)项目为可靠、可扩展的分布式计算开发开源软件。官网下载速度非常缓慢,因此将hadoop-3.3.4 版本放在这里,欢迎大家来下载使用! Hadoop 架构是一个开源的、基于 Java 的编程...

    cdh升级文档

    最新cdh5.11.2升级 hadoop 最新cdh5.11.2升级 hadoop

    《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf

    《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf...

    Hadoop下载 hadoop-2.9.2.tar.gz

    Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...

    Hadoop下载 hadoop-3.3.3.tar.gz

    Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...

    Hadoop权威指南 中文版

    本书从hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍hado叩这一高性能处理海量数据集的理想工具。全书共14章,3个附录,涉及的主题包括:haddoop简介:mapreduce简介:hadoop分布式文件系统;hadoop的i...

    hadoop_tutorial hadoop入门经典

    hadoop_tutorial hadoop入门经典 Hadoop 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。...

    hadoop2.7.3 Winutils.exe hadoop.dll

    hadoop2.7.3 Winutils.exe hadoop.dll

    hadoop的dll文件 hadoop.zip

    hadoop的dll文件 hadoop.zip

    hadoop最新版本3.1.1全量jar包

    hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...

    Hadoop集群pdf文档

    Hadoop 集群配置详解 Hadoop_Hadoop集群(第1期)_CentOS安装配置 Hadoop_Hadoop集群(第2期)_机器信息分布表 Hadoop_Hadoop集群(第4期)_SecureCRT使用 Hadoop_Hadoop集群(第5期)_Hadoop安装配置 Hadoop_Hadoop...

    hadoop配置资源 ,hadoop-3.0.0,hadoop.dll,winutils

    调用保存文件的算子,需要配置Hadoop依赖 将文件夹中的 hadoop-3.0.0 解压到电脑任意位置 在Python代码中使用os模块配置:os.environ[‘HADOOP_HOME’] = ‘HADOOP解压文件夹路径’ winutils.exe,并放入Hadoop解压...

    Hadoop大数据资料集锦

    Hadoop大数据资料集锦Hadoop大数据资料集锦Hadoop大数据资料集锦Hadoop大数据资料集锦

    hadoop2.6.0 hadoop.dll包括winutils.exe

    hadoop2.6.0 hadoop.dll包括winutils.exe

    hadoop-3.1.3安装包

    Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合...

    hadoop的hadoop.dll和winutils.exe

    hadoop hadoop的hadoop.dll和winutils.exe 解决方法, 把winutils.exe加入你的hadoop-x.x.x/bin下 Could not locate executable null\bin\winutils.exe in the Hadoop binaries

    Hadoop多版本 hadoop.dll和winutils.exe 下载

    支持如下版本的Hadoop hadoop-2.6.0 hadoop-2.6.3 hadoop-2.6.4 hadoop-2.7.1 hadoop-2.8.1 hadoop-2.8.3 hadoop-3.0.0

Global site tag (gtag.js) - Google Analytics