在配置hadoop1.x的集群时,如果我们在hdfs-site.xml里面,如果明确指定了dfs的路径,需要设置下dfs.data.dir的权限,下面是散仙在Hadoop1.2.0里面的配置:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/search/hadoop/hadoopnd</value>
</property>
<!-- 注意这个文件夹目录需要单独设置755权限,否则会报异常,在Hadoop2.2.0中不存在这个问题 -->
<property>
<name>dfs.data.dir</name>
<value>/home/search/hadoop/hadoopdd</value>
</property>
<property>
<name>dfs.tmp.dir</name>
<value>/home/search/hadoop/tmp</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
异常详情:
[search@ph1 logs]$ tail -100f hadoop-search-datanode-ph1.log
2014-07-16 22:08:58,139 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting DataNode
STARTUP_MSG: host = ph1/192.168.46.23
STARTUP_MSG: args = []
STARTUP_MSG: version = 1.2.0
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1479473; compiled by 'hortonfo' on Mon May 6 06:59:37 UTC 2013
STARTUP_MSG: java = 1.7.0_25
************************************************************/
2014-07-16 22:08:58,463 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2014-07-16 22:08:58,485 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
2014-07-16 22:08:58,487 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
2014-07-16 22:08:58,487 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: DataNode metrics system started
2014-07-16 22:08:58,664 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.
2014-07-16 22:08:58,779 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /home/search/hadoop/hadoopdd, expected: rwxr-xr-x, while actual: rwxrwxr-x
2014-07-16 22:08:58,779 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.
2014-07-16 22:08:58,779 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode
2014-07-16 22:08:58,784 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at ph1/192.168.46.23
************************************************************/
注意日志里面warn和error处的信息,
出现这个异常,会导致DataNode启动失败,解决办法:
使用root用户,给这个文件夹赋值755权限,执行命令如下:
chmod 755 -R /home/search/hadoop-1.2.0/hadoopdd
分享到:
相关推荐
Hadoop datanode启动失败:Hadoop安装目录权限的问题
hadoop1.2.0-eclipse-插件
Hadoop datanode重新加载失败无法启动解决.docx
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据...
hadoop 1.2.0穩定版本,用於實驗方面會是一個好選擇
找了很久找不到离线版的Hadoop的API,所以就自己自制了一份,感觉很方便很实用,所以就上传了上来。 类似于官网上的HTML版本,解压后进入文件夹点击index.html即可使用。 Hadoop 1.2.0 版
hadoop-eclipse-plugin-1.2.0.jar eclipse 4+ hadoop 1.2.0
因业务需要搭建一个新hadoop集群,并将老的hadoop集群中的数据迁移至新的hadoop集群,而且datanode节点不能全部上线,其中还可能会出现节点上线或下线的情况,这个时候就很容易出现机器与机器之间磁盘的均衡的情况,...
hadoop 1.2.0 core 源码
eclipse连接远程hadoop集群开发时0700问题解决方案。修改源码,重新编译后hadoop-core-1.2.0
jar包,官方版本,自测可用
重新编译的hadoop-1.2.0的核心jar包,解决****Exception in thread "main" java.io.IOException: Failed to set permissions of path:****windows下的文件权限问题。
启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解!
其他hadoop-eclipse-plugin都是盖的,真正解决 An internal error occurred during: "Connecting to DFS test". org/apache/commons/...注意版本为:hadoop 1.2.0 eclipse Version: Mars.1 Release (4.5.1)
自己写的脚本,一键启动hadoop、hbase、zookeeper(几个zookeepler同时启动)、hive。另有一键关闭集群和一键关机功能
解决nutch 1.9在cgywin中运行报Injector: java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator139727905\.staging to 0700错误的问题,即修改hadoop-...
HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本