`
- 浏览:
2147606 次
- 性别:
- 来自:
北京
-
HDFS 常用的文件操作命令
1.-cat
使用方法:hadoop fs -cat URI
说明:将路径指定的文件输出到屏幕
示例: hadoop fs -cat hdfs://host1:port1/file
hadoop fs -cat file:///file3
2.-copyFromLocal
使用方法:hadoop fs -copyFromLocal <localsrc>URI
说明: 将本地文件复制到 HDFS 中。
3.copyToLocal
使用方法:hadoop fs -copyToLocal <localsrc>URI
说明: 将一个文件从 HDFS 系统中复制到本地文件
4.-cp
使用方法:hadoop fs -cp URI
说明:将文件从源路径复制到目标路径。这个命令可以复制多个源路径,但是目标路径必须
是一个目录
示例: hadoop fs -cp /user/file /uesr/files
Hadoop fs -cp /user/file1 /user/files /user/dir
5.-du
使用方法:hadoop fs -du URI
说明: 显示目录中所有文件大小,或者指定一个文件时,显示此文件大小
示例: hadoop fs -du /user/dir1
Hadoop fs -du hdfs://host:port/user/file
6.-dus
使用方法:hadoop fs -dus <ars>
说明: 显示目标文件大小
7.-expunge
使用方法:hadoop fs -expunge
说明: 用于清空回收站
8.-get
使用方法:hadoop fs -get <locaodst>
说明:复制文件到本地文件系统。
示例: hadoop fs -get /user/file localfile
Hadoop fs -get hdfs://host:port/file localfile
9.-ls
使用方法:hadoop fs -ls <arg>
说明:浏览本地文件,并按如下格式返回文件信息
文件名<副本数> 文件大小 修改日期 权限 用户 ID/组 ID
如果浏览的是一个木渎,则返回其子文件的一个列表,信息如下:
目录名<dir> 修改日期 修改时间 权限 用户 ID/组 ID
示例: hadoop fs -ls /user/file
Hadoop fs -ls hdfs://host:port/user/dir
10.-lsr
使用方法:hadoop fs -lsr
说明: 递归第查阅文件内容
11.-mkdir
使用方法:hadoop fs -mkdir<path>
说明: 创建对应的文件目录,并直接创建相应的父目录
示例: hadoop fs -mkdir /user/dir1/dir2/dir3/file
Hadoop fs -mkdir hdfs://host:port/user/dir
12.-mv
使用方法:hadoop fs -mv URI <dest>
说明: 将源文件移动到目标路径,这目标路径可以有多个,不允许在不同文件系统移动。
示例: hadoop fs -mv /user/file1 /user/file2
Hadoop fs -mv hdfs://host:port/file1 hdfs://host:prot/file2
13.-put
使用方法:hadoop fs -put<localsrc> <dst>
说明: 从本地文件系统复制单个或多个源路径到目标文件系统。
示例: hadoop fs -put localfile /user/file
hadoop fs -put localfile hdfs://host:port/user/file
14.-rm
使用方法: hadoop fs -rm URI
说明:删除指定的文件,且要求非空的目录和文件。
示例: hadoop fs -rm hdfs://host:port/file
15.-rmr
使用方法: hadoop fs -rmr URI
说明:递归地删除指定文件中的空目录。
16.-Setrep
使用方法: hadoop fs -setrep [R] <path>
说明: 改变一个副本复制份数
示例: hadoop fs -setrep -w 3 -R /user/file
17.-Test
使用方法:hadoop fs -test -[ezd] URI
说明: 使用 e z d 对文件进行检查
-e 检查文件是否存在,若存在返回值为 0;
-z 检查文件是否为 0 字节,如果是则返回 0;
-d 检查路径是否为目录,如果是则返回 1,否则返回 0
18.-text
使用方法:hadoop fs -text <src>
说明:将源文件输出为文本格式,运行的格式是 zip 以及 Text 类
以上是 HDFS 中使用命令行对 HDFS 中文件进行操作,与一般操作命令类似,例如我们
将某一个文件从本地的文件系统复制到 HDFS 中。可以通过执行以下命令进行操作:
$ hadoop fs -copyFromLocal /user/localFile.txt sample.txt
此部分代码通过调用命令 fs,指定执行脚本命令-copyFromLocal,将本地文 localFile.txt
复制到运行在 localhost 上的 HDFS 文件系统中。
文章来自
http://mntms.iteye.com/blog/2096865
分享到:
Global site tag (gtag.js) - Google Analytics
相关推荐
大数据技术基础实验报告-HDFS常用操作命令
HDFS常用Shell命令,基础篇
HDFS_HBaseShell的常用命令.docx
HDFS 常用 shell 命令 1. 显示当前目录结构
(2)熟练使用HDFS操作常用的 Shell命令。(3)熟悉HDFS操作常用的Java API。 A.2.2 实验平台 (1)操作系统:Linux(建议Ubuntu 16.04)。(2) Hadoop版本:2.7.1。 (3)JDK版本:1.7或以上版本。(4) Java IDE:Eclipse。
Hadoop HDFS分布式文件系统 常用命令汇总
Hadoop是一个能够对大量数据进行分布式处理的软件框架,具有可靠、高效、可伸缩的,其核心是:HDFS(分布式文件系统)、Mapreduce(分布式计算框架)。HDFS分布式文件系统常用指令文档
本篇文章只是简单阐述一下HDFS中常用命令, 在实际开发中可使用 bin/hadoop fs查看命令详情 使用HDFS基本语法: bin/hadoop fs OR bin/hdfs dfs 注:为帮助快速理解并使用本文中使用T表示target 基本命令 1.启动...
HDFS常用命令的用法技巧等,hadoop学习的有效利器。
1. 显示当前目录结构 2. 创建目录 3. 删除操作 4. 从本地加载文件到 HDFS 5. 从 HDFS 导出文件到本地 6. 查看文件内容 7. 显示文件
HDFS 文件操作有两种方式:一种是命令行方式,Hadoop ...HDFS 常用命令 在 Linux 命令行终端,可以使用命令行工具对 HDFS 进行操作。使用这些命令行可以完成 HDFS 文件的上传、下载和复制,还可以查看文件信息、格式化
创建文件夹 传文件 下载文件 删除文件、文件夹 查看下HDFS的文件和目录
熟悉常用的HDFS操作 (1) 理解HDFS在Hadoop体系结构中的角色; (2) 熟练使用HDFS操作常用的Shell命令; (3) 熟悉HDFS操作常用的Java API。
数据科学导论 实验2:熟悉常用的HDFS操作 1. 编程实现以下指定功能,并利用 Hadoop 提供的 Shell 命令完成相同任务: 2. 编程实现一个类“MyFSDataInputStream”,该类继承“org.apache.hadoop.fs.FSDataInputStream...
实验目的 (1)理解HDFS在Hadoop体系结构中的角色; (2)熟练使用HDFS操作常用的Shell命令; (3)熟悉HDFS操作常用的Java API。
大数据分析技术
Shell命令和java两种方式完成了常用的HDFS操作,有源代码及运行结果截图 (1)向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,则由用户来指定是追加到原有文件末尾还是覆盖原有的文件 (2)从HDFS中...
2.配置Hadoop所需的环境,如JDK等 3.安装、配置HDFS,练习HDFS常用命令,将本地文件上传到HDFS,对HDFS中文件进行复制、删除、查询等 4.
python 零基础学习篇-08.HDFS的命令行户端常用命令演示.mp4