vlambda博客
学习文章列表

hadoop分布式文件系统管理命令速查


 本文主要介绍hadoop分布式文件系统hdfs的管理命令,及使用例子。便于随时翻阅查看,建议收藏。



    命令行窗口输入hadoop fs可以查看hadoop分布式文件系统相关命令及用法,这里列出常用命令的使用。

    命令语法:hadoop fs [generic options]

命令
功能
用法
-ls 查看当前目录
hadoop fs -ls /
-cat
查看文件内容同-text
hadoop fs -cat /data/data.txt
-mkdir
在hdfs中创建目录
hadoop fs -mkdir /data
-put
上传文件,从本地到hdfs,同-copyFromLocal

hadoop fs -put data.txt /data

-get
下载文件,从hdfs到本地,同-copyToLocal
hadoop fs -get /data/data.txt /
-rm
删除hdfs上的文件-R递归删除,-f强制删除
hadoop fs -rm -f /data/data.txt
-cp
hadf上拷贝文件
hadoop fs -cp /data/data.txt /data/data1.txt
-getmerge
将hdfs上的文件先合并再下载

hadoop fs -getmerge /data/* /home/all.txt

-appendToFile
将本地文件先合并再上传到hdfs

hadoop fs -appendToFile /tmp/student/* /data/all.txt

-df
查看hdfs文件系统大小-h易读模式
hadoop fs -df -h
-du
统计某路径下文件大小-s总量,-h易读模式 hadoop fs -du -s -h /

小结:hadoop分布式文件系统管理命令大部分跟linux文件系统命令类似,可以将hadoop fs别名为fs(alias fs="hadoop fs"),这样就可以简写为fs -ls / 管理hdfs。注:hdfs dfs同hadoop fs。