AmosCloud

Library

Have a Question?

If you have any question you can ask below or enter what you are looking for!

HDFS

HDFS

命令操作

  • 语法:
    hdfs dfs 命令
    hadoop fs 命令

具体命令

# -help:输出这个命令参数
# -ls: 显示目录信息
hdfs dfs -ls /
#-mkdir:在hdfs上创建目录
hdfs dfs -mkdir /dir1
# -moveFromLocal从本地剪切粘贴到hdfs(可以同时上传多个文件)
hdfs dfs -moveFromLocal /root/1.txt  /dir1
#-appendToFile  :追加一个文件到已经存在的文件末尾(可以同时追加多个文件)
hdfs dfs -appendToFile /root/2.txt  /dir1/3.txt
# -cat :显示文件内容
hdfs dfs -cat /dir1/1.txt
# -tail:显示一个文件的末尾
hdfs dfs -tail /dir1/1.tx
# -chgrp:
hdfs dfs -chgrp -R group /dir1
# -chmod
hdfs dfs -chmod -R 755 /dir1
# -chown
hdfs dfs -chown -R user:group /dir1
# linux文件系统中的用法一样,修改文件所属权限
# -copyFromLocal:从本地文件系统中拷贝文件到hdfs路径去
hdfs dfs -copyFromLocal 2.txt /dir1
# -copyToLocal:从hdfs拷贝到本地
hdfs dfs -copyToLocal /dir1/1.txt /dir1/2.txt .
# -cp :从hdfs的一个路径拷贝到hdfs的另一个路径(注意这里操作的都是HDFS路径,必须使用绝对路径)
hdfs dfs -cp /dir1/1.txt /dir2
# -mv:在hdfs目录中移动文件
hdfs dfs -mv /dir1/2.txt /dir1/3.txt /dir2
# -get:等同于copyToLocal,就是从hdfs下载文件到本地
# -put:等同于copyFromLocal
# -getmerge  :合并下载多个文件,比如hdfs的目录 /hj/下有多个文件:log.1, log.2,log.3,...
# 将HDFS目录中的所有文件合并成一个文件并下载到本地
hdfs dfs -getmerge /dir2  down.txt
# -rm:删除文件或文件夹
hdfs dfs -rm -r 文件(文件夹)
# -rmdir:删除空目录
# -df :统计文件系统的可用空间信息
hdfs dfs -df -h /
# -du统计文件夹的大小信息
hdfs dfs -du -h -s /文件夹
# -setrep:设置hdfs中文件的副本数量
hdfs dfs -setrep 数量 文件名

Java操作