请选择 进入手机版 | 继续访问电脑版

好程序员-千锋教育旗下高端IT职业教育品牌

400-811-9990
我的账户
好程序员

专注高端IT职业培训

亲爱的猿猿,欢迎!

已有账号,请

如尚未注册?

[BigData] 好程序员大数据培训分享HDFS常用shell和web界面介绍

[复制链接]
叶子老师 发表于 2019-7-15 16:01:54 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
好程序员大数据培训分享HDFS常用shell和web界面介绍 图片1.png 图片2.png 最后一个:块删除的开始时间
HDFS的Shell命令:
ps:无论看到是hdfs dfs 形式还是 hadoop fs这种形式 都可以 完成对HDFS的操作

1.向HDSF上传文件

put: 从本地文件系统赋值单个或多个原路径目标文件到HDFS文件系统中

hdfs dfs -put 本地文件路径 HDFS文件系统路径

2.将HDFS文件系统中的文件下载回来

get:从HDFS文件系统中将文件复制到本地文件系统中

hdfs dfs -get HDFS文件系统路径 本地文件系统路径

ps:HDFS有一个和put和get类似的而方法 copyFromlocal 相当于put 和 copyTolocal 相当于 get 3.查看HDFS文件系统中的文件内容

cat:查看HDFS文件系统中的文件内容

hdfs dfs -cat HDFS文件系统中文件的路径

ps:不要查看非文件

在查看文件的同时追加文件到本地路径

4.HDFS文件系统中进行复制操作

cp:将HDFS文件系统中的文件进行复制,复制到HDFS系统中

hdfs dfs -cp 源HDFS文件系统中的文件路径 目标HDFS文件系统中的路径

5.HDFS文件系统中的文件进行移动操作

mv:将源文件移动目标路径,这个命令可允许有多个源路径,此时目标路径必须是一个文件夹(目录)

不允许不同的文件系统互相移动文件

hdfs dfs -mv 源HDFS文件系统中的文件路径 目标HDFS文件系统中的路径

相当于剪切

6.查看HDFS文件系统中文件的大小

hdfs dfs -du HDFS文件系统中路径中的一个文件

7.在HDSF系统中创建文件夹

mkdir 创建文件夹

hdfs dfs -mkdir HDFS文件系统中的路径

创建多个文件夹 添加 -p 就是多个文件夹

8.查看HDFS文件系统下的所有文件

hdfs dfs -ls HDFS文件系统路径

9.删除HDFS文件系统中的目录或文件

ps:只能是单个文件 或 空目录

hdfs dfs -rm HDFS文件系统路径

若参数文件夹中有多个文件 加 -r

hdfs dfs -rm -r HDFS文件系统路径

10.更改文件的权限

r可读 w可写 x可执行

- | ---| --- 1代表有权 0代表没有权限 所有每三位可以作为一个八进制处理例如 rwx | rwx | rwx

111 | 111 | 111

=========================

7 7 7

hdfs dfs -chmod 权限值 HDFS文件系统路径若需要更改目录下权限都需要修改

hdfs dfs -chmod -R 权限值 HDFS文件系统路径下的文件夹ps:并且文件夹下的所有子文件和文件夹都会被修改



11.回收站

Hadoop回收站trash,默认是关闭的,建议开启

<property>
<name>fs.trash.interval</name>
<!-- 开启当前hdfs中的回收站 时长:多长时间清空回收站 单位是分钟 1440就是1天-->
<value>1440</value>
</property>
ps:默认为是没有权限操作回收站的,所以操作之前开启权限 hdfs dfs -chmod -R 777 HDFS文件系统中回收站的路径例子:hdfs dfs -chmod -R 777 /user
删除文件后,发现误删了,恢复文件
hdfs dfs -mv HDFS文件系统中回收站的路径下的文件 HDFS文件系统路径清空回收站 hdfs dfs -rm -r HDFS文件系统中回收站的路径
例如:hdfs dfs -rm -r /user/root/.Trash
好程序员大数据培训官网:http://www.goodprogrammer.org/bigdata.shtml

精彩内容,一键分享给更多人!
回复

使用道具 举报

您需要登录后才可以回帖

本版积分规则

关注我们
好程序员
千锋好程序员

北京校区(总部):北京市海淀区宝盛北里西区28号中关村智诚科创大厦

深圳西部硅谷校区:深圳市宝安区宝安大道5010号深圳西部硅谷B座A区605-619

杭州龙驰智慧谷校区:浙江省杭州市下沙经济技术开发区元成路199号龙驰智慧谷B座7层

郑州校区:郑州市二七区航海中路60号海为科技园C区10层、12层

Copyright 2007-2019 北京千锋互联科技有限公司 .All Right

京ICP备12003911号-5 京公安网11010802011455号

请您保持通讯畅通1对1咨询马上开启