Hadoop命令记录

tools

1.列出指定目录下文件 -ls

haddop fs -ls /dir
haddop fs -ls -R /dir

2.将本地文件放到hdfs文件系统中 -put

hadoop fs -put <local file>    <hdfs file>
hadoop fs -put <local file or dir>  <hdfs dir>
#将键盘输入录入到hdfs文件中
haddop fs -  <hdfs file>

3.从hdfs文件系统中拉取文件 -get

haddop fs -get <hdfs file>  <local file or dir>
haddop fs -get <hdfs file or dir>  <local dir>

4. 删除hdfs文件 -rm

hadoop fs -rm <hdfs file>
hadoop fs -rm  -r <hdfs dir>

5. hdfs创建文件夹 -mkdir

#一级一级建目录，父目录存在
hadoop  fs -mkdir  <hdfs path>
#若父目录不存在，新建父目录
hadoop  fs -mkdir  -p <hdfs path>

6. 复制 -cp

hadoop fs -cp <hdfs file>  <hdfs file>
hadoop fs -cp <hdfs file or dir>  <hdfs dir>

7.移动 -mv

不能跨文件系统执行（不能在hdfs 和local之间mv）

hadoop fs -mv <hdfs file>  <hdfs file>
# 源路径有多个时，目标路径必须存在
hadoop fs -cp <hdfs file or dir> .. <hdfs dir>

8. 统计 -count

# 统计hdfs路径下的目录个数，文件个数，文件总计大小
hadoop fs -count <hdfs path>

9. 文本格式输出 -text

hadoop fs -text <hdfs file>

10. 命令行输出或重定向写入 -cat

hadoop fs -cat <hdfs file>
hadoop fs -cat <hdfs file>  > ***.txt
#小case  在显示的结果中搜索
hadoop fs -cat <hdfs file>  |grep "**"