在大数据处理领域，Hadoop分布式文件系统（HDFS）是不可或缺的一部分。它提供了高容错性和可扩展性，能够高效存储和管理大规模数据集。为了方便用户操作HDFS，Hadoop提供了一系列命令行工具。以下是HDFS的一些常用命令及其详细说明。
1. 创建目录
- 命令格式：`hdfs dfs -mkdir <路径>`
- 功能：创建一个新的目录。
- 示例：
```bash
hdfs dfs -mkdir /user/hadoop/data
```
该命令将在HDFS的根目录下创建一个名为`data`的新目录。
2. 查看目录内容
- 命令格式：`hdfs dfs -ls <路径>`
- 功能：列出指定路径下的文件和子目录。
- 示例：
```bash
hdfs dfs -ls /
```
这将显示HDFS根目录下的所有文件和目录。
3. 文件上传
- 命令格式：`hdfs dfs -put <本地路径>
- 功能：将本地文件上传到HDFS中。
- 示例：
```bash
hdfs dfs -put /home/user/file.txt /user/hadoop/
```
将本地文件`file.txt`上传到HDFS的`/user/hadoop/`目录下。
4. 文件下载
- 命令格式：`hdfs dfs -get
- 功能：从HDFS下载文件到本地。
- 示例：
```bash
hdfs dfs -get /user/hadoop/file.txt /home/user/
```
将HDFS中的`file.txt`下载到本地的`/home/user/`目录下。
5. 删除文件或目录
- 命令格式：`hdfs dfs -rm [-r] <路径>`
- 功能：删除指定的文件或目录。
- 参数说明：
- `-r`：递归删除目录及其内容。
- 示例：
```bash
hdfs dfs -rm /user/hadoop/file.txt
hdfs dfs -rm -r /user/hadoop/data
```
第一条命令删除单个文件，第二条命令递归删除整个目录及其内容。
6. 文件复制
- 命令格式：`hdfs dfs -cp <源路径> <目标路径>`
- 功能：在HDFS中复制文件或目录。
- 示例：
```bash
hdfs dfs -cp /user/hadoop/file1.txt /user/hadoop/file2.txt
```
将`file1.txt`的内容复制为`file2.txt`。
7. 移动文件
- 命令格式：`hdfs dfs -mv <源路径> <目标路径>`
- 功能：在HDFS中移动文件或目录。
- 示例：
```bash
hdfs dfs -mv /user/hadoop/file1.txt /user/hadoop/archive/
```
将`file1.txt`移动到`archive`目录下。
8. 检查文件状态
- 命令格式：`hdfs dfs -stat <路径>`
- 功能：查看指定文件或目录的状态信息。
- 示例：
```bash
hdfs dfs -stat /user/hadoop/file.txt
```
输出文件的基本元数据信息。
9. 文件合并
- 命令格式：`hdfs dfs -cat <路径> | hadoop fs -put - <合并后路径>`
- 功能：将多个小文件合并成一个大文件。
- 示例：
```bash
hdfs dfs -cat /user/hadoop/.txt | hdfs dfs -put - /user/hadoop/merged.txt
```
将`/user/hadoop/`目录下的所有`.txt`文件合并为一个名为`merged.txt`的大文件。
10. 检查磁盘空间
- 命令格式：`hdfs dfs -df [-h] <路径>`
- 功能：检查指定路径的磁盘使用情况。
- 参数说明：
- `-h`：以人类可读的格式显示大小。
- 示例：
```bash
hdfs dfs -df -h /
```
显示HDFS根目录的磁盘使用情况。
通过熟练掌握这些HDFS常用命令，您可以更高效地管理和操作HDFS中的数据。希望本文对您有所帮助！
