HDFS 常用命令
文件和目录操作
hdfs dfs -ls <路径>:查看指定路径下的文件和目录列表。
hdfs dfs -mkdir <路径>:在 HDFS 上创建新目录。
hdfs dfs -rm <路径>:删除指定路径下的文件或目录,若要删除目录,需使用-r选项,如hdfs dfs -rm -r <目录路径>。
hdfs dfs -cp <源路径> <目标路径>:将文件或目录从源路径复制到目标路径。
hdfs dfs -mv <源路径> <目标路径>:将文件或目录从源路径移动到目标路径。
数据传输
hdfs dfs -put <本地路径> <HDFS路径>:把本地文件或目录上传到 HDFS。
hdfs dfs -get <HDFS路径> <本地路径>:从 HDFS 下载文件或目录到本地。
集群状态查看
hdfs dfsadmin -report:查看 HDFS 集群的状态报告,包含容量、使用情况、节点信息等。
hdfs fsck <路径>:检查指定路径下文件的健康状况。
YARN 常用命令
应用程序管理
yarn application -list:列出所有正在运行或已完成的 YARN 应用程序。
yarn application -kill <应用程序ID>:终止指定 ID 的 YARN 应用程序。
yarn application -status <应用程序ID>:查看指定 ID 的 YARN 应用程序的状态。
节点管理
yarn node -list:列出所有 YARN 节点及其状态。
yarn node -status <节点ID>:查看指定 ID 的 YARN 节点的状态。
MapReduce 常用命令
hadoop jar <JAR文件路径> <主类名> <输入路径> <输出路径>:提交一个 MapReduce 作业。例如,若要运行一个 WordCount 程序,可使用如下命令:
hadoop jar /path/to/wordcount.jar org.apache.hadoop.examples.WordCount /input /output
HBase 常用命令(如果集群集成了 HBase)
表操作
create '<表名>', '<列族名>':在 HBase 中创建一个新表。
list:列出 HBase 中的所有表。
disable '<表名>':禁用指定的表。
enable '<表名>':启用指定的表。
drop '<表名>':删除指定的表(需先禁用)。
数据操作
put '<表名>', '<行键>', '<列族:列限定符>', '<值>':向指定表的指定行键插入数据。
get '<表名>', '<行键>':获取指定表中指定行键的数据。
scan '<表名>':扫描指定表中的所有