MapReduce Hadoop 管理

• 

  MapReduce Hadoop 管理

  本章介绍Hadoop管理，其中包括HDFS和MapReduce管理。

  • HDFS管理包括监视HDFS文件结构，位置和更新的文件。
  • MapReduce管理包括监视应用程序列表，节点配置，应用程序状态等。
• 

  HDFS监控

  HDFS（Hadoop分布式文件系统）包含用户目录，输入文件和输出文件。使用MapReduce命令（放置和获取）进行存储和检索。

  通过在“$HADOOP_HOME/sbin”上传递命令“start-all.sh”来启动Hadoop框架（守护程序）后，将以下URL传递给浏览器“ http：//localhost:9870”。您应该在浏览器上看到以下屏幕。

  hadoop3.x以下端口为 50070

  以下屏幕快照显示了如何浏览浏览HDFS。

  

  以下屏幕快照显示了HDFS的文件结构。它显示“/user/hadoop”目录中的文件。

  

  以下屏幕快照显示了集群中的Datanode信息。在这里，您可以找到一个具有其配置和容量的节点。

  
• 

  MapReduce作业监控

  MapReduce应用程序是作业的集合（Map作业，Combiner，Partitioner和Reduce作业）。必须监视和维护以下内容-

  • 适用于应用程序的datanode的配置。
  • 每个应用程序使用的数据节点和资源的数量。

  为了监视所有这些事情，我们必须有一个用户界面。通过在“HADOOP_HOME/sbin”上传递命令“ start-all.sh”来启动Hadoop框架后，将以下URL传递给浏览器“http://localhost:8088”。您应该在浏览器上看到以下屏幕。

  

  在上面的屏幕截图中，手形指针位于应用程序ID上。只需单击它，即可在浏览器中找到以下屏幕。它描述了以下内容-

  • 当前应用程序在哪个用户上运行
  • 应用名称
  • 该应用程序的类型
  • 当前状态，最终状态
  • 应用程序启动时间（经过监视（完成时间））（如果在监视时已完成）
  • 此应用程序的历史记录，即日志信息
  • 最后，节点信息，即参与运行应用程序的节点。

  以下屏幕截图显示了特定应用程序的详细信息-

  

  以下屏幕快照描述了当前正在运行的节点信息。在此，屏幕截图仅包含一个节点。指针显示正在运行的节点的本地主机地址。