Hadoop 多节点集群
-
多节点集群
本章介绍了在分布式环境中的Hadoop 多节点集群的设置。由于无法演示整个集群,因此我们在解释Hadoop集群环境时使用了三个系统(一个主系统和两个从属系统)。以下是他们的IP地址。- Hadoop管理员:192.168.1.15(hadoop-master)
- Hadoop从站:192.168.1.16(hadoop-slave-1)
- Hadoop从站:192.168.1.17(hadoop-slave-2)
请按照下面给出的步骤进行Hadoop多节点集群设置。 -
安装Java
具体步骤参详 Hadoop 环境设置 一章第四小节 -
创建用户帐号
在主系统和从属系统上都创建一个系统用户帐户,以使用Hadoop安装。 -
映射节点
您必须在所有节点上的/etc/文件夹中编辑主机文件,指定每个系统的IP地址及其后的主机名。 -
配置基于密钥的登录
在每个节点中设置ssh,以便它们可以相互通信而无需任何提示输入密码的提示。 -
安装Hadoop
在主服务器中,使用以下命令下载并安装Hadoop。 -
配置Hadoop
您必须通过进行以下更改来配置Hadoop服务器,如下所示。core-site.xml打开core-site.xml文件,如下所示进行编辑。hdfs-site.xml打开hdfs-site.xml文件,然后如下所示进行编辑。mapred-site.xml打开mapred-site.xml文件,如下所示进行编辑。hadoop-env.sh打开hadoop-env.sh文件并编辑JAVA_HOME,HADOOP_CONF_DIR和HADOOP_OPTS,如下所示。注-根据系统配置设置JAVA_HOME。 -
在从服务器上安装Hadoop
遵循给定命令,在所有从属服务器上安装Hadoop。 -
在主服务器上配置Hadoop
打开主服务器并按照给定命令进行配置。配置主节点配置从节点 -
Hadoop Master上的格式名称节点
-
启动Hadoop服务
以下命令将启动Hadoop-Master上的所有Hadoop服务。 -
在Hadoop集群中添加新的DataNode
下面给出了将新节点添加到Hadoop集群所需遵循的步骤。联网通过一些适当的网络配置将新节点添加到现有的Hadoop群集中。假设以下网络配置。对于新节点配置- -
添加用户和SSH访问
新增使用者在新节点上,使用以下命令添加“hadoop”用户并将Hadoop用户的密码设置为“hadoop123”或您想要的任何内容。设置密码,减少了从主机到新从机的连接。在主服务器上执行以下操作在从站上执行以下命令登录到hadoop。如果不是,请登录到hadoop用户。将公共密钥的内容复制到文件“$HOME/.ssh/authorized_keys”中,然后通过执行以下命令来更改其许可权。从主机检查ssh登录。现在,检查是否可以在没有主服务器密码的情况下切换到新节点。 -
设置新节点的主机名
您可以在文件/etc/sysconfig/network中设置主机名要使更改生效,请重新启动计算机,或对具有各自主机名的新计算机运行hostname命令(重新启动是一个不错的选择)。在slave3节点机器上-主机名slave3.in用以下几行更新集群所有机器上的/etc/hosts-现在尝试使用主机名ping通计算机,以检查计算机是否解析为IP。在新节点机器上- -
在新节点上启动DataNode
使用$HADOOP_HOME/bin/hadoop-daemon.sh脚本手动启动datanode守护程序。它将自动与主节点(NameNode)联系并加入集群。我们还应该将新节点添加到主服务器中的conf/slaves文件中。基于脚本的命令将识别新节点。登录到新节点使用以下命令在新添加的从属节点上启动HDFS检查新节点上jps命令的输出。看起来如下。 -
从Hadoop集群中删除DataNode
我们可以在运行中从群集中动态删除节点,而不会丢失任何数据。HDFS提供了停用功能,可确保安全地执行删除节点的操作。要使用它,请遵循以下步骤-步骤1-登录到master登录到安装了Hadoop的主计算机用户。第2步-更改集群配置在启动集群之前,必须配置一个排除文件。将名为dfs.hosts.exclude的密钥添加到我们的$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件中。与此键关联的值提供了NameNode本地文件系统上文件的完整路径,该文件包含不允许连接到HDFS的计算机列表。例如,将这些行添加到etc/hadoop/hdfs-site.xml文件。步骤3-确定要停用的主机应将每台要停用的计算机添加到hdfs_exclude.txt标识的文件中,每行一个域名。这将阻止它们连接到NameNode。如果要删除DataNode2,则显示“ /home/hadoop/hadoop-1.2.1/hdfs_exclude.txt”文件的内容。步骤4-强制配置重新加载运行不带引号的命令“$HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes”。这将强制NameNode重新读取其配置,包括新更新的“排除”文件。它将在一段时间内停用节点,从而使每个节点的块有时间复制到计划保持活动状态的机器上。在slave2.in上,检查jps命令输出。一段时间后,您将看到DataNode进程自动关闭。第5步-关闭节点停用过程完成后,可以安全关闭停用的硬件以进行维护。对dfsadmin运行report命令,以检查退役状态。以下命令将描述停用节点和群集连接节点的状态。步骤6-再次编辑排除文件停用机器后,可以将其从“排除”文件中删除。再次运行“$HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes”将排除文件读回到NameNode;允许DataNode在维护完成后重新加入集群,或者再次在集群中需要其他容量等。特别说明-如果遵循上述过程,而tasktracker进程仍在节点上运行,则需要将其关闭。一种方法是按照上述步骤断开计算机。船长将自动识别该过程并将其宣布为无效。无需遵循相同的过程来删除tasktracker,因为与DataNode相比,它并不是很重要。DataNode包含您要安全删除的数据,而不会丢失任何数据。可以在任何时间通过以下命令快速运行/关闭任务跟踪器。