vlambda博客
学习文章列表

HDFS集群扩容节点


    在企业中,经常需要根据业务的发展对HDFS集群进行节点扩容。比如我们要添加一个新DataNode节点到集群中:

    节点上运行进程: datanode、 nodemanager



操作步骤:

    在bigdata114机器安装jdk并且配置环境变量。

    在bigdata114机器安装hadoop2.8.4并且配置环境变量。

    将namenode服务器上的hadoop2.8.4的配置复制到bigdata114机器上。

scp -r /opt/module/hadoop-2.8.4/etc/ root@bigdata114:/opt/module/hadoop-2.8.4/

    将集群中所有的hadoop的slaves配置文件中都添加上“bigdata114”

bigdata111bigdata112bigdata113bigdata114



HDFS集群扩容节点

HDFS集群扩容节点

HDFS集群扩容节点


配置ssh免密操作:

    生成秘钥:

ssh-keygen 

    发送秘钥至每个节点:

bigdata114秘钥-->bigdata111~114ssh-copy-id bigdata111ssh-copy-id bigdata113ssh-copy-id bigdata112ssh-copy-id bigdata114bigdata111~113秘钥-->bigdata114ssh-copy-id bigdata114

HDFS集群扩容节点

HDFS集群扩容节点

HDFS集群扩容节点

启动bigdata114节点的datanode、 nodemanager:

${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager

使用jps查看是否启动:

2729 NodeManager29081 Jps27643 DataNode

打开hadoop的web页面查看是否启动成功:

HDFS集群扩容节点