vlambda博客
学习文章列表

伪分布式YARN的配置

1、配置集群

A、配置yarn-env.sh——>配置JAVA_HOME

2)haddop安装目录下的cd  etc/haddop,编辑yarn-env.sh,vim yarn-env.sh。将查找到的JAVA_HOME的路径复制粘贴上即

伪分布式YARN的配置

伪分布式YARN的配置

B、配置yarn-site.xml   vim yarn-site.xml 

<!-- Reducer获取数据的方式 -->

<property>

 <name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>

</property>

<property>

 <name>yarn.resourcemanager.hostname</name><value>hadoop01</value>

</property

伪分布式YARN的配置

C、配置mapred-env.sh-->配置JAVA_HOM

伪分布式YARN的配置

D、配置mapred-site.xml(mapred-site.xml.template重命名后)

<!-- 指定MR运行在YARN-->

<property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

 </property>

伪分布式YARN的配置

2、启动集群

A、 启动前必须保证NameNode和DataNode已经启动(jps)

伪分布式YARN的配置

B、启动ResourceManager
sbin/yarn-daemon.sh start resourcemanager

伪分布式YARN的配置

C、启动NodeManager   

sbin/yarn-daemon.sh start nodemanager

伪分布式YARN的配置

3、集群操作

A、登录网址http://192.168.1.129:8088/cluster

伪分布式YARN的配置

B、删除文件系统上的output文件

伪分布式YARN的配置

C、执行MapReduce程序

D、查看结果