搜文章
推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > 牛学汇 > 执行yarn应用程序示例

执行yarn应用程序示例

牛学汇 2017-11-29

        本期牛学汇,小编之后几期牛学汇主要围绕以下三个点阐述如何创建一个yarn程序。

        1.了解yarn应用程序概念

        2.执行yarn应用程序示例

        3.创建yarn客户端

        开始之前对yarn集群工作基本了解并且理解HDFS,yarn的相关概念。

YARN是什么?

         YARN代表Yet Another Resource Negotiator,是Hadoop2.0的

通用作业调度程序好人资源管理器。

         YARN在执行作业时主要包含两个组件:

         1.ResourceManager:用来响应资源请求和在Hadoop2集群上调度应用程序。

         2.ApplicationMaster:管理每个应用程序的生命周期。下图所示yarn的架构流程。

           此图显示,有三个客户端请。首先 发送给资源管理(ResourceManager),实际上资源管理器是直接可以和ApplicationMaster通信,同样资源管理器也可以和NodeManager联系。nodemanager通常就是物理机的节点。ResourceManager可以管理每个应用的ApplicationMaster,而ApplicationMaster在生成之后,会向ResourceManager请求资源,每个nodemanager会将自己本地的资源信息反馈ResourceManager。之后ResourceManager会给ApplicationMaster分配合适的节点。ApplicationMaster得到资源管理器给它的节点之后,会在相对应节点上创建容器。这些容器将真正执行实际的应用程序。yarn作为资源管理器,除了支持MapReduce还支持其他资源框架。

        在自己的机器上部署好yarn之后(如何部署,关注小编之前牛学汇)。现在来看一个应用程序执行的示例:

      $yarn org.apache.hadoop.applications.distributedshell.Client -jar hadoop-yarn-applications.distributedshell-2.7.3.jar -shell_command cal      #######yarn为yarn开头命令,接着是我们实际执行的客户端类,在指定其实际所处的jar文件,distributedshell是Hadoop自带的程序示例。最后指定其shell命令。

       跑完命令后$ yarn application -list    顾名思义就可以查看具体应用状态了。 

       $ yarn application -list  -APPstates FINISHED  ######看到应用之前状态(应用程序ID,名字,类型,等)。  

        $yarn application -statusapplication_14963   ####看到每个应用程序的详细信息。

        开始演示:

$cd /usr/local/hadoop/share/hadoop/ya$ll      ####找到系统里面自带的演示的jar包

$ yarn org-apache.hadoop.yarn.application.distrbutioeshell.Client -jar (jar包名称)

$ yarn org-apache.hadoop.yarn.application.distrbutioeshell.Client -jar (jar包名称) jar-shell_command cal  

$yarn application

$yarn  application -list -appStates FINISHED  ####指定状态,找到应用信息。

本次分享就这些了,欢迎关注牛学汇共同学习。





版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《执行yarn应用程序示例》的版权归原作者「牛学汇」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

关注牛学汇微信公众号

牛学汇微信公众号:BioNewman

牛学汇

手机扫描上方二维码即可关注牛学汇微信公众号

牛学汇最新文章

精品公众号随机推荐

上一篇 >>

微服务架构详解