vlambda博客
学习文章列表

如何为Impala Daemon服务配置Executor和Coordinator角色

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。


Fayson的github:

https://github.com/fayson/cdhproject


提示:代码块部分可以左右滑动查看噢


1.文档编写目的



默认情况下,CDH集群中的Impala Daemon又可以充当查询的coordinator,也可以作为executor来执行查询本身,coordinator类似一个查询作业的管理角色一样负责协调各个Impala Daemon上的executor。在大规模集群中,Impala作业比较多的情况下,一个Impala Daemon既作为coordinator又作为executor是比较常见的,这就不可避免的会带来一些问题:


1.coordinator与executor会互相干扰带来性能问题。对于较大或者复杂的查询的时候,coordinator会带来大量的网络和CPU开销。每个coordinator都会缓存所有表分区和数据文件的元数据,同时作为executor它还需要处理join,聚合或者其他操作,这些都需要大量内存。


2.将大量主机都作为coordinator会造成不必要的网络开销,甚至是timeout错误,因为每个coordinator都需要与statestore进程通信以进行元数据更新。


3.当有大量查询负载较重的Impala Daemon作为coordinator时,会更容易超过admission control所设置的"soft limits"。


所以从CDH5.12开始,Impala支持分离coordinator与executor,可以明确指定哪些主机只作为coordinator,而不作为executor。这些节点不会参与I/O密集型操作比如扫描,或者CPU密集型操作比如聚合。同时你也可以指定哪些主机只作为executor,而不作为coordinator,它们依旧会与statestore进程进行通信,但是不会从statestore获取元数据,你不能通过impala-shell客户端或者BI工具连接到这些主机。


本篇文章Fayson主要介绍如何为Impala Daemon服务配置Coordinator和Executor角色,从而解决大规模集群下Impala查询性能瓶颈问题。


  • 测试环境

1.CM5.14.3/CDH5.14.2

2.RedHat7.4


  • 前置条件

1.集群已启用Kerberos

2.集群已集成Sentry服务

3.Impala已配置HAProxy负载


2.配置Impala服务的Coordinator和Executor



这里以Fayson的测试环境为例,选择集群的两个节点cdh02和cdh03节点的ImpalaDaemon作为Coordinator角色,cdh04和cdh04节点的Impala Daemon作为Executor角色进行配置说明。


1.登录Cloudera Manager界面进入Impala服务,点击“配置”



2.进入角色组界面,新建Coordinator角色组,将一部分Impala Daemon节点划分为Coordinator Group角色组


如何为Impala Daemon服务配置Executor和Coordinator角色

如何为Impala Daemon服务配置Executor和Coordinator角色


2.将cdh02和cdh03两个节点移到Coordinator Group组


如何为Impala Daemon服务配置Executor和Coordinator角色


4.进入Impala的配置页面,为我们划分的两个组配置高级参数

在Impala配置中搜索“Impala Daemon 命令行参数高级配置代码段(安全阀)”,为Default Group组配置-is_coordinator = false,为Coordinator Group配置-is_executor = true,如下截图所示:


如何为Impala Daemon服务配置Executor和Coordinator角色


保存配置,根据CM提示重启Impala服务。


如何为Impala Daemon服务配置Executor和Coordinator角色


3.修改HAProxy的配置



1.修改/etc/haproxy/haproxy.cfg文件,将Coordinator Group组的Impala Daemon节点配置到haproxy.cfg文件中,内容如下:


listen impalashell
    bind 0.0.0.0:25003
    mode tcp
    option tcplog
    balance leastconn
    server cdh02.fayson.com cdh02.fayson.com:21000 check
    server cdh03.fayson.com cdh03.fayson.com:21000 check

listen impalajdbc
    bind 0.0.0.0:25004
    mode tcp
    option tcplog
    balance leastconn
    server cdh02.fayson.com cdh02.fayson.com:21050 check
    server cdh03.fayson.com cdh03.fayson.com:21050 check

(可左右滑动)


如何为Impala Daemon服务配置Executor和Coordinator角色


2.保存配置,然后重启Impala服务


[root@cdh01 ~]# systemctl restart haproxy
[root@cdh01 ~]# systemctl status haproxy

(可左右滑动)


如何为Impala Daemon服务配置Executor和Coordinator角色


3.访问HAProxy服务监控界面查看


如何为Impala Daemon服务配置Executor和Coordinator角色


4.Impala-shell测试



1.使用impala-shell命令访问HAProxy端口


如何为Impala Daemon服务配置Executor和Coordinator角色


2.执行SQL操作,通过CM查看SQL执行详细信息


如何为Impala Daemon服务配置Executor和Coordinator角色


通过CM查看到的SQL执行详细信息可以看到cdh02将接受的查询请求转发至cdh04节点,该节点为Executor角色的Impala Daemon。



5.总结



1.对于较大的Impala集群,我们在配置Impala Daemon负载均衡时可以将一部分Impala Daemon节点配置为Coordinator角色。这里需要考虑的问题,Coordinator角色的节点可以部署在非DataNode节点上,保证所有的Executor角色的节点都能在所有的DataNode节点,避免Impala跨节点读取数据。


2.配置为Coordinator角色的Impala Daemon可以通过impala-shell访问,但配置为Executor角色的Impala Daemon是不可以通过impala-shell访问。


3.作为Coordinator角色的Impala Daemon节点作为HAProxy的后端,用于配置Impala集群负载均衡。


4.Coordinator角色的Impala Daemon节点不会参与运算而仅负责调度和监控查询的执行,以及同步元数据,而Executor角色的Impala节点仅参与运算但不会同步数据。



提示:代码块部分可以左右滑动查看噢


为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。



推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。