快速部署Apache Doris演示环境
本文我们使用1个FE,3个BE节点,来搭建一个简单的Doris集群,部署角色如下:
在开始部署之前,建议先完成如下操作:
将上述各节点的防火墙服务(firewalld)禁用;
修 改 文件最大句 柄 数(
/etc/security/limits.conf
和/etc/sysctl.conf
);
具体操作可以参考前面文章的内容。
一、部署Doris FE
我们之前已经将源码编译生成的output下的fe文件夹拷贝到FE的节点指定路径下了。同时,也完成了配置文件conf/fe.conf的设置,以及meta_dir元数据存放目录的创建,这里不再赘述了。
启动FE:bin/start_fe.sh --daemon
默认第一个启动的 FE 就是Master,也就是Follower (Leader)。
执行过程:
[root@centos-103 doris]# start_fe.sh –daemon
[root@centos-103 doris]# jps -l
30328 sun.tools.jps.Jps
30239 org.apache.doris.PaloFe
通过页面访问页面:http://192.168.56.103:8030,如果能正常访问就说明正常。
二、部署Doris BE
之前已经将源码编译生成的output下的be文件夹拷贝到BE的节点指定路径下了。同时,也完成了配置文件conf/be.conf
的设置,以及storage_root_path数据存放目录的创建,以及修改文件最大句柄数(/etc/security/limits.conf
和 /etc/sysctl.conf
),这里不再赘述了。
(1)启动BE
在每台机器的BE安装目录下执行下面的命令启动BE:
bin/start_be.sh --daemon
FE Mater启动的时候,会在doris-meta/image/VERSION
中创建clusterld,如图所示。
(2)在FE 中添加所有BE节点
BE节点需要先在FE 中添加,才可加入集群。如果之前添加过,就不必重复添加了。
可以使用mysql-client连接到FE:
mysql -u root -h 192.168.56.103 -P 9030
alter system add backend "192.168.56.103:9050"
alter system add backend "192.168.56.102:9050"
alter system add backend "192.168.56.101:9050"
(3)查看BE状态
使用 mysql-client 连接到 FE,并执行 SHOW PROC '/backends'\G
命令,查看 BE 运行情况。如一切正常,Alive列应为true。
也可以通过浏览器来查看backends状态,如图所示,其中centos-103
工作正常,centos-101
还没有启动,因此状态不正常。
也可以通过浏览器来查看backends状态,如图所示,其中centos-103
工作正常,centos-101
还没有启动,因此状态不正常。
三、部署 Broker
Broker是用于访问外部数据源(如hdfs)的进程。通常,我们只在FE机器上部署broker实例。
Broker以插件的形式,独立于Doris 部署。如果需要从第三方存储系统导入数据,需要部署相应的 Broker,默认提供了读取HDFS。
查看之前编译fs_broker
源码的output目录,可以将相应的broker目录部署到目的地节点上。
建议和FE或BE目录保持同级。
cp -rapache_hdfs_broker//root/doris/
如果有必要,可以修改broker/conf/
目录下对应的配置文件。
(1)启动Broker
bin/start_broker.sh --daemon
(2)添加 Broker
要让Doris的FE和BE知道 Broker 在哪些节点上,通过sql命令添加Broker节点列表。
使用mysql-client连接启动的 FE,执行以下命令:
ALTER SYSTEM ADD BROKER broker_name host1:port1","host2:port2."...;
其中 host为 Broker所在节点ip; port为Broker 配置文件中的 broker_ipc_port
,默认值8000。Broker没有也不需要priority_networks参数,Broker的服务默认绑定在0.0.0.0
上,只需要在ADD BROKER时,填写正确可访问的Broker IP即可。
(3)查看Broker状态
使用mysql-client连接任一已启动的FE,执行以下命令查看 Broker 状态:SHOW PROC "/brokers"\G
。
这样整个测试集群就安装部署完成了。
课程目录:https://www.yuque.com/books/share/d7472551-b8a7-4d7e-8dc8-d7fd81cdf145