vlambda博客
学习文章列表

快速部署Apache Doris演示环境

本文我们使用1个FE,3个BE节点,来搭建一个简单的Doris集群,部署角色如下:

在开始部署之前,建议先完成如下操作:

  • 将上述各节点的防火墙服务(firewalld)禁用;

  • 修 改 文件最大句 柄 数( /etc/security/limits.conf/etc/sysctl.conf);

具体操作可以参考前面文章的内容。

一、部署Doris FE

我们之前已经将源码编译生成的output下的fe文件夹拷贝到FE的节点指定路径下了。同时,也完成了配置文件conf/fe.conf的设置,以及meta_dir元数据存放目录的创建,这里不再赘述了。

启动FE:bin/start_fe.sh --daemon

默认第一个启动的 FE 就是Master,也就是Follower (Leader)。

执行过程:

 [root@centos-103 doris]# start_fe.shdaemon [root@centos-103 doris]# jps -l 30328 sun.tools.jps.Jps 30239 org.apache.doris.PaloFe

通过页面访问页面:http://192.168.56.103:8030,如果能正常访问就说明正常。

快速部署Apache Doris演示环境

二、部署Doris BE

之前已经将源码编译生成的output下的be文件夹拷贝到BE的节点指定路径下了。同时,也完成了配置文件conf/be.conf的设置,以及storage_root_path数据存放目录的创建,以及修改文件最大句柄数(/etc/security/limits.conf/etc/sysctl.conf),这里不再赘述了。

(1)启动BE

在每台机器的BE安装目录下执行下面的命令启动BE:

 bin/start_be.sh --daemon

FE Mater启动的时候,会在doris-meta/image/VERSION中创建clusterld,如图所示。

快速部署Apache Doris演示环境

(2)在FE 中添加所有BE节点

BE节点需要先在FE 中添加,才可加入集群。如果之前添加过,就不必重复添加了。

可以使用mysql-client连接到FE:

mysql -u root -h 192.168.56.103 -P 9030alter system add backend "192.168.56.103:9050"alter system add backend "192.168.56.102:9050"alter system add backend "192.168.56.101:9050"

(3)查看BE状态

使用 mysql-client 连接到 FE,并执行 SHOW PROC '/backends'\G命令,查看 BE 运行情况。如一切正常,Alive列应为true。

快速部署Apache Doris演示环境

也可以通过浏览器来查看backends状态,如图所示,其中centos-103 工作正常,centos-101还没有启动,因此状态不正常。

快速部署Apache Doris演示环境

也可以通过浏览器来查看backends状态,如图所示,其中centos-103 工作正常,centos-101还没有启动,因此状态不正常。

快速部署Apache Doris演示环境

三、部署 Broker

Broker是用于访问外部数据源(如hdfs)的进程。通常,我们只在FE机器上部署broker实例。

Broker以插件的形式,独立于Doris 部署。如果需要从第三方存储系统导入数据,需要部署相应的 Broker,默认提供了读取HDFS。

查看之前编译fs_broker源码的output目录,可以将相应的broker目录部署到目的地节点上。

建议和FE或BE目录保持同级。

 cp -rapache_hdfs_broker//root/doris/

如果有必要,可以修改broker/conf/目录下对应的配置文件。

(1)启动Broker

 bin/start_broker.sh --daemon

(2)添加 Broker

要让Doris的FE和BE知道 Broker 在哪些节点上,通过sql命令添加Broker节点列表。

使用mysql-client连接启动的 FE,执行以下命令:

 ALTER SYSTEM ADD BROKER broker_name host1:port1","host2:port2."...;

其中 host为 Broker所在节点ip; port为Broker 配置文件中的 broker_ipc_port,默认值8000。Broker没有也不需要priority_networks参数,Broker的服务默认绑定在0.0.0.0上,只需要在ADD BROKER时,填写正确可访问的Broker IP即可。

(3)查看Broker状态

使用mysql-client连接任一已启动的FE,执行以下命令查看 Broker 状态:SHOW PROC "/brokers"\G

这样整个测试集群就安装部署完成了。


课程目录:https://www.yuque.com/books/share/d7472551-b8a7-4d7e-8dc8-d7fd81cdf145