0876-7.1.7-如何在CDP中部署Flink1.14
本篇文章主要介绍如何在CDP 7.1.7集群中使用Parcel的方式安装Flink1.14。
测试环境
1.操作系统CentOS7.9
2.CDP7.1.7
3.使用root用户操作
csd文件
https://archive.cloudera.com/p/csa/1.6.2.0/csd/FLINK-1.14.0-csa1.6.2.0-cdh7.1.7.0-551-23013538.jar
Parcel相关文件
https://archive.cloudera.com/p/csa/1.6.2.0/parcels/FLINK-1.14.0-csa1.6.2.0-cdh7.1.7.0-551-23013538-el7.parcel
https://archive.cloudera.com/p/csa/1.6.2.0/parcels/FLINK-1.14.0-csa1.6.2.0-cdh7.1.7.0-551-23013538-el7.parcel.sha1
https://archive.cloudera.com/p/csa/1.6.2.0/parcels/manifest.json
2.将Flink1.14的csd文件放置到Cloudera Manager Server服务器的/opt/cloudera/csd目录下，然后重启Cloudera Manager Server服务
[root@cdh0001 csd]# pwd
/opt/cloudera/csd
[root@cdh0001 csd]# ll
total 44
-rw-r--r-- 1 root root 44267 Apr 13 11:14 FLINK-1.14.0-csa1.6.2.0-cdh7.1.7.0-551-23013538.jar
[root@cdh0001 csd]# systemctl restart cloudera-scm-server
[root@cdh0001 csd]# netstat -lnpt|grep 7180
3.将下载好的Flink1.14 Parcel拷贝到httpd服务的/var/www/html目录下
[root@cdh0001 flink1.14]# pwd
/var/www/html/flink1.14
[root@cdh0001 flink1.14]# ll
total 618480
-rw-r--r-- 1 root root 633304194 Apr 13 11:36 FLINK-1.14.0-csa1.6.2.0-cdh7.1.7.0-551-23013538-el7.parcel
-rw-r--r-- 1 root root 41 Apr 13 11:15 FLINK-1.14.0-csa1.6.2.0-cdh7.1.7.0-551-23013538-el7.parcel.sha1
-rw-r--r-- 1 root root 6347 Apr 13 11:15 manifest.json
4.测试打开http页面能够看到flink的相关安装包
5.CM重启完成以后，添加服务页面可以看到有Flink服务。
6.登录CM，在左侧菜单栏点击“Parcel”按钮，进入Parcles管理界面进行配置
进入Parcles管理界面后如下界面：
点击“Parcel Repositories & Network Settings”菜单配置Flink的本地parcel库
完成配置后，点击“Save & Verify Configuration”，关闭配置配置界面可以看到Flink的信息
分别进行 “下载、分配、激活”操作，完成后显示如下：
7.进入CM主页点击“添加服务”。
8.选择添加Flink服务，点击继续。
9.选择Flink History Server以及Gateway节点，点击继续
10.点击继续
11.等待Flink History Server启动成功，完成后点击继续
12.安装完成，点击完成回到CM主页
1.执行Flink自带的example的wordcount例子。
export HADOOP_USER_NAME=fayson
hadoop fs -mkdir -p wordcount/input
hadoop fs -put helloworld.txt wordcount/input
flink run -yjm 1024 -ytm 1024 /opt/cloudera/parcels/FLINK/lib/flink/examples/streaming/WordCount.jar --input hdfs:///user/fayson/wordcount/input/helloworld.txt --output hdfs:///user/fayson/wordcount/output
2.在YARN和Flink的界面上分别都能看到这个任务。