搜文章
推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > K8S中文社区 > Kubeadm HA master(v1.11.0)集群搭建(离线包+自动化脚本+ipvs+keepalived+calico)

Kubeadm HA master(v1.11.0)集群搭建(离线包+自动化脚本+ipvs+keepalived+calico)

K8S中文社区 2018-10-30

0x00 文章楔子

本文旨在通过最简易的方式指导读者搭建HA kubernetes 1.11集群

通过部署脚本驱动kubeadm工具进行自动化部署,自动启动keepalived负载均衡,calico网络插件,并且开启kube-proxy的IPVS模式。

本文中的自动化部署脚本可以在Lentil1016/kubeadm-ha(https://github.com/Lentil1016/kubeadm-ha)找到,欢迎Star/Fork/提issue和PR。

在我的环境上进行示例自动化部署的录像可以在该链接(https://asciinema.org/a/BEGzoZYwRZESD1td128rhlgSH)查看

0x01 Kubernetes集群搭建

集群结构摘要

Kubeadm HA master(v1.11.0)集群搭建(离线包+自动化脚本+ipvs+keepalived+calico)

Master是集群的管理者,负责监控应用运行状态,维护应用运行,如发布工作任务、重启应用、部署升级应用等

Worker(节点),也被称为Minion,即从属主机,是Kubernetes集群中的一台工作机器。每一个节点都包含了Pod运行所需的必要服务,例如docker/kubelet/kube-proxy。

Kubernetes集群的基本部署步骤:

  1. 所有节点安装docker 

  2. harbor节点安装harbor 

  3. 所有master和minion节点安装kubelet kubeadm kubectl 

  4. 初始化master节点,并启动Calico容器 

  5. 将worker节点join到集群中

各个机器的主机信息以及IP分布如下:

  • Distribute: CentOS 7 

  • Docker: 17.03.2-ce 

  • Kernel: 4.4.152-1.el7.elrepo.x86_64 

  • Kubernetes: 1.11.0 

  • NetPlugin: Calico 

  • Proxy-Mode: IPVS 

  • Master-Mode: HA Master 

  • DNS: CoreDNS

Kubeadm HA master(v1.11.0)集群搭建(离线包+自动化脚本+ipvs+keepalived+calico)

进行系统配置 

在所有机器上执行下面的脚本,配置注记:

  • 关闭防火墙、selinux 

  • 关闭系统的Swap,Kubernetes 1.8开始要求。 

  • 关闭linux swap空间的swappiness 

  • 配置L2网桥在转发包时会被iptables的FORWARD规则所过滤,该配置被CNI插件需要,更多信息请参考Network Plugin Requirements(https://kubernetes.io/docs/concepts/cluster-administration/network-plugins/#network-plugin-requirements) 

  • 开启IPVS

 
   
   
 
  1. # 所有主机:基本系统配置

  2. # 关闭Selinux/firewalld

  3. systemctl stop firewalld

  4. systemctl disable firewalld

  5. setenforce 0

  6. sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

  7. # 关闭交换分区

  8. swapoff -a

  9. yes | cp /etc/fstab /etc/fstab_bak

  10. cat /etc/fstab_bak |grep -v swap > /etc/fstab

  11. # 设置网桥包经IPTables,core文件生成路径

  12. echo """

  13. vm.swappiness = 0

  14. net.bridge.bridge-nf-call-ip6tables = 1

  15. net.bridge.bridge-nf-call-iptables = 1

  16. """ > /etc/sysctl.conf

  17. sysctl -p

  18. # 同步时间

  19. yum install -y ntpdate

  20. ntpdate -u ntp.api.bz

  21. # 安装内核组件

  22. rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm ;yum --enablerepo=elrepo-kernel install kernel-lt-devel kernel-lt -y

  23. # 检查默认内核版本高于4.1,否则请调整默认启动参数

  24. grub2-editenv list

  25. #重启以更换内核

  26. reboot

  27. # 确认内核版本

  28. uname -a

  29. # 确认内核高于4.1后,开启IPVS

  30. cat > /etc/sysconfig/modules/ipvs.modules <<EOF

  31. #!/bin/bash

  32. ipvs_modules="ip_vs ip_vs_lc ip_vs_wlc ip_vs_rr ip_vs_wrr ip_vs_lblc ip_vs_lblcr ip_vs_dh ip_vs_sh ip_vs_fo ip_vs_nq ip_vs_sed ip_vs_ftp nf_conntrack_ipv4"

  33. for kernel_module in \${ipvs_modules}; do

  34. /sbin/modinfo -F filename \${kernel_module} > /dev/null 2>&1

  35. if [ $? -eq 0 ]; then

  36. /sbin/modprobe \${kernel_module}

  37. fi

  38. done

  39. EOF

  40. chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep ip_vs

执行sysctl -p报错请参考centos7添加bridge-nf-call-ip6tables出现 No such file or directory(https://blog.csdn.net/airuozhaoyang/article/details/40534953)

 
   
   
 
  1. # 所有主机:检查UUID和Mac

  2. cat /sys/class/dmi/id/product_uuid

  3. ip link

安装配置Docker

Docker从1.13版本开始调整了默认的防火墙规则,禁用了iptables filter表中FOWARD链,这样会引起Kubernetes集群中跨Node的Pod无法通信,因此docker安装完成后,还需要手动修改iptables规则。

 
   
   
 
  1. # 所有主机:安装配置docker

  2. # 安装docker

  3. yum install -y yum-utils device-mapper-persistent-data lvm2

  4. yum-config-manager \

  5. --add-repo \

  6. https://download.docker.com/linux/centos/docker-ce.repo

  7. yum makecache fast

  8. yum install -y docker-ce

  9. # 编辑systemctl的Docker启动文件

  10. sed -i "13i ExecStartPost=/usr/sbin/iptables -P FORWARD ACCEPT" /usr/lib/systemd/system/docker.service

  11. # 启动docker

  12. systemctl daemon-reload

  13. systemctl enable docker

  14. systemctl start docker

安装私有镜像库

如果不能翻墙,需要使用本文提供的私有镜像源,则还需要为docker做如下配置,将K8s官方镜像库的几个域名设置为insecure-registry,然后设置hosts使它们指向私有源。

 
   
   
 
  1. # 所有主机:http私有源配置

  2. # 为Docker配置一下私有源

  3. mkdir -p /etc/docker

  4. echo -e '{\n"insecure-registries":["k8s.gcr.io", "gcr.io", "quay.io"]\n}' > /etc/docker/daemon.json

  5. systemctl restart docker

  6. # 此处应当修改为harbor所在机器的IP

  7. HARBOR_HOST="10.130.38.80"

  8. # 设置Hosts

  9. yes | cp /etc/hosts /etc/hosts_bak

  10. cat /etc/hosts_bak|grep -vE '(gcr.io|harbor.io|quay.io)' > /etc/hosts

  11. echo """

  12. $HARBOR_HOST gcr.io harbor.io k8s.gcr.io quay.io """ >> /etc/hosts

下载链接:https://pan.baidu.com/s/17PVVRYIbfmPz1qiiRyGg 密码:newp,随后将该文件放置到harbor机器上,并在harbor主机上加载、启动该镜像

 
   
   
 
  1. # harbor:启动私有镜像库

  2. docker load -i /path/to/k8s-repo-1.11.0

  3. docker run --restart=always -d -p 80:5000 --name repo harbor.io:1180/system/k8s-repo:v1.11.0

该镜像库中包含如下镜像,全部来源于官方镜像站。 

Kubeadm HA master(v1.11.0)集群搭建(离线包+自动化脚本+ipvs+keepalived+calico)

安装配置kubernetes 

基本安装 首先下载链接:https://pan.baidu.com/s/1tOIFgnexs25XWHxitLmmVQ 密码:lqth,并放置在k8s各个master和worker主机上

 
   
   
 
  1. # master & worker:安装kubernetes

  2. yum install -y socat keepalived ipvsadm

  3. cd /path/to/downloaded/file

  4. tar -xzvf k8s-v1.11.0-rpms.tgz

  5. cd k8s-v1.11.0

  6. rpm -ivh *

  7. systemctl enable kubelet

  8. kubeadm version -o short

配置免密码登陆

 
   
   
 
  1. # master-1:生成ssh密钥对

  2. ssh-keygen

  3. # 三次回车后,密钥生成完成

  4. cat ~/.ssh/id_rsa.pub

  5. # 得到该机器的公钥如下图

Kubeadm HA master(v1.11.0)集群搭建(离线包+自动化脚本+ipvs+keepalived+calico)

将该公钥复制,并分别登陆到master-1 master-2 master-3的root用户,将它令起一行粘贴到 ~/.ssh/authorized_keys 文件中,包括master-1自己

复制完成后,从master-1上分别登陆master-1 master-2 master-3测试是否可以免密码登陆(请不要跳过这一步),可以的话便可以继续执行下一步

部署HA Master 

HA Master的部署过程已经自动化,请在master-1上执行如下命令,并注意修改IP和Hostname

 
   
   
 
  1. # 部署HA master

  2. cd ~/

  3. # 创建集群信息文件

  4. echo """

  5. CP0_IP=10.130.29.80

  6. CP0_HOSTNAME=centos-7-x86-64-29-80

  7. CP1_IP=10.130.29.81

  8. CP1_HOSTNAME=centos-7-x86-64-29-81

  9. CP2_IP=10.130.29.82

  10. CP2_HOSTNAME=centos-7-x86-64-29-82

  11. VIP=10.130.29.83

  12. NET_IF=eth0

  13. """ > ./cluster-info

  14. bash -c "$(curl -fsSL https://raw.githubusercontent.com/Lentil1016/kubeadm-ha/master/kubeha-gen.sh)"

  15. # 该步骤将可能持续2到10分钟,在该脚本进行安装部署前,将有一次对安装信息进行检查确认的机会

可以在该链接(https://asciinema.org/a/BEGzoZYwRZESD1td128rhlgSH)查看我在自己的环境上安装全过程的录像,安装结束后会打印出如下的信息,最后一行为加入集群的命令,其中加入集群的IP已经被更换为了高可用的VIP。

Kubeadm HA master(v1.11.0)集群搭建(离线包+自动化脚本+ipvs+keepalived+calico)

加入work node

现在可以将各节点入编到集群中。join command是由kubeadm动态生成的,其基本形式如下

 
   
   
 
  1. # worker:将worker编入集群

  2. kubeadm join --token fae76b.88ae6b2ad052b67f 10.130.29.83:6443 --discovery-token-ca-cert-hash sha256:9ed673962fd437dc556ccab07d02d718da01cf5db1b6eeaf443ecadd891a73e8

其中包含了节点入编集群所需要携带的验证token,以防止外部恶意的节点进入集群。每个token自生成起24小时后过期。届时如果需要加入新的节点,则需要重新生成新的join token,请使用下面的命令生成,注意改写IP:

 
   
   
 
  1. # master-1:生成指向VIP的Join Command

  2. kubeadm token create --print-join-command|sed 's/${LOCAL_IP}/${VIP}/g'

Kubeadm HA master(v1.11.0)集群搭建(离线包+自动化脚本+ipvs+keepalived+calico)

随后到worker节点执行刚刚生成的join command即可将该节点编入集群。

Kubeadm HA master(v1.11.0)集群搭建(离线包+自动化脚本+ipvs+keepalived+calico)

Kubeadm HA master(v1.11.0)集群搭建(离线包+自动化脚本+ipvs+keepalived+calico)

至此,HA master Kubernetes 集群搭建完毕。

欢迎点击文章底部“阅读原文”留言与作者交流。

Kubeadm HA master(v1.11.0)集群搭建(离线包+自动化脚本+ipvs+keepalived+calico)

Lentil Sun
Channelsoft Software Engineer
Mail: lentil1016@gmail.com
Site: https://lentil1016.cn
Github: https://github.com/Lentil1016


推荐阅读


点击下方阅读原文,留言与作者交流。

版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《Kubeadm HA master(v1.11.0)集群搭建(离线包+自动化脚本+ipvs+keepalived+calico)》的版权归原作者「K8S中文社区」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

关注K8S中文社区微信公众号

K8S中文社区微信公众号:k8schina

K8S中文社区

手机扫描上方二维码即可关注K8S中文社区微信公众号

K8S中文社区最新文章

精品公众号随机推荐