《伸手系列》之arm架构服务器安装kubernetes

vlambda
2021-02-23

《伸手系列》之arm架构服务器安装kubernetes

前段时间买了两台华为云服务器没有用，最近看了一下发现是arm架构的，刚好没有在arm上装过k8s，特意装一下顺便记录一下

一、环境准备

硬件参数

操作系统和安装要求

《伸手系列》之arm架构服务器安装kubernetes

以上是华为云服务器的情况，直接官网搬的信息

Docker安装

注意：采用静态包而非yum install的方式，是因为默认yum源的Docker版本过旧，容易出错且出现问题难以定位。

注意：在离线场景下，可以先通过网络下载安装包再传入目标主机的目标目录。

wget https://download.docker.com/linux/static/stable/aarch64/docker-18.09.8.tgz

《伸手系列》之arm架构服务器安装kubernetes

•

获取Docker静态包及组件

•

1 执行cat /etc/redhat-release，确认物理机的操作系统版本。《伸手系列》之arm架构服务器安装kubernetes 3.2 将静态安装包在本地解压。解压后本地文件夹下会多一个docker文件夹，内容如下

 tar xvpf docker-18.09.8.tgz

3.3 将文件夹中所有内容拷贝至“/usr/bin”文件夹下。

 cp -p docker/* /usr/bin

3.4 为使Docker可以正常使用，还需要关闭SELinux及防火墙。

 setenforce 0
 systemctl stop firewalld
 systemctl disable firewalld

此时只是暂时禁用SELinux，如果要长期禁用SELinux，还需要修改/etc/selinux/config文件。将SELINUX=enforcing改为SELINUX=permissive或disabled，才能长期有效。重启服务器后，修改的配置文件生效 3.5 整段执行如下命令，配置docker.service文件

 cat >/usr/lib/systemd/system/docker.service <<EOF [Unit] Description=Docker Application Container Engine Documentation=http://docs.docker.com After=network.target docker.socket [Service] Type=notify EnvironmentFile=-/run/flannel/docker WorkingDirectory=/usr/local/bin ExecStart=/usr/bin/dockerd -H tcp://0.0.0.0:4243 -H unix:///var/run/docker.sock --selinux-enabled=false --log-opt max-size=1g ExecReload=/bin/kill -s HUP $MAINPID # Having non-zero Limit*s causes performance problems due to accounting overhead # in the kernel. We recommend using cgroups to do container-local accounting. LimitNOFILE=infinity LimitNPROC=infinity LimitCORE=infinity # Uncomment TasksMax if your systemd version supports it. # Only systemd 226 and above support this version. #TasksMax=infinity TimeoutStartSec=0 # set delegate yes so that systemd does not reset the cgroups of docker containers Delegate=yes # kill only the docker process, not all processes in the cgroup KillMode=process Restart=on-failure [Install] WantedBy=multi-user.target EOF

3.6 随后启动相关服务，输出Docker的状态。

 systemctl daemon-reload
 systemctl status docker
 systemctl restart docker
 systemctl status docker
 systemctl enable docker
 systemctl status docker

3.7 执行docker version命令，查询Docker版本《伸手系列》之arm架构服务器安装kubernetes

K8S安装

K8s集群由一个管理节点（Master，也称主节点）与多个计算节点（Node）组成，集群创建、管理工作均在Master节点执行，计算节点通过kubeadm join操作加入集群。因此，Master与Node需要处在同一个网络下，且可以互通。

1、云服务器直接内网如果不通的话，同一区域可以建立对等连接从而互通，不通区域的互通也可以但是会收费；2、搭建K8s集群，每台节点均需要按照文档安装Docker及K8s的全部组件。

集群角色和IP规划角色 | IP举例 -------- | ----- Master | 192.168.0.160 Worker |10.0.0.248

配置华为云yum源

•配置华为云yum源

考虑到国内的网络情况，手动部署K8s之前，需要配置华为云yum源，操作步骤如下所示：

cat <<EOF > /etc/yum.repos.d/kubernetes.repo[kubernetes]name=Kubernetes baseurl=https://mirrors.huaweicloud.com/kubernetes/yum/repos/kubernetes-el7-aarch64enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=http://mirrors.huaweicloud.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.huaweicloud.com/kubernetes/yum/doc/rpm-package-key.gpgEOF

•刷新yum缓存

 yum makecache

安装基础组件

•启用NET.BRIDGE.BRIDGE-NF-CALL-IPTABLES内核选项。

sysctl -w net.bridge.bridge-nf-call-iptables=1

•禁用交换分区。

swapoff -a
cp -p /etc/fstab /etc/fstab.bak$(date '+%Y%m%d%H%M%S')
sed -i "s/\/dev\/mapper\/centos-swap/\#\/dev\/mapper\/centos-swap/g" /etc/fstab

•安装K8s组件。

yum install -y kubelet kubeadm kubectl kubernetes-cni

•查看安装情况。

rpm -qa | grep kubelet
rpm -qa | grep kubeadm
rpm -qa | grep kubectl
rpm -qa | grep kubernetes-cni

•设置iptables。

echo "net.bridge.bridge-nf-call-iptables=1" > /etc/sysctl.d/k8s.conf

•使能kubelet服务。

systemctl enable kubelet

通过Docker下载其他组件

注意：集群内所有节点均需执行以下操作步骤。

•查看下载节点初始化所需镜像。执行kubeadm config images list命令

!!! 一定要注意，别弄错了，不然后续肯定有问题， K8s所需镜像版本有可能会变动，因此查看列表并以此匹配需要下载的Docker镜像，文档中的镜像版本仅做参考。例如这边是：k8s.gcr.io/kube-apiserver:v1.14.2 k8s.gcr.io/kube-controller-manager:v1.14.2 k8s.gcr.io/kube-scheduler:v1.14.2 k8s.gcr.io/kube-proxy:v1.14.2 k8s.gcr.io/pause:3.1 k8s.gcr.io/etcd:3.3.10 k8s.gcr.io/coredns:1.3.1

•从DockerHub上下载镜像。

docker pull docker.io/mirrorgooglecontainers/kube-apiserver-arm64:v1.14.2
docker pull docker.io/mirrorgooglecontainers/kube-controller-manager-arm64:v1.14.2
docker pull docker.io/mirrorgooglecontainers/kube-scheduler-arm64:v1.14.2
docker pull docker.io/mirrorgooglecontainers/kube-proxy-arm64:v1.14.2
docker pull docker.io/mirrorgooglecontainers/pause-arm64:3.1
docker pull docker.io/mirrorgooglecontainers/etcd-arm64:3.3.10
docker pull docker.io/coredns/coredns:1.3.1

•修改已下载的镜像标签。

docker tag docker.io/mirrorgooglecontainers/kube-apiserver-arm64:v1.14.2 k8s.gcr.io/kube-apiserver:v1.14.2

docker tag docker.io/mirrorgooglecontainers/kube-controller-manager-arm64:v1.14.2 k8s.gcr.io/kube-controller-manager:v1.14.2

docker tag docker.io/mirrorgooglecontainers/kube-scheduler-arm64:v1.14.2 k8s.gcr.io/kube-scheduler:v1.14.2

docker tag docker.io/mirrorgooglecontainers/kube-proxy-arm64:v1.14.2 k8s.gcr.io/kube-proxy:v1.14.2

docker tag docker.io/mirrorgooglecontainers/pause-arm64:3.1 k8s.gcr.io/pause:3.1

docker tag docker.io/mirrorgooglecontainers/etcd-arm64:3.3.10 k8s.gcr.io/etcd:3.3.10

docker tag docker.io/coredns/coredns:1.3.1 k8s.gcr.io/coredns:1.3.1

4. 删除旧镜像。
```bashdocker rmi docker.io/mirrorgooglecontainers/kube-apiserver-arm64:v1.14.2
docker rmi docker.io/mirrorgooglecontainers/kube-controller-manager-arm64:v1.14.2
docker rmi docker.io/mirrorgooglecontainers/kube-scheduler-arm64:v1.14.2
docker rmi docker.io/mirrorgooglecontainers/kube-proxy-arm64:v1.14.2
docker rmi docker.io/mirrorgooglecontainers/pause-arm64:3.1
docker rmi docker.io/mirrorgooglecontainers/etcd-arm64:3.3.10
docker rmi docker.io/coredns/coredns:1.3.1

配置hosts文件

主节点和计算节点都需要配置hosts文件。

•执行vi /etc/hosts命令，修改hosts文件。•添加集群所有节点的IP及hostname信息，如下所示，按Esc，输入:wq保存退出。《伸手系列》之arm架构服务器安装kubernetes

配置主节点

重复搭建集群时，请先执行kubeadm reset命令，清除旧的K8s集群设置。

•在主节点上执行集群初始化命令

kubeadm init --kubernetes-version=1.14.2 --apiserver-advertise-address=192.168.0.160 --service-cidr=10.1.0.0/16 --pod-network-cidr=10.244.0.0/16

说明：计算节点不需要执行集群初始化操作。如果在主节点初始化的时候提示：/proc/sys/net/bridge/bridge-nf-call-iptables contents are not set to 1 可以通过执行echo 1 > /proc/sys/net/bridge/bridge-nf-call-iptables命令将其置为1（vim不可修改此文件）。执行该操作时，建议排查是否有配置代理（执行env查看），避免kubeadm init初始化超时失败，删除代理的操作：export -n http_proxy export -n https_proxy export -n no_proxy

《伸手系列》之arm架构服务器安装kubernetes 如果打印此信息如图所示，则主节点成功被初始化。

在图中，黄框信息表示主节点配置集群需要执行的命令，红框信息表示计算节点加入集群的token命令，请保存该段命令。

•配置集群

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
export KUBECONFIG=/etc/kubernetes/admin.conf

•在主节点查看集群节点信息

kubectl get node

也可以通过命令查看当前进度

kubectl get pods --all-namespaces -o wide

配置计算节点

•

删除代理如果kubernetes工作节点已经配置了http和https代理，需要执行如下命令删除代理。

 export -n http_proxy
 export -n https_proxy
 export -n no_proxy

•

计算节点加入集群使用前面初始化主节点的信息加入

kubeadm join 192.168.0.160:6443 --token ddrk9r.9quu1gceufqza4pq --discovery-token-ca-cert-hash sha256:4d3484e1700e16f93b71f4b5032ae94534e9d60b368320a8c5e7e116e5b02f2e

须知：集群加入token是随机生成的，在搭建集群时需要使用实际生成的指令。token默认有效期为24小时，若token超时，可在K8S主节点通过kubeadm token create --print-join-command命令进行重新生成。

•

等待一分钟左右，在主节点执行kubectl get nodes命令，查看集群中加入的计算节点，如下所示

k8s的安装工作基本完成，后续的kubernetes-dashboard大家可以自行安装另外，这边K8S安装的版本偏低，大家如果需要安装较高版本的话最好找到源能提前下载好镜像，有问题欢迎交流

关注Github：1/2极客^[2]

关注博客：御前提笔小书童^[3]

关注网站：HuMingfeng^[4]

References

[1]: https://download.docker.com/linux/static/stable/aarch64/
[2] 1/2极客: https://github.com/humingfeng
[3] 御前提笔小书童: https://blog.csdn.net/qq_22260641
[4] HuMingfeng: https://royalscholar.cn

喜欢就点个"在看"呗^_^

vlambda博客
学习文章列表