vlambda博客
学习文章列表

服务器准备环境安装    设置主机名    修改hosts文件    所有节点关闭 SELinux 和 防火墙    所有节点添加安装源    所有节点安装所需组件并进行配置    在主节点使用 kubeadm 初始化集群    将工作节点加入集群    踩坑记参考链接

最近在学习云原生相关的渗透知识，该系列文章记录学习过程，包括基础知识（主要是k8s的搭建使用以及一些概念等。docker基础使用操作不赘述。）、工具的使用、逃逸漏洞复现等。

服务器准备

腾讯云 云服务器，新建三台服务器（香港地区）。

为三台服务器命名：

master：172.19.16.6

node1：172.19.16.14

node2：172.19.16.15

环境安装

设置主机名

hostnamectl set-hostname master
hostnamectl set-hostname node1
hostnamectl set-hostname node2

[root@VM-16-6-centos ~]# hostnamectl set-hostname master
[root@VM-16-6-centos ~]# hostname
master
[root@VM-16-6-centos ~]#

修改hosts文件

vim /etc/hosts
172.19.16.6 master
172.19.16.14 node1
172.19.16.15 node2

可以成功ping通：

[root@VM-16-6-centos ~]# ping node1
PING node1 (172.19.16.14) 56(84) bytes of data.
64 bytes from node1 (172.19.16.14): icmp_seq=1 ttl=64 time=0.215 ms
64 bytes from node1 (172.19.16.14): icmp_seq=2 ttl=64 time=0.138 ms
64 bytes from node1 (172.19.16.14): icmp_seq=3 ttl=64 time=0.128 ms

所有节点关闭 SELinux 和 防火墙

setenforce 0
sed -i --follow-symlinks 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux

systemctl stop firewalld
systemctl disable firewalld

所有节点添加安装源

# 添加 k8s 安装源
cat <<EOF > kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
mv kubernetes.repo /etc/yum.repos.d/

# 添加 Docker 安装源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

所有节点安装所需组件并进行配置

yum install -y kubelet kubeadm kubectl docker-ce

启动 kubelet、docker，并设置开机启动（所有节点）

systemctl enable kubelet
systemctl start kubelet
systemctl enable docker
systemctl start docker

修改 docker 配置（所有节点）

kubernetes 官方推荐 docker 等使用 systemd 作为 cgroupdriver，否则 kubelet 启动不了

cat <<EOF > daemon.json
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "registry-mirrors": ["https://ud6340vz.mirror.aliyuncs.com"]
}
EOF
mv daemon.json /etc/docker/

# 重启生效
systemctl daemon-reload
systemctl restart docker

在主节点使用 kubeadm 初始化集群

# 初始化集群控制台 Control plane
# 失败了可以用 kubeadm reset 重置
kubeadm init --image-repository=registry.aliyuncs.com/google_containers --pod-network-cidr=10.244.0.0/16

子网段配置为10.244.0.0/16
后面配置的kube-flannel.yml网络插件配置的子网段也是这个。

# 记得把 kubeadm join xxx 保存起来
# 忘记了重新获取：kubeadm token create --print-join-command

# 复制授权文件，以便 kubectl 可以有权限访问集群
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config

# 在其他机器上创建 ~/.kube/config 文件也能通过 kubectl 访问到集群

将工作节点加入集群

kubeadm join 172.19.16.6:6443 --token p62ha4.fj53b6w82wd2bpjf --discovery-token-ca-cert-hash sha256:dd0ebd757ace1c96a1f65004bc6ae8056a211d44e2e5bb0cb6b51e78a8313e32

使用kubectl get node查看节点状态为NotReady状态，需要在主节点上安装一个网络插件：

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

其他节点有安装 kubectl 也可以查看。

kubectl get pods --all-namespaces

可以看到所有状态都是Running就成功了：

踩坑记

之前使用kubeadm init初始化集群环境时，没有指定--pod-network-cidr子网与kube-flannel.yml网络插件的子网段不一样，kubectl get pods --all-namespaces查看时，kube-flannel-ds一直提示 CrashLoopBackOff。

第二个解决方法：

如果运行 kubectl describe pod/pod-name 发现 Events 中有下面这个错误

networkPlugin cni failed to set up pod "test-k8s-68bb74d654-mc6b9_default" network: open /run/flannel/subnet.env: no such file or directory

在每个节点创建文件/run/flannel/subnet.env写入以下内容即可解决：

FLANNEL_NETWORK=10.244.0.0/16
FLANNEL_SUBNET=10.244.0.1/24
FLANNEL_MTU=1450
FLANNEL_IPMASQ=true

这个文件实际上就是在init时根据运行的选项生成的，如果init时没有指定相关选项（如子网段），就可能不存在该文件。

参考链接

https://k8s.easydoc.net/docs/dRiQjyTY/28366845/6GiNOzyZ/nd7yOvdY

https://www.bilibili.com/video/BV1Tg411P7EB?p=2

https://www.cnblogs.com/shunzi115/p/14776507.html

https://www.cnblogs.com/zhizihuakai/p/12629514.html