【云原生渗透基础】- 1. Kubernetes环境搭建

vlambda
2022-02-14

【云原生渗透基础】- 1. Kubernetes环境搭建

服务器准备环境安装设置主机名修改hosts文件所有节点关闭 SELinux 和防火墙所有节点添加安装源所有节点安装所需组件并进行配置在主节点使用 kubeadm 初始化集群将工作节点加入集群踩坑记参考链接

最近在学习云原生相关的渗透知识，该系列文章记录学习过程，包括基础知识（主要是k8s的搭建使用以及一些概念等。docker基础使用操作不赘述。）、工具的使用、逃逸漏洞复现等。

服务器准备

腾讯云云服务器，新建三台服务器（香港地区）。

【云原生渗透基础】- 1. Kubernetes环境搭建

为三台服务器命名：

master：172.19.16.6

node1：172.19.16.14

node2：172.19.16.15

【云原生渗透基础】- 1. Kubernetes环境搭建

环境安装

设置主机名

hostnamectl set-hostname master
hostnamectl set-hostname node1
hostnamectl set-hostname node2

[root@VM-16-6-centos ~]# hostnamectl set-hostname master
[root@VM-16-6-centos ~]# hostname
master
[root@VM-16-6-centos ~]#

修改hosts文件

vim /etc/hosts
172.19.16.6 master
172.19.16.14 node1
172.19.16.15 node2

可以成功ping通：

[root@VM-16-6-centos ~]# ping node1
PING node1 (172.19.16.14) 56(84) bytes of data.
64 bytes from node1 (172.19.16.14): icmp_seq=1 ttl=64 time=0.215 ms
64 bytes from node1 (172.19.16.14): icmp_seq=2 ttl=64 time=0.138 ms
64 bytes from node1 (172.19.16.14): icmp_seq=3 ttl=64 time=0.128 ms

所有节点关闭 SELinux 和防火墙

setenforce 0
sed -i --follow-symlinks 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux

systemctl stop firewalld
systemctl disable firewalld

所有节点添加安装源

# 添加 k8s 安装源
cat <<EOF > kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
mv kubernetes.repo /etc/yum.repos.d/

# 添加 Docker 安装源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

所有节点安装所需组件并进行配置

yum install -y kubelet kubeadm kubectl docker-ce

启动 kubelet、docker，并设置开机启动（所有节点）

systemctl enable kubelet
systemctl start kubelet
systemctl enable docker
systemctl start docker

修改 docker 配置（所有节点）

kubernetes 官方推荐 docker 等使用 systemd 作为 cgroupdriver，否则 kubelet 启动不了

cat <<EOF > daemon.json
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "registry-mirrors": ["https://ud6340vz.mirror.aliyuncs.com"]
}
EOF
mv daemon.json /etc/docker/

# 重启生效
systemctl daemon-reload
systemctl restart docker

在主节点使用 kubeadm 初始化集群

# 初始化集群控制台 Control plane
# 失败了可以用 kubeadm reset 重置
kubeadm init --image-repository=registry.aliyuncs.com/google_containers --pod-network-cidr=10.244.0.0/16

子网段配置为10.244.0.0/16
后面配置的kube-flannel.yml网络插件配置的子网段也是这个。

# 记得把 kubeadm join xxx 保存起来
# 忘记了重新获取：kubeadm token create --print-join-command

【云原生渗透基础】- 1. Kubernetes环境搭建

# 复制授权文件，以便 kubectl 可以有权限访问集群
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config

# 在其他机器上创建 ~/.kube/config 文件也能通过 kubectl 访问到集群

将工作节点加入集群

kubeadm join 172.19.16.6:6443 --token p62ha4.fj53b6w82wd2bpjf --discovery-token-ca-cert-hash sha256:dd0ebd757ace1c96a1f65004bc6ae8056a211d44e2e5bb0cb6b51e78a8313e32

使用kubectl get node查看节点状态为NotReady状态，需要在主节点上安装一个网络插件：

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

其他节点有安装 kubectl 也可以查看。

kubectl get pods --all-namespaces

可以看到所有状态都是Running就成功了：

踩坑记

之前使用kubeadm init初始化集群环境时，没有指定--pod-network-cidr子网与kube-flannel.yml网络插件的子网段不一样，kubectl get pods --all-namespaces查看时，kube-flannel-ds一直提示 CrashLoopBackOff。

第二个解决方法：

如果运行 kubectl describe pod/pod-name 发现 Events 中有下面这个错误

networkPlugin cni failed to set up pod "test-k8s-68bb74d654-mc6b9_default" network: open /run/flannel/subnet.env: no such file or directory

在每个节点创建文件/run/flannel/subnet.env写入以下内容即可解决：

FLANNEL_NETWORK=10.244.0.0/16
FLANNEL_SUBNET=10.244.0.1/24
FLANNEL_MTU=1450
FLANNEL_IPMASQ=true

这个文件实际上就是在init时根据运行的选项生成的，如果init时没有指定相关选项（如子网段），就可能不存在该文件。

参考链接

https://k8s.easydoc.net/docs/dRiQjyTY/28366845/6GiNOzyZ/nd7yOvdY

https://www.bilibili.com/video/BV1Tg411P7EB?p=2

https://www.cnblogs.com/shunzi115/p/14776507.html

https://www.cnblogs.com/zhizihuakai/p/12629514.html

vlambda博客
学习文章列表