在学习k8s搭建中，网上大部分教程都是用虚拟机做单机集群，只有极少数是使用服务器搭建教程；但是用云服务器搭建的教程中教程版本都比较老(随着时间的推移)，因为没有详细说明之后更新的版本需要怎么搭建？搭建完后可能会有小白问，为什么k8s搭建需要指定版本的kubelet kebeadm docker 等等环境？如果以后有更新的k8s那又需要怎么找到合适的版本进行搭建，这个是很多网上都没有介绍的。
这里准备了三台服务器进行测试
124.221.152.207 master 腾讯云 4H8G CentOS7.6
36.133.77.173 node1 移动云 2H4G CentOS7.6
123.123.123.123 node2 俄罗斯 1H2G CentOS7.6
----------------------------------------------------------------------
1、搭建时建议是最干净的系统(可以是刚开通的机器或者重装系统后的机器)
2、不同版本的k8s对服务器的系统环境也是不一样的，如果搭建有问题建议更换系统版本～～
默认阿里云ECS所有入网方向端口都需要自己手动开启，腾讯云EVM入网方向所有端口都放开了。
master端口开放
| 协议 | 方向 | 端口 | 说明 |
|---|---|---|---|
| TCP | 入站 | 6443 | Kubernetes API server |
| TCP | 入站 | 2379-2380 | etcd server client API |
| TCP | 入站 | 10250 | Kubelet API |
| TCP | 入站 | 10251 | kube-scheduler |
| TCP | 入站 | 10252 | kube-controller-manager |
| UDP | 入站 | 8472 | k8s fannel vxlan |
| UDP | 入站 | 8472 | k8s fannel vxlan |
默认master是不允许进行非系统的pod部署的，后续k8smaster节点部署起来之后如果执行将master允许pod 部署的话（也就是执行了下面的命令）:
# kubectl taint node k8s-master node-role.kubernetes.io/master-那么master节点也需要开放30000-32767的入站方向的tcp端口
node节点端口开放
| 协议 | 方向 | 端口 | 说明 |
|---|---|---|---|
| TCP | 入站 | 10250 | Kubelet API |
| TCP | 入站 | 30000-32767 | k8s NodePort ServicesI |
yum -y update
yum install -y conntrack ipvsadm ipset jq sysstat curl iptables libseccomp在每一台机器上都安装好Docker，版本为 19.03.14
sudo yum install -y yum-utils \
device-mapper-persistent-data \
lvm2sudo yum-config-manager --add-repo https://mirror.azure.cn/docker-ce/linux/centos/docker-ce.repo
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo然后设置一下阿里云镜像加速器
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://dysf0kvk.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reloadyum install -y docker-ce-19.03.14 docker-ce-cli-19.03.14sudo systemctl start docker && sudo systemctl enable dockerps -ef|grep docker## master节点用master node节点用node1或者自定义
sudo hostnamectl set-hostname master
bash ## 刷新一下看看名称有没有改成功cat >> /etc/hosts << EOF
124.221.152.207 master
36.133.77.173 node1
123.123.123.123 node2
EOF# (1)关闭防火墙
systemctl stop firewalld && systemctl disable firewalld
# (2)关闭selinux
setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
# (3)关闭swap
swapoff -a
sed -i '/swap/s/^\(.*\)$/#\1/g' /etc/fstab
# (4)配置iptables的ACCEPT规则
iptables -F && iptables -X && iptables -F -t nat && iptables -X -t nat && iptables -P FORWARD ACCEPT
# (5)设置系统参数
cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system每个机器都要安装！！！
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF这三个东西一定要保证版本统一，一定要安装这个安装顺序来完成
yum install -y kubectl-1.23.1-0
yum install -y kubelet-1.23.1-0
yum install -y kubeadm-1.23.1-0查看安装后的版本。
kubectl version
kubelet --version
kubeadm versionsystemctl enable kubelet# 编辑docker的daemon.json文件,每个节点都要执行
vi /etc/docker/daemon.json
# 增加这行
"exec-opts": ["native.cgroupdriver=systemd"]
systemctl restart docker给所有节点创建一个与外网IP一样的虚拟IP
# 看一下你的公网IP是否在机器中存在
ip a | grep 124.221.152.207
# 如果没有就执行下面这段代码新增一个和公网IP一样的虚拟网卡IP
cat > /etc/sysconfig/network-scripts/ifcfg-eth0:1 <<EOF
BOOTPROTO=static
DEVICE=eth0:1
IPADDR=124.221.152.207
PREFIX=32
TYPE=Ethernet
USERCTL=no
ONBOOT=yes
EOF
cat > /etc/sysconfig/network-scripts/ifcfg-eth0:1 <<EOF
BOOTPROTO=static
DEVICE=eth0:1
IPADDR=36.133.77.173
PREFIX=32
TYPE=Ethernet
USERCTL=no
ONBOOT=yes
EOF
# 初始化kubeadm
systemctl restart network
# 初始化
kubeadm init --image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version=1.23.1 \
--pod-network-cidr=192.168.0.0/16 \
--control-plane-endpoint=124.221.152.207 \
--apiserver-advertise-address=124.221.152.207 --v=5
# 如果出现报错就执行这个
echo 1 > /proc/sys/net/ipv4/ip_forward安装成功后会得到node节点接入时需要的token，把它复制下来!
kubeadm join 124.221.152.207:6443 --token l3uozx.78h0yyw7mkzx24cl \
--discovery-token-ca-cert-hash sha256:1b61cd58b4a3a09bac38ae05a2601a5f2681660bae85e5792359385fd6ea31fd继续按照提示操作
mkdir -p $HOME/.kube
cd .kube/
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
vim /etc/profile
# 添加以下内容永久生效
export KUBECONFIG="/etc/kubernetes/admin.conf"
# 执行一下
source /etc/profile# 在k8s中安装calico（这条命令很快的）
kubectl create -f https://docs.projectcalico.org/v3.23/manifests/calico.yaml
# 确认一下calico是否安装成功 -w可以实时变化（看到calico都好了表示网络插件好了）
kubectl get pods --all-namespaces -w安装和验证。
验证pod和健康检查（这两句也是只在master节点上执行）
# 验证pod
kubectl get pods -n kube-system
# 健康检查（不要怀疑，就是healthz）
curl -k https://localhost:6443/healthz
## 开启内核支持
cat >> /etc/sysctl.conf << EOF
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
EOF
## 执行生效
sysctl -p
## 开启ipvs支持
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
## 配置kube-proxy，在master节点上操作
kubectl edit cm kube-proxy -n kube-system
## 文件示例
ipvs:
excludeCIDRs: null
minSyncPeriod: 0s
scheduler: ""
syncPeriod: 30s
kind: KubeProxyConfiguration
metricsBindAddress: "":
mode: "ipvs" #修改
在master重启kube-proxy
kubectl get pod -n kube-system | grep kube-proxy | awk '{print $1}' | xargs kubectl delete pod -n kube-systemkubeadm join 124.221.152.207:6443 --token l3uozx.78h0yyw7mkzx24cl \
--discovery-token-ca-cert-hash sha256:1b61cd58b4a3a09bac38ae05a2601a5f2681660bae85e5792359385fd6ea31fd --v=5kubectl get nodes
## 当每个节点都是Ready，表示完成。
cat > pod_nginx_rs.yaml <<EOF
apiVersion: apps/v1
kind: ReplicaSet
metadata:
name: nginx
labels:
tier: frontend
spec:
replicas: 3
selector:
matchLabels:
tier: frontend
template:
metadata:
name: nginx
labels:
tier: frontend
spec:
containers:
- name: nginx
image: nginx
ports:
- containerPort: 80
EOF执行命令创建pod
kubectl apply -f pod_nginx_rs.yaml查看pod状态
kubectl get pods
kubectl get pods -o wide
kubectl describe pod nginx感受通过rs将pod扩容
kubectl scale rs nginx --replicas=5
kubectl get pods -o wide删除pod
kubectl delete -f pod_nginx_rs.yaml## 下载文件
wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.7.0/aio/deploy/recommended.yaml
# 搜索Service 将 type改成 NodePort
vi recommended.yaml
# 执行
kubectl create -f recommended.yaml
添加用户获取登陆token
vi dashboard-admin.yml复制以下内容到bashboard-admin.yml
apiVersion: v1
kind: ServiceAccount
metadata:
name: admin-user
namespace: kubernetes-dashboard
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: admin-user
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: cluster-admin
subjects:
- kind: ServiceAccount
name: admin-user
namespace: kubernetes-dashboard
# 执行生成
kubectl apply -f dashboard-admin.yml
# 查看token
kubectl -n kubernetes-dashboard describe secret $(kubectl -n kubernetes-dashboard get secret | grep admin-user | awk '{print $1}')
## 查看对外访问端口
kubectl -n kubernetes-dashboard get service kubernetes-dashboard
## 内部端口:外网端口
## 如果内部是443 则对外访问是 https://你的ip:31318
答：首先是为什么需要指定docker版本，因为k8s对应的版本对有些docker版本不支持（k8s各版本对环境的参考地址：https://github.com/kubernetes/kubernetes/releases）以下是教程如何找到合适的docker版本。
答：从以上可以看出docker v20.10.12+到v20.10.17+的都不支持，此时可以搜索一下docker的各个版本列表，只要不是在上述限定的版本范围内的都可以，建议向下版本如本次搭建的docker版本。
## 默认有效期24小时,若想久一些可以结合--ttl参数,设为0则用不过期
kubeadm token create --print-join-command 答：首先所有节点后需要ping通master节点上的IP，但是在目前的云服务器上公网IP不是实实在在绑定在机器上的（当然有的服务器内公网用的确实是一个IP），这个时候需要进行虚拟网卡的创建否则在kubeadm init的时候会卡死。
答：calico是k8s中CNI网络组件
kubelet --version
watch kubectl get pods -A -o wide 
2020 - 2024 ©版权所有 忘忧君
已运行 00 天 00 时 00 分 00 秒
—— 评论区 ——