K8S集群环境搭建（一）-EW帮帮网

虚拟机镜像

ubuntu 24

虚拟机网络

虚拟网络–配置

nat模式

20250803132226

20250803132235

主机ip配置

20250803132528

宿主机ip配置

10.0.0.12 master 2c
10.0.0.15 node1
10.0.0.16 node2
10.0.0.17 node3
10.0.0.20 register


sudo vi /etc/netplan/00-installer-config.yaml  # 替换为实际文件名
sudo netplan apply

network:
  version: 2
  renderer: networkd  # 服务器版用 networkd；桌面版可改为 NetworkManager
  ethernets:
    ens33:  # 替换为你的网卡名称
      dhcp4: no  # 关闭 DHCP
      addresses:
        - 10.0.0.15/24  # 静态 IP/子网掩码（CIDR 格式）
      routes:
        - to: default
          via: 10.0.0.2  # 网关地址
      nameservers:
        addresses: [8.8.8.8, 8.8.4.4]  # DNS 服务器

虚拟机–局域网内–域名配置

10.0.0.12    kubernetes-master.sswang.com  kubernetes-master
10.0.0.15    kubernetes-node1.sswang.com  kubernetes-node1
10.0.0.16    kubernetes-node2.sswang.com  kubernetes-node2
10.0.0.17    kubernetes-node3.sswang.com  kubernetes-node3
10.0.0.20    kubernetes-register.sswang.com  kubernetes-register

密钥

ssh-keygen -t rsa
ssh-copy-id root@10.0.0.15
ssh-copy-id root@10.0.0.16
ssh-copy-id root@10.0.0.17
ssh-copy-id root@10.0.0.20

设置root用户密码：如果root用户没有设置密码，需要设置一个密码： sudo passwd root

修改SSH配置文件：编辑/etc/ssh/sshd_config文件，找到PermitRootLogin配置项，并将其修改为yes： sudo vim /etc/ssh/sshd_config 将以下内容： #PermitRootLogin prohibit-password 修改为： PermitRootLogin yes

systemctl restart ssh

主机名设置


hostnamectl set-hostname kubernetes-master

ssh root@10.0.0.15 "hostnamectl set-hostname kubernetes-node1"

ssh root@10.0.0.16 "hostnamectl set-hostname kubernetes-node2"

ssh root@10.0.0.17 "hostnamectl set-hostname kubernetes-node3"

ssh root@10.0.0.20 "hostnamectl set-hostname kubernetes-register"

swap分区禁用

Kubernetes 为什么要求禁用 Swap？

Kubernetes 的设计初衷是确保容器能够获得预期的资源（CPU、内存）。当节点上的内存不足时，操作系统会使用 Swap 空间将部分内存数据换出到磁盘上。然而，这种行为会导致以下问题：

性能下降：磁盘 I/O 速度远低于内存，使用 Swap 会显著降低应用程序性能。
资源调度不可预测：Kubernetes 调度器无法感知 Swap 的使用情况，它只能基于节点的实际物理内存进行调度决策。如果节点因为 Swap 而“看起来”有足够内存，但实际上物理内存不足，会导致容器性能急剧下降。
稳定性问题：当内存压力大时，频繁的 Swap 换入换出可能导致节点不稳定，甚至引发 OOM（Out-Of-Memory）问题。
资源统计不准确：kubelet 在报告节点资源使用情况时，无法准确反映 Swap 的使用，这会影响集群的自动伸缩（HPA/VPA）和资源配额管理。


# 临时禁用
swapoff -a

# 永久禁用
sed -i 's/.*swap.*/#&/' /etc/fstab

# 内核参数调整
cat >> /etc/sysctl.d/k8s.conf << EOF
vm.swappiness=0
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

## 创建自定义内核模块自动加载服务，开机自动加载systemd-modules-load服务，自动加载modules-load.d下的所有服务
sudo tee /etc/modules-load.d/br_netfilter.conf <<EOF
br_netfilter
EOF

sudo tee /etc/modules-load.d/overlay.conf <<EOF
overlay
EOF

sysctl -p /etc/sysctl.d/k8s.conf

# 验证
free -h  # 应显示 Swap 行全为0

20250803144843

关闭swap分区后需要重启系统

20250803144246

for i in 15 16 17 20
do
scp /etc/fstab root@10.0.0.$i:/etc/fstab
scp /etc/sysctl.d/k8s.conf root@10.0.0.$i:/etc/sysctl.d/k8s.conf
scp /etc/modules-load.d/br_netfilter.conf root@10.0.0.$i:/etc/modules-load.d/br_netfilter.conf
scp /etc/modules-load.d/overlay.conf root@10.0.0.$i:/etc/modules-load.d/overlay.conf
ssh root@10.0.0.$i "systemctl restart systemd-modules-load"
ssh root@10.0.0.$i "sysctl -p /etc/sysctl.d/k8s.conf"
done

安装k8s （adm）

https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/

20250803110828

容器运行时环境

# 更新软件包索引
sudo apt update

# 安装必要的依赖工具
sudo apt install -y \
    ca-certificates \
    curl \
    gnupg \
    lsb-release \
    software-properties-common

添加 Docker 官方 GPG 密钥

# 创建密钥存储目录
sudo install -m 0755 -d /etc/apt/keyrings

# 下载并添加 Docker 的官方 GPG 密钥（使用阿里云镜像）
curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg

# 设置密钥文件权限
sudo chmod a+r /etc/apt/keyrings/docker.gpg

4. 添加 Docker 软件源

# 添加 Docker 软件源（使用阿里云镜像）
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://mirrors.aliyun.com/docker-ce/linux/ubuntu \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

5. 安装 Docker Engine

# 更新软件包索引
sudo apt update

# 安装 Docker CE、CLI 和 containerd
sudo apt install -y docker-ce docker-ce-cli containerd.io

# 检查安装的版本
docker --version
docker compose version

其中containerd.io是docker-engine 所需要的服务

20250810153639

containerd.sock & Docker (dockerd.sock) 的区别

运行环境中的容器运行时接口两者依赖关系如下，所以两者都安装了。
20250810115415

核心作用

容器运行时接口（CRI）：

提供标准的 gRPC 接口，使 Kubernetes 能够管理容器生命周期
Kubernetes kubelet 通过这个 socket 与 containerd 通信

容器操作通道：

创建/启动/停止/删除容器
拉取容器镜像
管理容器网络
执行容器内命令

低级别容器管理：

直接与 Linux 内核的容器功能交互（cgroups、namespaces）
管理容器文件系统（通过快照机制）

6. 配置国内镜像加速器

为了提高 Docker 镜像的下载速度，编辑 /etc/docker/daemon.json 配置文件,需要配置国内镜像加速器：

因为一些限制，所以能用的加速源不多，欢迎大家分享可用的加速源。这里加速源不一定能用。

# 创建 Docker 配置目录（如果不存在）
sudo mkdir -p /etc/docker

# 编辑 daemon.json 配置文件
sudo tee /etc/docker/daemon.json > /dev/null << EOF
{
  "registry-mirrors": [
    "http://74f21445.m.daocloud.io",
    "https://docker.xuanyuan.me",
    "https://docker.1ms.run",
    "https://registry.docker-cn.com",
    "https://docker.mirrors.ustc.edu.cn",
    "https://hub-mirror.c.163.com"
  ],
  "dns": ["8.8.8.8", "8.8.4.4"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "10m",
    "max-file": "3"
  },
  "storage-driver": "overlay2",
  "insecure-registries": ["kubernetes-register.sswang.com:80"]
}
EOF

# 重新加载 systemd 配置
sudo systemctl daemon-reload

# 重启 Docker 服务使配置生效
sudo systemctl restart docker

systemctl status docker

7. 验证安装

# 运行测试容器
sudo docker run hello-world

# 查看 Docker 信息
sudo docker info

8. 开机启动docker

sudo systemctl enable docker
sudo systemctl is-enabled docker  # 应返回 "enabled"
docker info | grep "Storage Driver"

9. docker compose 安装使用


# 检查是否已安装 Docker Compose
docker compose version

# 如果未安装，手动安装
sudo apt install docker-compose-plugin

# 或者使用 pip 安装（需要先安装 Python）
pip install docker-compose

10. 完全卸载docker

# 停止所有运行的容器
docker stop $(docker ps -aq)

# 删除所有容器
docker rm $(docker ps -aq)

# 删除所有镜像
docker rmi $(docker images -q)

# 卸载 Docker 软件包
sudo apt purge docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

# 删除相关目录和文件
sudo rm -rf /var/lib/docker
sudo rm -rf /var/lib/containerd
sudo rm -rf /etc/docker

# 删除软件源配置
sudo rm /etc/apt/sources.list.d/docker.list
sudo rm /etc/apt/keyrings/docker.gpg

# 清理用户组设置
sudo deluser $USER docker

11. 总

#!/bin/sh
set -ex

# 更新软件包索引
sudo apt update

# 安装必要的依赖工具
sudo apt install -y ca-certificates curl gnupg lsb-release software-properties-common

# 创建密钥存储目录
sudo install -m 0755 -d /etc/apt/keyrings

# 下载并添加 Docker 的官方 GPG 密钥（使用阿里云镜像）
curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg

# 设置密钥文件权限
sudo chmod a+r /etc/apt/keyrings/docker.gpg

# 添加 Docker 软件源（使用阿里云镜像）
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://mirrors.aliyun.com/docker-ce/linux/ubuntu  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

# 更新软件包索引
sudo apt update

# 安装 Docker CE、CLI 和 containerd
sudo apt install -y docker-ce docker-ce-cli containerd.io

# 检查安装的版本
docker --version
docker compose version


sudo systemctl enable docker
sudo systemctl is-enabled docker  # 应返回 "enabled"
docker info | grep "Storage Driver"


sudo mkdir -p /etc/docker

# 编辑 daemon.json 配置文件 registry主机（hub） 不需要
sudo tee /etc/docker/daemon.json > /dev/null << EOF
{
  "registry-mirrors": [
    "http://74f21445.m.daocloud.io",
    "https://docker.xuanyuan.me",
    "https://docker.1ms.run",
    "https://registry.docker-cn.com",
    "https://docker.mirrors.ustc.edu.cn",
    "https://hub-mirror.c.163.com"
  ],
  "dns": ["8.8.8.8", "8.8.4.4"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "10m",
    "max-file": "3"
  },
  "storage-driver": "overlay2",
  "insecure-registries": ["kubernetes-register.sswang.com:80"]
}
EOF

# 重新加载 systemd 配置
sudo systemctl daemon-reload

# 重启 Docker 服务使配置生效
sudo systemctl restart docker

systemctl status docker

# 重新加载 systemd 配置
sudo systemctl daemon-reload

# 重启 Docker 服务使配置生效
sudo systemctl restart docker

systemctl status docker

sudo systemctl enable docker
sudo systemctl is-enabled docker  # 应返回 "enabled"
docker info | grep "Storage Driver"

sudo docker run hello-world

# 查看 Docker 信息
sudo docker info

cri环境操作

用于k8s运行时控制docker engine。

注意：所有主机操作

获取软件

mkdir /data/softs -p && cd /data/softs
wget https://github.com/Mirantis/cri-dockerd/releases/download/v0.3.2/cri-dockerd-0.3.2.amd64.tgz

# 解压软件
tar -xvf cri-dockerd-0.3.2.amd64.tgz
mv cri-dockerd/cri-dockerd /usr/local/bin/

设置开机启动cri-dockerd服务，配置socket

cat > /etc/systemd/system/cri-dockerd.service <<-EOF
[Unit]
Description=CRI Interface for Docker Application Container Engine
Documentation=https://docs.mirantis.com
After=network-online.target firewalld.service docker.service
Wants=network-online.target
[Service]
Type=notify
ExecStart=/usr/local/bin/cri-dockerd --pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.9 --network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin --container-runtime-endpoint=unix:///var/run/cri-dockerd.sock --cri-dockerd-root-directory=/var/lib/dockershim --docker-endpoint=unix:///var/run/docker.sock --cri-dockerd-root-directory=/var/lib/docker
ExecReload=/bin/kill -s HUP $MAINPID
TimeoutSec=0
RestartSec=2
Restart=always
StartLimitBurst=3
StartLimitInterval=60s
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TasksMax=infinity
Delegate=yes
KillMode=process
[Install]
WantedBy=multi-user.target
EOF

此 systemd 服务文件用于配置 cri-dockerd 服务，主要包含：

定义服务在 docker 和网络服务之后启动
指定 cri-dockerd 的执行参数：

使用阿里云镜像仓库的 pause 容器
配置 CNI 网络插件路径
设置容器运行时和 docker 的 unix socket 路径
指定存储目录路径

配置服务重启策略和资源限制
设置系统启动时自动启用服务

cat > /etc/systemd/system/cri-dockerd.socket <<-EOF
[Unit]
Description=CRI Docker Socket for the API
PartOf=cri-docker.service

[Socket]
ListenerStream=/var/run/cri-dockerd.sock
SocketMode=0660
SocketUser=root
SocketGroup=docker

[Install]
WantedBy=sockets.target
EOF

20250803163334

同步从节点

for i in 15 16 17 20
do
    ssh root@10.0.0.$i "systemctl stop cri-dockerd &&  rm -rf /etc/systemd/system/cri-dockerd.socket && rm -rf /etc/systemd/system/cri-dockerd.service && rm -rf /data/softs/cri-dockerd/cri-dockerd"

    scp  /data/softs/cri-dockerd/cri-dockerd root@10.0.0.$i:/usr/local/bin
    scp  /etc/systemd/system/cri-dockerd.socket root@10.0.0.$i:/etc/systemd/system
    scp /etc/systemd/system/cri-dockerd.service root@10.0.0.$i:/etc/systemd/system

    ssh root@10.0.0.$i "systemctl daemon-reload && systemctl restart cri-dockerd && systemctl enable cri-dockerd"

    ssh root@10.0.0.$i "systemctl status cri-dockerd | grep Active"
done

harbor仓库

# 下载软、】
mkdir /data/{softs,server} -p && cd /data/softs
wget https://github.com/goharbor/harbor/releases/download/v2.5.0/harbor-offline-installer-v2.5.0.tgz

# 解压软件
tar -zxvf harbor-offline-installer-v2.5.0.tgz -C /data/server/
cd /data/server/harbor/

# 加载镜像 harbor 到docker中
docker load < harbor.v2.5.0.tar.gz
docker images

# 备份配置
cp harbor.yml.tmpl harbor.yml

vi harbor.yml

20250803203144

./prepare # 基于harbor.yml 生成 docker-compose.yml等配置文件，用于生成harbor容器

./install.sh # zhuanb

卸载安装的docker 镜像、容器

# 卸载容器镜像
docker images | awk '{print $3}' | grep -v "IMAGE" | xargs  docker rmi
# 卸载compose 配置（用于拉起容器的）
docker compose down -v

安装成功如下：

20250803221414

harbor 定制服务

/etc/systemd/system/harbor.service

[Unit]
Description=Harbor
After=docker.service systemd-networkd.service systemd-resolved.service
Requires=docker.service
Documentation=http://github.com/vmware/harbor

[Service]
Type=simple
Restart=on-failure
RestartSec=5
# 需要注意 harbor 的安装位置
ExecStart=/usr/bin/docker compose --file /data/server/harbor/docker-compose.yml up
ExecStop=/usr/bin/docker compose --file /data/server/harbor/docker-compose.yml down

[Install]
WantedBy=multi-user.target

systemctl daemon-reload
systemctl start harbor
systemctl status harbor
systemctl enable harbor

20250803232352

配置用户名 deck1; 密码 a123678A

20250803232507

为harbor仓库提交镜像

镜像打标签
- 必须携带harbor主机的地址
登录harbor
docker login
提交镜像
docker push

# 登录仓库
docker login kubernetes-register.sswang.com -u sswang

#下载镜像
docker pull busybox

docker tag busybox kubernetes-register.sswang.com/sswang/busybox:v0.1

# 推送
docker push kubernetes-register.sswang.com/sswang/busybox:v0.1

测试过程遇到报错：

docker login kubernetes-register.sswang.com:80 -u sswang
Password:
Error response from daemon: Get "https://kubernetes-register.sswang.com:80/v2/": http: server gave HTTP response to HTTPS client

主要原因时，docker 默认强制访问镜像仓库都是使用https协议，同时上面harbor的https端口关闭，就需要docker强制harbor的访问允许http协议:

vi /etc/docker/daemon.json

{
  "insecure-registries": ["kubernetes-register.sswang.com:8080"]
}

对应每个节点都需要修改。
systemctl restart docker

for i in 15 16 17 20
do
  scp /etc/docker/daemon.json root@10.0.0.$i:/etc/docker/daemon.json
  ssh root@10.0.0.$i "systemctl restart docker"
done

# 登录仓库
docker login kubernetes-register.sswang.com:80 -u sswang

#下载镜像
docker pull busybox

docker tag busybox kubernetes-register.sswang.com:80/sswang/busybox:v0.1

# 推送
docker push kubernetes-register.sswang.com:80/sswang/busybox:v0.1

K8S集群环境搭建（一）