导航：首页 > 服务器 >

Rancher 2.4.x 迁移自定义 k8s 集群的示例分析

发表于：2025-02-03 作者：千家信息网编辑

千家信息网最后更新 2025年02月03日，本篇文章给大家分享的是有关Rancher 2.4.x 迁移自定义 k8s 集群的示例分析，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。一

千家信息网最后更新 2025年02月03日Rancher 2.4.x 迁移自定义 k8s 集群的示例分析

本篇文章给大家分享的是有关Rancher 2.4.x 迁移自定义 k8s 集群的示例分析，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。

一、注意事项

在做操作前，先检查所有 Rancher 环境（源 Rancher 环境和目标 Rancher 环境）中节点的时间是不是已同步（重要）。
对于 Rancher 低于 v2.3.x 并且自定义 k8s 集群版本低于 v1.16 的环境，因为 K8S 集群 API 版本变化，迁移过去后会提示 API 版本不匹配，以及其他权限问题。在迁移之前，需要升级源 Rancher 环境和目标 Rancher 环境到 v2.4.x 版本，并升级自定义 k8s 集群到 v1.16 以上版本，然后再进行迁移。
不支持降级迁移。
集群导入到目标 Rancher 环境后，在没有确认集群迁移完全正常之前，保留源 Rancher 环境，以便集群回退。

二、基础配置（可选）

对于 docker run 单容器运行的源 Rancher 环境，为了操作方便，建议在源 Rancher 容器中执行以下命令安装文本编辑工具 vim，并配置自动补全，离线环境可忽略此步骤。

sed -i 's/archive.ubuntu.com/mirrors.ustc.edu.cn/g' /etc/apt/sources.listsed -i 's/security.ubuntu.com/mirrors.ustc.edu.cn/g' /etc/apt/sources.listapt update && apt install -y vim bash-com* jqecho 'source <(kubectl completion bash)' >> ~/.bashrcecho 'source /etc/bash_completion' >> ~/.bashrcbash

对于源 Rancher 环境是 HA 架构的，可直接在 local 集群中操作。
准备待迁移集群的直连 kubecfg 文件所谓直连，就是不经过 Rancher Agent 代理直接与业务 K8S 通信。通过 Rancher UI 获取到的 kubecfg 配置文件默认是通过 Rancher Agent 进行代理。当集群迁移到目标 Rancher 环境后，如果 Agent 无法连接 Rancher server，那么后面将无法对自定义 K8S 集群做任何编辑操作。所以需要准备可以直连 K8S 的配置文件，以备不时之需。
```
# 进入容器docker exec -ti  bash# 待迁移集群 ID，可通过浏览器地址栏查询CLUSTER_ID=c-xxxkubectl get secret c-${CLUSTER_ID} -n cattle-system -o=jsonpath='{.data.cluster}' \| base64 --decode | jq .metadata.state | awk '{print substr($0,2,length($0)-2)}' \> ${CLUSTER_ID}-kube-config.ymlsed -i 's/\\n/\n/g' ${CLUSTER_ID}-kube-config.yml && \sed -i 's/\\"/"/g' ${CLUSTER_ID}-kube-config.yml
```

三、导出源 Rancher 环境中的 CRD 资源（ Rancher 容器中或者 local 集群中操作）

clusters.management.cattle.io (必须)

在源 Rancher UI 上查询并确定待迁移的集群 ID，通过浏览器地址栏可查看集群 ID。

执行以下命令再次查看集群 ID。

kubectl get --all-namespaces clusters.management.cattle.ioNAME      AGEc-wskbw   43m

执行以下命令导出 clusters YAML 资源。

CLUSTER_ID='' # clusters idkubectl get clusters.management.cattle.io $CLUSTER_ID -oyaml > ${CLUSTER_ID}-clusters.yaml

projects.management.cattle.io (必须)

执行以下命令查看环境中所有的项目，以及对应的集群 ID。

第一列的 NAMESPACE 对应 集群 ID；

第二列 NAME 对应 项目 ID；

kubectl get projects.management.cattle.io --all-namespacesNAMESPACE   NAME      AGEc-bwl9m     p-l86x6   17mc-bwl9m     p-lvdjq   17m

以集群 ID 为命名空间，执行以下命令导出单个集群全部项目资源。

CLUSTER_ID=''kubectl -n $CLUSTER_ID get projects.management.cattle.io -oyaml > ${CLUSTER_ID}-projects.yaml

nodes.management.cattle.io (必须)

执行以下命令查看集群对应的主机管理配置。

NAMESPACE 为集群 ID

kubectl get nodes.management.cattle.io --all-namespacesNAMESPACE   NAME             AGEc-bwl9m     m-59601d9748cf   14m

以集群 ID 为命名空间，执行以下命令导出单个集群所有节点的 YAML 文件。

CLUSTER_ID=''kubectl -n $CLUSTER_ID get nodes.management.cattle.io -oyaml > $CLUSTER_ID-nodes.yaml

secrets (必须)

创建集群会生成以下密文

kubectl get secrets --all-namespacesNAMESPACE            NAME                  TYPE                                  DATA   AGEc-bwl9m              default-token-nl7mh   kubernetes.io/service-account-token   3      4m28scattle-global-data   default-token-qgwn9   kubernetes.io/service-account-token   3      39mcattle-system        c-c-bwl9m             Opaque                                1      4m14scattle-system        tls-rancher           kubernetes.io/tls                     2      39mdefault              default-token-rwm29   kubernetes.io/service-account-token   3      39mkube-public          default-token-6k2vc   kubernetes.io/service-account-token   3      39mkube-system          default-token-wg7rg   kubernetes.io/service-account-token   3      39mp-l86x6              default-token-bz2pg   kubernetes.io/service-account-token   3      4m28sp-lvdjq              default-token-7tbkn   kubernetes.io/service-account-token   3      4m28suser-vf5xr           default-token-ktvrm   kubernetes.io/service-account-token   3      21m

kube* 命名空间相关的可以忽略，service-account-token* 类型的可以忽略，tls-rancher 可以忽略。

提取 cattle-system 命名空间下 集群 ID 相关的密文。

kubectl -n cattle-system get secretsNAME                  TYPE                                  DATA   AGEc-c-bwl9m             Opaque                                1      8m15sdefault-token-xhl6d   kubernetes.io/service-account-token   3      43mtls-rancher           kubernetes.io/tls                     2      43m

CLUSTER_ID=''kubectl -n cattle-system get secrets c-${CLUSTER_ID} -oyaml > $CLUSTER_ID-secrets.yaml

apps.project.cattle.io (可选)

如果迁移的集群启用了 cluster-monitoring 等应用商店 APP，需要导出 YAML 再导入目标 Rancher 环境，不然 Rancher 无法管理对应资源。

查看所有集群项目下部署的应用商店 APP。

kubectl get apps.project.cattle.io --all-namespacesNAMESPACE   NAME                  AGEp-tjfmp     wp-p-tjfmp            265dp-w49bx     demoma-p-w49bx        6m2sp-w49bx     mongodb-replicaset    19dp-wfdpj     cluster-monitoring    27dp-wfdpj     monitoring-operator   27dp-wfdpj     rancher-logging       47dp-zkhr5     cluster-alerting      122dp-zkhr5     cluster-monitoring    38dp-zkhr5     longhorn-system       81dp-zkhr5     monitoring-operator   38dp-zkhr5     nfs-provisioner       229dp-zkhr5     rabbitmq              18dp-zkhr5     rancher-logging       9dp-zkhr5     systemapp-demo        203d

通过 集群 ID 获取 项目 ID，并提取所有项目对应的 APP 的 YAML 文件。

CLUSTER_ID=xxxPROJECT_ID=$( kubectl get project -n $CLUSTER_ID | grep -v 'NAME' | awk '{print $1}' )APPS_NS=$( kubectl get apps.project.cattle.io --all-namespaces | awk '{ print $1 }' | grep -v 'NAMESPACE' )for project_id in ${PROJECT_ID};do    if echo ${APPS_NS} | grep ${project_id};        kubectl get app --all-namespaces | grep -v NAMESPACE | awk '{ print "kubectl get apps -n " $1" "$2 " -oyaml > " $1"-"$2".yaml" }' | sh -    fidone;

multiclusterapps.management.cattle.io (可选)

与 apps.project.cattle.io 类型，如果有多集群应用商店应用，也需要导出 YAML。

kubectl get multiclusterapps.management.cattle.io --all-namespaces

Pod（可选）安全策略

kubectl get podsecuritypolicytemplates.management.cattle.io

全局安全认证（可选）（authconfigs.management.cattle.io）

执行以下命令查看对应的认证提供商

kubectl get authconfigs.management.cattle.io --all-namespacesNAME              AGEactivedirectory   259dadfs              259dazuread           259dfreeipa           259dgithub            259dgoogleoauth       172dkeycloak          259dlocal             259dokta              259dopenldap          259dping              259d

根据实际配置导出对应提供商 yaml 文件

AUTH_PROVIDER=''kubectl get authconfigs.management.cattle.io --all-namespaces \$AUTH_PROVIDER -oyaml > authconfigs-${AUTH_PROVIDER}.yaml

users.management.cattle.io (可选)

# 排除本地 adminUSERS=$( kubectl get users.management.cattle.io --all-namespaces | \grep -v user- | grep -v NAME | awk '{print $1}' )# 轮训所有用户，分别导出每个用户的 YAML 文件for users in $USERS;do    kubectl get users.management.cattle.io $users --all-namespaces -oyaml > user-${users}.yaml;done;

注意: 用户、角色、角色绑定，如果要导出，则需一起导出。

clusterrole.rbac.authorization.k8s.io (可选)

创建用户时，会自动创建一个 clusterrole，比如 u-${user_id}-view，这个可以不用导出。
如果有自定义集群角色，可通过 clusterrole 名称查询并导出。

clusterrolebindings.rbac.authorization.k8s.io (可选)

创建用户时，会自动创建一个 clusterrolebindings，比如 grb-${user_id}-view
在 Rancher UI 上为集群添加成员的时候，会自动创建 clusterrolebindings。在集群迁移完成后可选择手动为集群添加成员。如果为大量用户配置了集群成员权限，为了减少手动操作的工作量，可以选择把这些 clusterrolebindings 一并导出，然后导入目的 Rancher local 集群。

roles.rbac.authorization.k8s.io (可选)

在 Rancher UI 上为项目添加成员的时候，会以 项目 ID 为命名空间自动创建对应权限的角色。在集群迁移完成后可选择手动为项目添加成员，这些角色也会自动重新创建。如果为大量用户配置了项目成员权限，为了减少手动操作的工作量，可以选择把这些角色一并导出，然后导入目的 Rancher local 集群。
如果有自定义角色，可通过 role 名称查询并导出。

以项目 ID 和集群 ID 来过滤 role

kubectl get role.rbac.authorization.k8s.io -A|grep 6zjs5c-q4mfl              p-6zjs5-projectmember                  2021-03-04T08:26:54Zp-6zjs5              edit                                   2021-03-04T08:26:54Zp-6zjs5              project-member                         2021-03-04T08:26:54Z

以集群 ID 和项目 ID 为 NAMESPACE 导出全部 yaml 文件

# 指定需要迁移的集群 IDCLUSTER_ID=''PROJECT_ID=$( kubectl get project -n ${CLUSTER_ID} |grep -v NAME | awk '{print $1}' )NAMESPACE=$( echo ${CLUSTER_ID} ${PROJECT_ID} cattle-global-data )for ns in $NAMESPACE ;do    kubectl -n $ns get roles.rbac.authorization.k8s.io -oyaml > roles-$ns.yamldone;

注意: 用户、角色、角色绑定，如果要导出，则需一起导出。

rolebindings.rbac.authorization.k8s.io (可选)

与角色具有相同逻辑。

以项目 ID 和集群 ID 来过滤 rolebindings

kubectl get rolebindings.rbac.authorization.k8s.io -A | grep 6zjs5c-q4mfl     p-6zjs5-prtb-zqb6j-project-member             Role/project-member           2m8sc-q4mfl     p-6zjs5-u-6pz5k3vokn-member-project-member    Role/project-member           31mc-q4mfl     rolebinding-692hm                             Role/p-6zjs5-projectmember    2m8sc-q4mfl     rolebinding-fhrwt                             Role/p-6zjs5-projectmember    31mp-6zjs5     prtb-zqb6j-edit                               Role/edit                     2m8sp-6zjs5     prtb-zqb6j-project-member                     Role/project-member           2m8sp-6zjs5     u-6pz5k3vokn-member-edit                      Role/edit                     31mp-6zjs5     u-6pz5k3vokn-member-project-member            Role/project-member           31m

以集群 ID 和项目 ID 为 NAMESPACE 导出全部 yaml 文件

CLUSTER_ID=''PROJECT_ID=$( kubectl get project -n $CLUSTER_ID |grep -v NAME | awk '{print $1}' )NAMESPACE=$( echo ${CLUSTER_ID} ${PROJECT_ID} cattle-global-data )for ns in $NAMESPACE ;do    kubectl -n $ns get rolebindings.rbac.authorization.k8s.io -oyaml > roles-$ns.yamldone;

注意: 用户、角色、角色绑定，如果要导出，则需一起导出。

四、目标 Rancher 环境中导入CRD 资源

将上一步导出的 YAML 文件依次导入到目标 Rancher 环境，除密文（secrets）外其他 YAML 可使用 kubeclt apply -f xxx.yaml 去导入。
因为密文（secrets）文件太大，需要通过 kubectl replace --force -f xxx 导入。

五、目标 Rancher UI 操作

创建 clusterregistrationtokens

在 YAML 文件导入目标 Rancher 环境后，访问https://demo.xxxxx.com/v3/clusters//clusterregistrationtokens 可以看到并没有注册命令，这个时候需要手动去创建。

访问 https://demo.xxxx.com/v3/clusters//clusterregistrationtokens 页面，点击右上角的 Create；
选择迁移的 集群 ID

点击Show Request，然后再点击 Send Request。如果显示状态码为201即执行成功；

执行完成后，在 clusterregistrationtokens 页面应该是可以看到如下的链接，复制自签名 ssl 证书 对应那条命令备用。

执行 Agent 导入命令

回到源 Rancher 环境，这个时候 k8s 集群还是可以正常访问，前面的操作只是将必要的 CRD 资源迁移到目标 Rancher 环境。

进入 需迁移集群 详情页面，然后点击 执行 kubectl 命令行 按钮，接着执行上一步骤中拷贝的 clusterregistrationtokens 命令。

六、CRD 资源清单

以下是 Rancher v2.4.13 的 CRD 资源清单，文章前面部分仅指出了常用的一些资源。如果有使用其他资源，可按照上述方法进行导出再导入目标集群。

kubectl  get crd| grep management.cattle.ioauthconfigs.management.cattle.io                                2021-03-04T06:47:55Zcatalogs.management.cattle.io                                   2021-03-04T06:47:55Zcatalogtemplates.management.cattle.io                           2021-03-04T06:47:55Zcatalogtemplateversions.management.cattle.io                    2021-03-04T06:47:55Zcisbenchmarkversions.management.cattle.io                       2021-03-04T06:47:56Zcisconfigs.management.cattle.io                                 2021-03-04T06:47:56Zclusteralertgroups.management.cattle.io                         2021-03-04T06:47:55Zclusteralertrules.management.cattle.io                          2021-03-04T06:47:55Zclusteralerts.management.cattle.io                              2021-03-04T06:47:55Zclustercatalogs.management.cattle.io                            2021-03-04T06:47:55Zclusterloggings.management.cattle.io                            2021-03-04T06:47:55Zclustermonitorgraphs.management.cattle.io                       2021-03-04T06:47:55Zclusterregistrationtokens.management.cattle.io                  2021-03-04T06:47:55Zclusterroletemplatebindings.management.cattle.io                2021-03-04T06:47:55Zclusters.management.cattle.io                                   2021-03-04T06:47:55Zclusterscans.management.cattle.io                               2021-03-04T06:47:55Zclustertemplaterevisions.management.cattle.io                   2021-03-04T06:47:56Zclustertemplates.management.cattle.io                           2021-03-04T06:47:56Zcomposeconfigs.management.cattle.io                             2021-03-04T06:47:55Zdynamicschemas.management.cattle.io                             2021-03-04T06:47:55Zetcdbackups.management.cattle.io                                2021-03-04T06:47:55Zfeatures.management.cattle.io                                   2021-03-04T06:47:55Zglobaldnses.management.cattle.io                                2021-03-04T06:47:56Zglobaldnsproviders.management.cattle.io                         2021-03-04T06:47:56Zglobalrolebindings.management.cattle.io                         2021-03-04T06:47:55Zglobalroles.management.cattle.io                                2021-03-04T06:47:55Zgroupmembers.management.cattle.io                               2021-03-04T06:47:55Zgroups.management.cattle.io                                     2021-03-04T06:47:55Zkontainerdrivers.management.cattle.io                           2021-03-04T06:47:55Zmonitormetrics.management.cattle.io                             2021-03-04T06:47:55Zmulticlusterapprevisions.management.cattle.io                   2021-03-04T06:47:55Zmulticlusterapps.management.cattle.io                           2021-03-04T06:47:55Znodedrivers.management.cattle.io                                2021-03-04T06:47:55Znodepools.management.cattle.io                                  2021-03-04T06:47:55Znodes.management.cattle.io                                      2021-03-04T06:47:55Znodetemplates.management.cattle.io                              2021-03-04T06:47:55Znotificationtemplates.management.cattle.io                      2021-03-04T06:47:55Znotifiers.management.cattle.io                                  2021-03-04T06:47:55Zpodsecuritypolicytemplateprojectbindings.management.cattle.io   2021-03-04T06:47:55Zpodsecuritypolicytemplates.management.cattle.io                 2021-03-04T06:47:55Zpreferences.management.cattle.io                                2021-03-04T06:47:55Zprojectalertgroups.management.cattle.io                         2021-03-04T06:47:55Zprojectalertrules.management.cattle.io                          2021-03-04T06:47:55Zprojectalerts.management.cattle.io                              2021-03-04T06:47:55Zprojectcatalogs.management.cattle.io                            2021-03-04T06:47:55Zprojectloggings.management.cattle.io                            2021-03-04T06:47:55Zprojectmonitorgraphs.management.cattle.io                       2021-03-04T06:47:55Zprojectnetworkpolicies.management.cattle.io                     2021-03-04T06:47:56Zprojectroletemplatebindings.management.cattle.io                2021-03-04T06:47:56Zprojects.management.cattle.io                                   2021-03-04T06:47:56Zrkeaddons.management.cattle.io                                  2021-03-04T06:47:56Zrkek8sserviceoptions.management.cattle.io                       2021-03-04T06:47:56Zrkek8ssystemimages.management.cattle.io                         2021-03-04T06:47:56Zroletemplates.management.cattle.io                              2021-03-04T06:47:56Zsamltokens.management.cattle.io                                 2021-03-04T06:47:56Zsettings.management.cattle.io                                   2021-03-04T06:47:56Ztemplatecontents.management.cattle.io                           2021-03-04T06:47:56Ztemplates.management.cattle.io                                  2021-03-04T06:47:56Ztemplateversions.management.cattle.io                           2021-03-04T06:47:56Ztokens.management.cattle.io                                     2021-03-04T06:47:56Zuserattributes.management.cattle.io                             2021-03-04T06:47:56Zusers.management.cattle.io                                      2021-03-04T06:47:56Z