千家信息网

请输入关键字词

热门搜索排行

最新搜索排行

导航： 首页 > 服务器 >

Kubernetes和Jenkins的安装部署以及github的集成

发表于：2024-11-24 作者：千家信息网编辑
千家信息网最后更新 2024年11月24日，这篇文章主要为大家分享Kubernetes和Jenkins的安装部署以及github的集成。文中还介绍了Kubernetes的组件安装、Kubernetes自动化部署以及pipeline 脚本的使用，
千家信息网最后更新 2024年11月24日Kubernetes和Jenkins的安装部署以及github的集成

这篇文章主要为大家分享Kubernetes和Jenkins的安装部署以及github的集成。文中还介绍了Kubernetes的组件安装、Kubernetes自动化部署以及pipeline 脚本的使用，希望大家通过这篇文章能有所收获。

一、概述

1.1、环境介绍

我们使用的是 AWS 的 EC2 来搭建我们的集群，安装方式使用 kubeadm 来进行安装，如果使用二进制安装，可以参考我相关文档。

  • 系统版本：ubuntu 16.04
  • k8s 版本：1.17.1
  • docker 版本：18.06-ce

1.2、流程图

1.3、集群配置

名称配置内网IP外网IP
k8s-master2核4GB172.31.20.18454.226.118.74
k8s-node12核4GB172.31.27.6952.90.221.230
k8s-node22核4GB172.31.30.93.85.219.119

二、k8s 部署

2.1、安装 docker

安装源大家可以参照官方文档 https://docs.docker.com/install/linux/docker-ce/ubuntu/ ，我这里不再进行演示，如没有特殊说明，操作将在三台集群上面都要执行。

apt-get install docker-ce=18.06.3~ce~3-0~ubuntusystemctl enable docker

2.2、安装 kubeadm, kubelet and kubectl

安装源文档请参考官方文档 https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm ，详细步骤我这里进行省略。

sudo apt-get update && sudo apt-get install -y apt-transport-https curlcurl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -cat <

2.3、安装 k8s 集群

请参考文档 https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/ ，在 master 节点运行。

kubeadm init --kubernetes-version=v1.17.1 \--pod-network-cidr=10.244.0.0/16 \--service-cidr=10.96.0.0/12

在 node 节点上运行添加集群的命令。

kubeadm join 172.31.20.184:6443 --token w3fu9a.rs8eknt079n2e8r8 \    --discovery-token-ca-cert-hash sha256:7392d6f6576b3c9ba5f78d1c54d9a0b1369f77bd498da8104a096b62c6b14c06

以后的 kubectl 都是在 master 节点上进行操作，添加 cni 插件，我们这里选择 flannel。

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/2140ac876ef134e0ed5af15c65e414cf26827915/Documentation/kube-flannel.yml

到目前为止，我们的集群已经创建完成，参照官方文档执行，过程很简单。

root@ip-172-31-20-184:~# kubectl get noNAME               STATUS   ROLES    AGE   VERSIONip-172-31-20-184   Ready    master   21m   v1.17.1ip-172-31-27-69    Ready       16m   v1.17.1ip-172-31-30-9     Ready       16m   v1.17.1

三、组件安装

整个 CI/CD 过程中我们用到了很多工具，比如 gitlab，jenkins，harbor，在生产环境，建议大家把 gitlab 和 harbor 放在独立的机器上面，我这里为了简便，直接放在 k8s 集群中。

3.1、安装 helm3

请参见官方文档 https://helm.sh/docs/intro/install/ 。

wget https://get.helm.sh/helm-v3.0.2-linux-amd64.tar.gztar xf helm-v3.0.2-linux-amd64.tar.gzmv linux-amd64/helm /usr/local/bin/chmod +x /usr/local/bin/helm

3.2、安装 gitlab

参见官方文档 https://docs.gitlab.com/charts/installation/ 。

helm repo add gitlab https://charts.gitlab.io/

后来发现 gitlab 目前还不支持 helm3，那我就选择了使用 EC2 来进行创建。
https://about.gitlab.com/install/#ubuntu?version=ce

访问地址：gitlab.wzlinux.com

3.3、安装 harbor

参见官方文档 https://github.com/goharbor/harbor-helm/blob/master/README.md

helm repo add harbor https://helm.goharbor.iohelm install my-release harbor/harbor

安装过程中还是出现了一些问题，是因为没有 pv，懒得去设置了，后来还是选择了单机进行安装，因为 docker 的一些要求，harbor 仓库配置了 https 证书。
参照下面文档安装 https://github.com/goharbor/harbor/blob/master/docs/installation_guide.md 。

访问地址：https://harbor.wzlinux.com

3.4、安装 jenkins

3.4.1、优点

我们以云原生的方式，将jenkins master，jenkins slave全部部署于kubernetes之上，从而打造一个高可用，弹性伸缩的CI/CD管道。

  1. 推送代码到托管镜像仓库
  2. gitlab 基于webhook触发jenkins pipeline项目
  3. Jenkins master分配kubernetes slave作为项目的执行环境，同时k8s启动slave pod
  4. Jenkins slave pod运行pipeline中指定的任务第一步从私有代码仓库拉下代码
  5. Jenkins slave pod执行代码测试，测试完毕后依据代码仓库格式，构造镜像
  6. Jenkins slave pod推送镜像到Harbor上
  7. Jenkins slave pod执行应用服务的更新任务
  8. 应用服务pod所在节点拉取相应的镜像，完成镜像的替换，即应用的更新

3.4.2、创建 nfs

因为 master 需要持久存储，我们这里就简单的选择 nfs ，我们在 master 节点上进行创建服务。
创建过程请参照文档 https://blog.csdn.net/qq_37860012/article/details/86717891 。

root@ip-172-31-20-184:/home/nfs# showmount -e 172.31.20.184Export list for 172.31.20.184:/home/nfs/jenkins *

master 节点目前授予权限。

chown ubuntu.ubuntu -R /home/nfs/jenkins

3.4.3、安装 jenkins

前面所需要的东西都已经配置好了，那我们开始安装 jenkins，请应用我下面的 yaml 文件

kubectl apply -f https://raw.githubusercontent.com/wangzan18/jenkins-cicd/master/master/jenkins.yaml

关于动态创建 jenkins agent，具体使用方法请参照我的博文 https://blog.51cto.com/wzlinux/2467307 。

访问地址：http://jenkins.wzlinux.com:30814/

3.4.4、gitlab 触发 jenkins

首先为 jenkins 安装 gitlab 插件。

创建一个 jenkins pipeline job，命名为 gitlab-pipeline，选中 gitlab 触发器。

记录生成的数值，然后回到我们的 gitlab project 里面，填写好 jenkins 的信息。

然后我们提交代码到仓库，可以看到 jenkins 被触发了。

四、自动化构建

因为 jenkins 在构建的时候，会向 gitlab 拉取代码，因为我们的 gitlab 是私有仓库，所以需要为 jenkins 配置权限，同样的，harbor 仓库也是私有的，jenkins 在向 harbor 推镜像的时候，也是需要相应的权限。

4.1、为 jenkins 配置 gitlab 凭证

切换到 jenkins 凭据界面，创建我们需要的凭据，填写你 gitlab 的账户密码即可，你也可以单独为这个仓库创建一个用户。

4.2、为 jenkins 配置 harbor 凭证

首先为 jenkins 在 harbor 中创建一个用户 jenkins，然后登陆用户创建一个项目gitlab-pipeline，这里我不再掩饰，然后同意的方式，在 jenkins 为其创建凭据。

最终生成的两个凭据如下，记录下各凭据的 ID，我们后面会引用到。

4.3、为 job 添加 pipeline 脚本

我们前面测试 gitlab 触发 jenkins 的时候已经创建了一个 job，我们使用 SCM 的方式，我已经把我测试的仓库同步到 github了，大家查看代码可以去我的 github 地址：https://github.com/wangzan18/gitlab-jenkins-k8s-pipeline.git

出现一些错误，可能是 harbor 仓库的问题，我单独去 push 镜像也是有问题的，目前这个问题我还不知道如何去解决。

那我们就直接测试上传到阿里云的 docker hub 吧，首先我们去创建一个仓库。

相关的凭据也需要在 jenkins 里面配置好，我这里不再掩饰，同样的，job 我们也选择 SCM 获取，脚本路径选择 Jenkinsfile，然后我们选择去执行，这时候就没有错误了。

在 Jenkinsfile 中，我们用到的两个容器，一个是 jenkins agent，用来连接 jenkins server，还有一个 docker，用来 build 镜像，如果你有其他的需求，可以去找相应的镜像，在特定的 stage 的时候去应用。

然后我们去阿里云的镜像仓库查看一下我们构建好的镜像。

五、自动化部署

既然我们已经把镜像打包构建好，那我们需要把它部署到 k8s 集群中。

5.1、给 jenkins 配置 k8s 认证

我们需要告诉 jenkins ，我们的 k8s 集群在哪里，怎么去请求 api 创建 pod。因为我们为 serviceaccount jenkins 已经配置了 RBAC，所以我们可以为其创建一个 kubeconfig，这里我为了简单，使用集群管理员的 config，也就是~.kube/config。

同样的，我们需要给 jenkins 安装插件 Kubernetes Continuous Deploy，然后创建对应的凭据。

记录下凭据的 ID，稍后我们会在 pipeline 中使用。

5.2、k8s 添加 aliyun 仓库 secret

在可以执行 kubectl 命令的服务器上面执行。

kubectl create secret docker-registry aliyun-pull-secret --docker-username=wangzan18@126.com \--docker-password=YOUR_PASSWORD \--docker-email=wangzan18@126.com \--docker-server=registry.us-east-1.aliyuncs.com

5.3、更新 pipeline 脚本。

大家可以查看我 github 仓库 jenkins 的变化情况。

已经创建我们要部署的 deployment.yaml 文件，都可以在 github 上面看到 https://github.com/wangzan18/gitlab-jenkins-k8s-pipeline.git 。

5.4、代码提交触发更新

我们可以看到 jenkins pipeline 都已经更新成功。

然后查看我的页面是否正常。

那我们把代码更新一下，然后我们可以看下 k8s 集群 pod 的变化情况。

wangzan:~ $ kubectl get pod -wNAME                       READY   STATUS    RESTARTS   AGEjenkins-5df4dff655-f4gk8   1/1     Running   0          26hmyapp1                     1/1     Running   0          47hweb-5bd9f98844-622hn       1/1     Running   0          3m35sweb-5bd9f98844-dppvh       1/1     Running   0          4m30sweb-5bd9f98844-wp7g7       1/1     Running   0          3m58sjenkins-agent-004xl-vdjjl   0/2     Pending   0          0sjenkins-agent-004xl-vdjjl   0/2     Pending   0          0sjenkins-agent-004xl-vdjjl   0/2     ContainerCreating   0          0sjenkins-agent-004xl-vdjjl   2/2     Running             0          1sweb-559864cbd7-fj66t        0/1     Pending             0          0sweb-559864cbd7-fj66t        0/1     Pending             0          0sweb-559864cbd7-fj66t        0/1     ContainerCreating   0          0sjenkins-agent-004xl-vdjjl   2/2     Terminating         0          30sweb-559864cbd7-fj66t        0/1     Running             0          3sweb-559864cbd7-fj66t        1/1     Running             0          30sweb-5bd9f98844-622hn        1/1     Terminating         0          4m45sweb-559864cbd7-jssmn        0/1     Pending             0          0sweb-559864cbd7-jssmn        0/1     Pending             0          0sweb-559864cbd7-jssmn        0/1     ContainerCreating   0          0sweb-5bd9f98844-622hn        0/1     Terminating         0          4m46sjenkins-agent-004xl-vdjjl   0/2     Terminating         0          61sjenkins-agent-004xl-vdjjl   0/2     Terminating         0          61sweb-559864cbd7-jssmn        0/1     Running             0          2sjenkins-agent-004xl-vdjjl   0/2     Terminating         0          62sweb-5bd9f98844-622hn        0/1     Terminating         0          4m50sweb-5bd9f98844-622hn        0/1     Terminating         0          4m50sjenkins-agent-004xl-vdjjl   0/2     Terminating         0          74sjenkins-agent-004xl-vdjjl   0/2     Terminating         0          74sweb-559864cbd7-jssmn        1/1     Running             0          24sweb-5bd9f98844-wp7g7        1/1     Terminating         0          5m32sweb-559864cbd7-2jl6l        0/1     Pending             0          0sweb-559864cbd7-2jl6l        0/1     Pending             0          0sweb-559864cbd7-2jl6l        0/1     ContainerCreating   0          0s

然后再去查看我的页面。

也去我们的仓库看下各个版本的镜像。

基本上整个 CI/CD 的过程已经比较完善。

5.5、pipeline 脚本

最终的 pipeline 脚本如下，对其中语法不理解的，可以使用官网的流水线语法编辑器。

// 镜像仓库地址def registry = "registry.us-east-1.aliyuncs.com"// 命名空间def namespace = "wzlinux"// 镜像仓库项目def project = "gitlab-pipeline"// 镜像名称def app_name = "citest"// 镜像完整名称def image_name = "${registry}/${namespace}/${project}:${app_name}-${BUILD_NUMBER}"// git仓库地址def git_address = "http://gitlab.wzlinux.com/root/gitlab-jenkins-k8s-pipeline.git"// fenzhi分支def branch = "*/master"// 认证def aliyunhub_auth = "2187b285-f62e-437a-b6cf-d4a22c668891"def gitlab_auth = "cca83969-0fe3-4aa8-9c37-172f19d7338f"// K8s认证def k8s_auth = "4fd99c44-2834-4aeb-9403-003ab579ad45"// aliyun仓库secret_namedef aliyun_registry_secret = "aliyun-pull-secret"// k8s部署后暴露的nodePortdef nodePort = "30666"podTemplate(    label: 'jenkins-agent',     cloud: 'kubernetes',     containers: [       containerTemplate(name: 'jnlp', image: "wangzan18/jenkins-agent:maven-3.6.3"),       containerTemplate(name: 'docker', image: 'docker:19.03.1-dind', ttyEnabled: true, command: 'cat')    ],    volumes: [        hostPathVolume(mountPath: '/var/run/docker.sock', hostPath: '/var/run/docker.sock')    ]){    node('jenkins-agent'){        stage('拉取代码') { // for display purposes            checkout([$class: 'GitSCM',branches: [[name: '*/master']], userRemoteConfigs: [[credentialsId: "${gitlab_auth}", url: "${git_address}"]]])        }        stage('代码编译') {        //    sh "mvn clean package -Dmaven.test.skip=true"            sh "ls"        }        stage('构建镜像') {            container('docker') {                stage('打包镜像') {                   withCredentials([usernamePassword(credentialsId: "${aliyunhub_auth}", passwordVariable: 'password', usernameVariable: 'username')]) {                   sh """                    docker build -t ${image_name} .                    docker login -u ${username} -p '${password}' ${registry}                    docker push ${image_name}                    """                    }                }              }            }        stage('部署到K8s'){            sh """                sed -i 's#\$IMAGE_NAME#${image_name}#' deployment.yaml                sed -i 's#\$SECRET_NAME#${aliyun_registry_secret}#' deployment.yaml                sed -i 's#\$NODE_PORT#${nodePort}#' deployment.yaml            """            kubernetesDeploy configs: 'deployment.yaml', kubeconfigId: "${k8s_auth}"        }    }}

六、报警通知

6.1、邮件报警

post {    failure {        mail to: 'team@example.com',             subject: "Failed Pipeline: ${currentBuild.fullDisplayName}",             body: "Something is wrong with ${env.BUILD_URL}"    }}

6.2、微信报警

七、与 github 集成

7.1、安装插件

安装插件GitHub Integration Plugin。

7.2、添加触发器

在 pipeline 的 job里面，我们勾选下面选项：

7.3、github 配置 webhook

7.4、多分支流水线创建过程

配置分支源

这里主要也是去监控 github 的提交情况，发现有提交就去构建，相关凭证可以去申请 github access token。

配置 Jenkinsfile

更多相关内容：

如何在K8S中安装jenkins

在K8S上安装Jenkins有哪些常见问题

以上就是Kubernetes和Jenkins的安装部署以及github的集成的详细内容了，看完之后是否有所收获呢？如果想了解更多相关内容，欢迎关注行业资讯！

很赞哦！
仓库 镜像 配置 代码 文档 集群 凭据 选择 地址 官方 脚本 节点 过程 更新 插件 问题 应用 测试 方式 时候 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 高级数据库技术自考教材 钉钉巡店管理软件开发 现代化软件开发厂家直销 怎么获得宝可梦服务器 联想服务器 远程管理 怎么学习网络技术 湖北惠普服务器维修调试 执业医数据库查询失败 宏源证券交易软件开发 跨网关数据库 网络安全所学课程 俄罗斯服务器英语咋写 软件开发研究生论文 信阳国家网络安全宣传周活动 撒野广播剧软件开发 罗湖区国内网络技术开发工艺 大坝服务器 软件开发周会需要汇报什么 上汽通用软件开发社招 移动平台数据库优缺点比较 河南服务器虚拟化设计云主机 网络安全设置阻止连接 科技互联网公司发布会 IDC网络安全防护体系 mysql数据库搬家 ei数据库创刊哪一年 联想服务器 远程管理 物流行业的软件开发 平安科技互联网运营 数据库如何导入另一个服务器

相关文章

0