鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

鸿蒙开发者社区

登录/注册
51CTO

中国优质的IT技术网站

51CTO博客

专业IT技术创作平台

51CTO学堂

IT职业在线教育平台

活动短视频专栏极客Show 鸿蒙技术特刊

基于K8s插件版的Jenkins动态节点实践【内含最佳实践】

love374

发布于 2023-7-18 11:35

浏览

0收藏

手动在Jenkins Server上面创建一个Jenkins Agent节点，选择JNLP 类型。然后获取Jenkins Agent与Master连接所需要的JENKINS_AGENT_NAME 和JENKINS_AGENT_SECRET信息。

静态的AGENT节点，需要编写一个Deployment部署文件并传递上面的连接信息，然后kubectl apply；

动态的AGENT节点，需要使用kubernetes插件，首先配置CLOUD，添加Kubernetes集群的配置信息。然后编写Pipeline Agent部分的YAML和Stages。

1. 创建节点

Jenkins > 节点管理 > 添加节点

基于K8s插件版的Jenkins动态节点实践【内含最佳实践】-鸿蒙开发者社区

配置节点信息

基于K8s插件版的Jenkins动态节点实践【内含最佳实践】-鸿蒙开发者社区

基于K8s插件版的Jenkins动态节点实践【内含最佳实践】-鸿蒙开发者社区

创建成功（后面需要用到节点名称和secret信息）

基于K8s插件版的Jenkins动态节点实践【内含最佳实践】-鸿蒙开发者社区

2. 静态节点

基于K8s插件版的Jenkins动态节点实践【内含最佳实践】-鸿蒙开发者社区

kind: Deployment
apiVersion: apps/v1
metadata:
  labels:
    k8s-app: jenkinsagent
  name: jenkinsagent
  namespace: devops
spec:
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      k8s-app: jenkinsagent
  template:
    metadata:
      labels:
        k8s-app: jenkinsagent
      namespace: devops
      name: jenkinsagent
    spec:
      containers:
        - name: jenkinsagent
          image: jenkins/inbound-agent:4.10-3-jdk8
          securityContext:
            privileged: true
          imagePullPolicy: IfNotPresent
          resources:
            limits:
              cpu: 1000m
              memory: 2Gi
            requests:
              cpu: 500m
              memory: 512Mi
          env:
            - name: JENKINS_URL
              value: http://192.168.1.200:8080
            - name: JENKINS_SECRET
              value: 2f3f27ee602171c5b51bc69c2bda501d703ac65f42de16600b3e3007dfdec422
            - name: JENKINS_AGENT_NAME
              value: buildserver1
            - name: JENKINS_AGENT_WORKDIR
              value: /home/jenkins/workspace

基于K8s插件版的Jenkins动态节点实践【内含最佳实践】-鸿蒙开发者社区

3. 动态节点

基于K8s插件版的Jenkins动态节点实践【内含最佳实践】-鸿蒙开发者社区

基于K8s插件版的Jenkins动态节点实践【内含最佳实践】-鸿蒙开发者社区

基于K8s插件版的Jenkins动态节点实践【内含最佳实践】-鸿蒙开发者社区

4. 最佳实践

基于K8s插件版的Jenkins动态节点实践【内含最佳实践】-鸿蒙开发者社区

@Library("mylib@feature-k8s") _     //加载共享库


podYaml = """
kind: Pod
apiVersion: v1
metadata:
  labels:
    k8s-app: jenkinsagent
  name: jnlp
  namespace: devops
spec:
  securityContext:
    runAsUser: 0
  containers:
  - name: jnlp
    image: jenkins/inbound-agent:4.10-3-jdk8
    imagePullPolicy: IfNotPresent
  - name: maven
    image: maven:3.8.4-jdk-8
    imagePullPolicy: IfNotPresent
    command:
    - cat
    tty: true
  - name: dind
    image: 'docker:stable-dind'
    command:
    - dockerd
    - --host=unix:///var/run/docker.sock
    - --host=tcp://0.0.0.0:8000
    - --insecure-registry=192.168.1.200:8088
    securityContext:
      privileged: true
    volumeMounts:
    - mountPath: /var/run
      name: docker-dir
  - name: "docker"
    tty: true
    image: docker:19.03.15-git
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - mountPath: /var/run
      name: docker-dir
  - name: "curl"
    tty: true
    image: curlimages/curl:7.84.0
    imagePullPolicy: IfNotPresent
    command:
    - cat
  - name: "helm"
    tty: true
    image: dtzar/helm-kubectl:3.9.0
    imagePullPolicy: IfNotPresent
    command:
    - cat
  volumes:
    - name: docker-dir
      emptyDir: {}
"""


pipeline{
    agent{
        kubernetes{
            label "test01"
            cloud 'kubernetes'
            yaml podYaml

        }
    }
    
    options {
        skipDefaultCheckout()
    }

    stages{
        stage("Checkout"){
            steps{
                script {
                    println("GetCode")
                    checkout([$class: 'GitSCM', 
                        branches: [[name: "${env.branchName}"]], 
                        extensions: [], 
                        userRemoteConfigs: [[credentialsId: '62a3150f-38f8-4c9d-9334-79072b1d75cc', 
                                            url: "${env.srcUrl}"]]])
                    
                    env.commitID = GetCommitID()
                    env.buName = "${JOB_NAME}".split("-")[0]
                    env.serviceName = "${JOB_NAME}".split("_")[0]
                    currentBuild.description = """ branchName: ${env.branchName} \n"""
                    currentBuild.displayName = "${env.commitID}"
                }
            }
        }

        stage("Build"){
            steps{
                script{
                    settingsContent = libraryResource 'config/settings.xml'
                    writeFile file: 'settings.xml', text: settingsContent
                }
                container('maven') {
                    sh "${env.buildShell}  -s settings.xml"
                }
            }
        }

        stage("PushArtifact"){
            steps{
                container("curl"){
                    script{ 
                        //Dir /buName/serviceName/version/serviceName-version.xxx
                        version = "${env.branchName}-${env.commitID}"
                        // 重命名
                        JarName = sh returnStdout: true, script: """ls target | grep -E "jar\$" """
                        fileName = JarName -"\n"
                        fileType = fileName.split('\\.')[-1]
                        env.newFileName = "${env.serviceName}-${version}.${fileType}"

                        sh "cd target ; mv ${fileName}  ${newFileName} "
                        PushArtifact("${env.buName}/${env.serviceName}/${version}", "target", "${newFileName}")
                    }
                }
            }
        }


        stage("Docker"){
            steps{
                script{
                    env.registry = "192.168.1.200:8088"
                    // tag: branch-commid
                    env.version = "${env.branchName}-${env.commitID}"
                    env.imageName = "${env.registry}/${env.buName}/${env.serviceName}:${env.version}"
                }
                container('docker'){
                     withCredentials([usernamePassword(credentialsId: 'fad4e7c7-1f8b-45b2-83be-2b914bf08edf', passwordVariable: 'DOCKER_PASSWD', usernameVariable: 'DOCKER_USER')]) {

                        sh """
                            # 构建镜像
                            docker build -t ${env.imageName} .  --build-arg pkgname=target/${env.newFileName}

                            #登录镜像仓库
                            docker login -u ${DOCKER_USER} -p ${DOCKER_PASSWD} ${env.registry}
                            
                            # 上传镜像
                            docker push ${env.imageName}

                            # 删除镜像
                            sleep 2
                            docker rmi ${env.imageName}
                        """
                    }
                }
            }
        }

        stage("ReleaseFile"){
            steps{
                container("curl"){
                    script{

                        // 下载模板文件
                        projectId = 18
                        fileData = GetRepoFile(projectId,"values.yaml", "master" )
                        //println(fileData)

                        yamlData = readYaml text: fileData  

                        // 替换模板文件内容
                        yamlData.image.tag  = "${env.version}"
                        yamlData.image.repository = "${env.registry}/${env.buName}/${env.serviceName}"
                        
                        sh "rm -fr values.yaml"
                        writeYaml  charset: 'UTF-8', file: 'values.yaml', data: yamlData
                        sh "cat values.yaml"

                         //上传替换后的版本文件（新建文件或者更新文件）
                        newYaml = sh returnStdout: true, script: 'cat  values.yaml'
                        //println(newYaml)
                        //更新gitlab文件内容
                        base64Content = newYaml.bytes.encodeBase64().toString()

                        try {
                            CreateRepoFile(projectId,"values.yaml",base64Content, "master")
                        }catch(e){
                            UpdateRepoFile(projectId,"values.yaml",base64Content, "master")
                        }
                    }
                }
            }
        }
    }
}

//获取CommitID
def GetCommitID(){
    ID = sh returnStdout: true, script:"git rev-parse HEAD"
    ID = ID -"\n"
    return ID[0..7] 
}

//上传制品
def PushArtifact(targetDir, filePath, fileName){
    sh """
        curl -X POST "http://192.168.1.200:8081/service/rest/v1/components?repository=devops4-local" \
        -H "accept: application/json" \
        -H "Content-Type: multipart/form-data" \
        -F "raw.directory=${targetDir}" \
        -F "raw.asset1=@${filePath}/${fileName};type=application/java-archive" \
        -F "raw.asset1.filename=${fileName}" \
        -u admin:admin123
    """
}

//更新文件内容
def UpdateRepoFile(projectId,filePath,fileContent, branchName){
    apiUrl = "projects/${projectId}/repository/files/${filePath}"
    reqBody = """{"branch": "${branchName}","encoding":"base64", "content": "${fileContent}", "commit_message": "update a new file"}"""
    response = HttpReqByHttpRequest('PUT',apiUrl,reqBody)
    println(response)

}


//创建文件
def CreateRepoFile(projectId,filePath,fileContent, branchName){
    apiUrl = "projects/${projectId}/repository/files/${filePath}"
    reqBody = """{"branch": "${branchName}","encoding":"base64", "content": "${fileContent}", "commit_message": "update a new file"}"""
    response = HttpReqByHttpRequest('POST',apiUrl,reqBody)
    println(response)

}

//获取文件内容
def GetRepoFile(projectId,filePath, branchName ){
   //GET /projects/:id/repository/files/:file_path/raw
   apiUrl = "/projects/${projectId}/repository/files/${filePath}/raw?ref=${branchName}"
   response = HttpReq('GET', apiUrl)
   return response
}


// 封装HTTP
def HttpReqByHttpRequest(reqType, reqUrl,reqBody ){
    def gitServer = "http://192.168.1.200:8077/api/v4"
    withCredentials([string(credentialsId: '553fcb38-81e1-4cdd-aa60-a8886a2eb323', variable: 'GITLABTOKEN')]) {
        response = httpRequest acceptType: 'APPLICATION_JSON_UTF8', 
                          consoleLogResponseBody: true, 
                          contentType: 'APPLICATION_JSON_UTF8', 
                          customHeaders: [[maskValue: false, name: 'PRIVATE-TOKEN', value: "${GITLABTOKEN}"]], 
                          httpMode: "${reqType}", 
                          url: "${gitServer}/${reqUrl}", 
                          wrapAsMultipart: false,
                          requestBody: "${reqBody}"

    }
    return response
}

def HttpReq(method, apiUrl){
    response = sh  returnStdout: true, 
        script: """ 
            curl --location --request ${method} \
            http://192.168.1.200:8077/api/v4/${apiUrl} \
            --header 'PRIVATE-TOKEN: N9mvJV4hq-z7yCcYEsC-' 
        """
    return response

}

@Library("mylib@feature-k8s") _     //加载共享库


podYaml = """
kind: Pod
apiVersion: v1
metadata:
  labels:
    k8s-app: jenkinsagent
  name: jnlp
  namespace: devops
spec:
  securityContext:
    runAsUser: 0
  containers:
  - name: jnlp
    image: jenkins/inbound-agent:4.10-3-jdk8
    imagePullPolicy: IfNotPresent
  - name: maven
    image: maven:3.8.4-jdk-8
    imagePullPolicy: IfNotPresent
    command:
    - cat
    tty: true
  - name: dind
    image: 'docker:stable-dind'
    command:
    - dockerd
    - --host=unix:///var/run/docker.sock
    - --host=tcp://0.0.0.0:8000
    - --insecure-registry=192.168.1.200:8088
    securityContext:
      privileged: true
    volumeMounts:
    - mountPath: /var/run
      name: docker-dir
  - name: "docker"
    tty: true
    image: docker:19.03.15-git
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - mountPath: /var/run
      name: docker-dir
  - name: "curl"
    tty: true
    image: curlimages/curl:7.84.0
    imagePullPolicy: IfNotPresent
    command:
    - cat
  - name: "helm"
    tty: true
    image: dtzar/helm-kubectl:3.9.0
    imagePullPolicy: IfNotPresent
    command:
    - cat
  volumes:
    - name: docker-dir
      emptyDir: {}
"""

env.projectName = "${JOB_NAME}".split("_")[0]
env.buName = "${JOB_NAME}".split("-")[0]
env.serviceName = "${JOB_NAME}".split("_")[0]

pipeline{
    agent{
        kubernetes{
            label "test01"
            cloud 'kubernetes'
            yaml podYaml

        }
    }
    
    options {
        skipDefaultCheckout()
    }

    stages{
        stage("Checkout"){
            steps{
                script {            
                    
                    println("GetCode")
                    sh "[ -d ${env.serviceName} ] || mkdir ${env.serviceName}"
                    ws("${WORKSPACE}/${env.serviceName}"){
                        checkout([$class: 'GitSCM', 
                                branches: [[name: "${env.branchName}"]], 
                                extensions: [], 
                                userRemoteConfigs: [[credentialsId: '62a3150f-38f8-4c9d-9334-79072b1d75cc', 
                                                    url: "${env.srcUrl}"]]])
                        env.commitID = GetCommitID()
                        currentBuild.description = """ branchName: ${env.branchName} \n"""
                        currentBuild.displayName = "${env.commitID}"
                    }
                    
                }
            }
        }
        

        stage("HelmDeploy"){
            steps{
                container("helm"){
                    script{

                        withCredentials([file(credentialsId: 'cdcb0d0b-7420-4c7a-84dd-a47b57878999', variable: 'KUBE_CONFIG')]) {
                            content = sh returnStdout: true, script: "cat $KUBE_CONFIG"
                            writeFile file: './config', text: content
                        }

                        sh " mkdir -p /root/.kube ; mv config /root/.kube/"
                       
                        env.namespace = "${env.buName}"
                        env.appName = "${env.serviceName}"
                        currentBuild.description = "NS: ${env.namespace}"
                      
                        //Helm 发布
                        sh """
                            helm package "${env.appName}/" 
                            helm upgrade --install --create-namespace  "${env.appName}" ./"${env.appName}"-*.tgz -n ${env.namespace} 
                            helm history "${env.appName}"  -n ${env.namespace} 
                        """ 

                        //获取release的历史版本   
                        env.revision = sh returnStdout: true, script: """helm history ${env.appName} -n ${env.namespace}  | grep -v 'REVISION' | awk '{print \$1}' """
                        println("${env.revision}")
                        println("${env.revision.split('\n').toString()}")
                        env.REVISION = "${env.revision.split('\n').toString()}"
                        println("${env.REVISION}")

                        // 获取应用状态
                        5.times{
                            sh "sleep 2; kubectl -n ${env.namespace} get pod  | grep ${env.appName}"
                        }

                    }
                }
            }
        }

        stage("CheckHealth"){
            steps{
                container("curl"){
                    script{
                        sh """
                           echo "192.168.1.200 devops4.ops.service" >>/etc/hosts
                           """
                        result = sh returnStdout: true, script: """ curl "http://${env.domainName}/health" """
                        if (result == "ok\n"){
                            println("success!")
                        }
                    }
                }
            }
        }

        stage("RollOut"){
            input {
                message "是否进行回滚"
                ok "提交"
                submitter "zeyang,aa"
                parameters {
                    choice(choices: ['yes', 'no'], name: 'opts')
                }
            }

            steps{

                container("helm"){
                    script{
                        switch("${opts}") {
                            case "yes":
                                def result = input  message: "选择回滚版本?", 
                                parameters: [choice(choices: env.REVISION, name: 'rversion')]

                                println("${result}")
                                sh "helm rollback ${env.appName} ${result} -n ${env.namespace} "
                                break

                            case "no":
                            break
                        }
                    }
                }
            }
        }
    }
}

//获取CommitID
def GetCommitID(){
    ID = sh returnStdout: true, script:"git rev-parse HEAD"
    ID = ID -"\n"
    return ID[0..7] 
}

文章转载自公众号：DevOps云学堂

分类

标签

已于2023-7-18 11:35:48修改

赞

收藏

回复

举报

回复

相关推荐

Gradle最佳实践

lingyuli • 1.6w浏览 • 1回复
k8s部署redis-cluster集群

lancelottsang • 1.6w浏览 • 0回复
「SpringCloud」Docker + k8s打包部署——Maven打包配

ponymar • 1.2w浏览 • 0回复
监控实践: 基于K8S部署Prometheus+Grafana

kevinaoc • 3.1w浏览 • 4回复
如何修改 K8S Master节点 IP？可没想象中那么简单~

zaqi • 8783浏览 • 0回复
#云原生征文#二进制安装多master节点的k8s集群-1.20.7

风干工程师肉要不要 • 1.3w浏览 • 1回复
域名绑定动态IP最佳实践！！

Pike_Chen • 8037浏览 • 0回复
#夏日挑战赛# k8s节点如何从Harbor中拉取私有镜像？

键客李大白 • 1.1w浏览 • 3回复
kubeasz部署k8s集群实战

cuiyingfeng • 1.5w浏览 • 0回复
K8s 应用的网络可观测性： Cilium VS DeepFlow

树欲静而风不止 • 5656浏览 • 0回复
K8S | 核心原理分析

随风康康 • 2119浏览 • 0回复
K8s 原生支持的准入策略管理

看球不费电 • 2779浏览 • 0回复
ServiceAccount Token 在不同 K8s 版本中的使用

看球不费电 • 4110浏览 • 0回复
使用 RKE 方式搭建 K8s 集群并部署 NebulaGraph

smallmeteror • 3469浏览 • 0回复
K8S 中实现 AIOps 的 OpenAPI 项目介绍

love374 • 1781浏览 • 0回复
Jenkins 基于 Kubernetes 的动态和静态节点

WilliamGates • 2465浏览 • 0回复
Jenkins 基于 Kubernetes 的动态和静态节点

WilliamGates • 5359浏览 • 0回复
docker和k8s预研

老老老JR老北 • 2032浏览 • 0回复
基于K8s环境·使用ArgoCD部署Jenkins和静态Agent节点

icegoblin • 4188浏览 • 0回复

这个用户很懒，还没有个人简介

帖子

视频

声望

粉丝

关注

最近发布

云平台运维规范-下篇 2023-11-21 15:27:00发布
云平台运维规范-上篇 2023-11-21 15:19:24发布

热门推荐

#打开鸿蒙知识宝盒# 智问智答大师赛 34回复

HarmonyOS：构建双模式计时器应用的实践 3回复

「Mac畅玩鸿蒙与硬件2」鸿蒙开发环境配置篇2 - 在 Mac 上安装 DevEco Studio 3回复

ArkData：首选项——让数据在设备中安全的流动 2回复

【Py4OH系列教程】鸿蒙Python框架的前世今生 0回复

相关问题

K8s访问基于Linx环境的Ftp报错，求支援 1回答

k8s 上部署 nodelocaldns 的问题 1回答

HarmonyOS jsBridge 最佳实践 1回答

k8s 集群 coredns pod 部署异常 1回答

k8s强制删除所有Pending的po 1回答

上一篇： DevOps如何解决技术债务挑战？

下一篇：可扩展 CI/CD 流水线示例：改善开发流程

社区精华内容

目录

Copyright © 2005-2024 51CTO.COM 京ICP证060544版权所有未经许可请勿转载