基于 Jenkins 在 Kubernetes 上配置 CI/CD

发表于 3年以前 | 总阅读数：440 次

软件行业正迅速看到使用容器作为一种为应用程序开发人员促进开发，部署和环境编排的方法的价值。这是因为容器可有效管理环境差异，提高可伸缩性并提供可预测性，以支持新功能的持续交付（CD）。除了技术优势外，容器还被证明可以大大降低复杂环境的成本模型。

内置在容器中的大规模，高弹性应用程序无疑具有其优势，但是管理环境可能会令人生畏。这就是像 Kubernetes 这样的编排工具真正发挥作用的地方。

Kubernetes 是由 Google 创建的与平台无关的容器编排工具，并作为 Cloud Native Computing Foundation 的一个项目得到了开源社区的大力支持。

它允许您增加容器实例的数量并管理它们以进行扩展和容错。它还处理广泛的管理活动，否则将需要单独的解决方案或自定义代码，包括请求路由，容器发现，运行状况检查和滚动更新。

Kubernetes 与大多数 CI/CD 工具兼容，该工具允许开发人员运行测试，在 Kubernetes 中部署内部版本并更新应用程序而不会造成停机。Jenkins 是目前最受欢迎的 CI/CD 工具之一，本文将重点介绍如何在 Kubernetes 上使用 Jenkins 和 Helm 配置 CI/CD 管道。

为什么 Jenkins 成为越来越多 DevOps 首选 CI/CD 工具

Jenkins 获得动力的原因有几个。首先，它是开源和免费的。其次，它易于使用，易于安装且不需要其他安装或组件。

Jenkins 也很容易配置，修改和扩展。它可以立即部署代码，生成测试报告。Jenkins 可以根据连续集成和连续交付的要求进行配置。

Jenkins 可用于所有平台和不同的操作系统，无论是 OS X，Windows 还是 Linux。它还拥有丰富的插件生态系统。丰富的插件库使Jenkins变得灵活，并允许跨各种平台进行构建，部署和自动化。

由于它是开源的，因此敏捷团队的大型在线社区不乏支持。最后，大多数集成工作是自动化的。因此，较少的集成问题。这样可以在项目的整个生命周期内节省时间和金钱。

CI/CD 步骤

Jenkins 的 CI/CD 流程通常遵循以下方案：

签出代码
运行单元测试
Dockerize应用
将 Dockerized应用推送到Docker Registry
使用Ansible Playbook在 K8s 上部署 dockerized应用

要了解其工作原理，让我们从 Jenkins 安装开始。我们将使用安装了 Docker 和 Kubernetes 的 CentOS 7 机器。

安装 Jenkins

步骤1：更新您的 CentOS 7 系统

sudo yum install epel-release nodejs
sudo yum update

步骤2：安装 Java

sudo yum install java-1.8.0-openjdk.x86_64
sudo cp /etc/profile /etc/profile_backup
echo 'export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk' | sudo tee -a /etc/profile 
echo 'export JRE_HOME=/usr/lib/jvm/jre' | sudo tee -a /etc/profile source /etc/profile

步骤3：安装 Jenkins

sudo rpm --import https://pkg.jenkins.io/redhat-stable/jenkins.io.key
wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.repo
sudo yum install -y jenkins

步骤4：启动 Jenkins，并检查其是否正在运行：

sudo systemctl start jenkins
sudo systemctl status jenkins

第5步：设置 Jenkins 要开始设置 Jenkins，我们需要访问其在端口 8080 上运行的 Web 仪表板。打开浏览器，查看您的公共 IP 地址或域名，以及通过它的端口号：

http://YOUR_IP_OR_DOMAIN:8080

您将看到类似以下页面的页面：

要获取密码，请运行：

sudo cat /var/lib/jenkins/secrets/initialAdminPassword

将密码粘贴到“管理员密码”字段中，然后单击继续以查看以下页面：

如果您不熟悉Jenkins，建议您选择“安装建议的插件”。现在您可以看到Jenkins正在安装一些插件：

之后，您将转到一个页面，您必须在其中创建第一个管理员用户：

准备 Jenkins 服务器

Jenkins 提供了一种简单的方法来为几乎任何语言和源代码存储库的组合设置持续集成和持续交付环境。让我们配置 Jenkins 服务器，其中包括安装 Docker，Ansible，Helm和 Docker 插件。

配置 Docker

Docker 非常火爆，因为它可以使更多的应用程序在相同的旧服务器上运行，并且还可以非常轻松地打包和发布程序。创建 jenkins 用户到 docker 组：

$ sudo groupadd docker
$ sudo usermod -aG docker jenkins
$ chmod root:docker /var/run/docker.sock

转到 /etc/passwd. 查找 jenkins:x:996:993:Jenkins Automation Server:/var/lib/jenkins:/bin/false 将其更改为 jenkins:x:996:993:Jenkins Automation Server:/var/lib/jenkins:/bin/bash.

添加 Ansible 主机到 /etc/ansible/hosts:

[localhost]
127.0.0.1

确保 Jenkins 可以通过 kubectl 访问集群：

mv .kube/config to /var/lib/jenkins

最后，使用以下命令将jenkins用户添加到sudo用户：$ visudo -f /etc/sudoers. 将 jenkins ALL = NOPASSWD：ALL 添加到文件并保存。

安装 Ansible

Ansible 是一个开源自动化平台。它非常非常简单，但功能强大。Ansible 可以帮助您进行配置管理，应用程序部署和任务自动化。它也可以进行IT编排，您必须按顺序运行任务并创建事件链以在多个不同的服务器或设备上运行。

$ sudo yum install python-pip
$ sudo pip install ansible

安装和配置 Helm Package Manager

Helm 可帮助您管理 Kubernetes 应用程序-使用 Helm Charts，您甚至可以定义，安装和升级最复杂的 Kubernetes 应用程序。

$ wget https://storage.googleapis.com/kubernetes-helm//var/lib/jenkins/ansible/sayarapp-deploy/deploy.yml-v2.8.1-linux-amd64.tar.gz
$ tar -xzvf helm-v2.8.1-linux-amd64.tar.gz
$ sudo mv linux-amd64/helm /usr/local/bin
$ sudo -i -u jenkins
$ mkdir .kube ; $ touch .kube/config

→ 如有必要，将 /etc/kubernetes/admin.conf 的内容复制到〜/.kube/config 以访问用户 Jenkins 下的集群。然后运行：

$ helm init --upgrade

在 Jenkins 上安装 Docker 插件

→ Docker 插件允许使用 docker 主机动态设置构建代理，运行单个构建，然后将映像推送到注册表。

导航到 http//your-ip：8080/pluginManager/available 并搜索插件 “CloudBees Docker Build and Publish”。单击立即下载，然后选中复选框以重新启动。

在 Jenkins 上创建管道

转到 Jenkins 并选择左侧的 New Item，输入名称 POC 并选择 管道，然后单击 ok。

为 git 和 docker Registry 生成管道语法

管道语法部分（ /job/PIPELINE/pipeline-syntax/）将帮助您生成可用于定义各个步骤的管道脚本代码。

从列表中选择一个您感兴趣的步骤，对其进行配置，然后单击 Generate Pipeline Script，您将看到一个 Pipeline Script 语句，该语句将调用该配置步骤。导航到 http://your-ip:8080/job/POC/pipeline-syntax/

选择git并提供回购URL和用户名/密码，如果回购是私有的，它将为您生成语法。

如果您使用 DockerHub，请选择我们之前安装的 withdocker-registry 并提供注册表的凭证（对于 DockerHub 为 https://index.docker.io/v1/）。单击 Generate Pipeline Script，您将获得一个将用作凭证的脚本：

withDockerRegistry([credentialsId: ‘55d22be4-cff4–4609-a97d-a74ad61ad12b’, url: ‘https://index.docker.io/v1/'])

克隆 Helm Chart

克隆示例项目的图表：

$ sudo su - jenkins 
$ mkdir ansible
$ git clone https://mAyman2612@bitbucket.org/mAyman2612/ci-cd-k8s.git
$ cp -r ci-cd-k8s/ansible/sayarapp ansible/

→这将使用 hello-world 类型的应用程序克隆一个示例项目。我们项目的 Helm 图表位于 ansible/sayarapp/templates。您可以使用自己的文件替换 yaml，以进行部署和服务。这是 deployment.yml 我们将使用：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: hello-kubernetes
spec:
  replicas: 3
  selector:
    matchLabels:
      app: hello-kubernetes
  template:
    metadata:
      labels:
        app: hello-kubernetes
    spec:
      containers:
      - name: hello-kubernetes
        image: "{{ .Values.image.repository }}:{{ .Values.image.tag }}"
        ports:
        - containerPort: 3000
        imagePullPolicy: Always

和 service.yml：

apiVersion: v1
kind: Service
metadata:
  name: hello-kubernetes
spec:
  type: NodePort
  ports:
  - port: 80
    targetPort: 8080
  selector:
    app: hello-kubernetes

配置 Ansible 部署 Helm Chart

让我们创建一个 Ansible 剧本来调用 Helm Chart

$ cp -r ci-cd-k8s/ansible/sayarapp-deploy /var/lib/jenkins/

我们将在本文中使用的剧本如下所示：

- hosts: localhost
  vars:
    ImageName: ""
    Namespace: ""
    imageTag: ""
  #remote_user: ansible
  #become: true
  gather_facts: no
  connection: local
  tasks:
    - name: Create Namespace {{ Namespace }}
      command: "kubectl create namespace {{ Namespace }}"
      ignore_errors: yes
    - name: Deploy SayarApp
      command: "/usr/local/bin/helm install --name=sayar-{{ Namespace }}  --namespace={{ Namespace }} ../sayarapp --set image.repository={{ ImageName }} --set image.tag={{ imageTag }} --set namespace={{ Namespace }}"
      delegate_to: localhost
      ignore_errors: yes
    - name: Update SayarApp
      command: "/usr/local/bin/helm upgrade --wait --recreate-pods --namespace={{ Namespace }} --set image.repository={{ ImageName }} --set image.tag={{ imageTag }} --set namespace={{ Namespace }} sayar-{{ Namespace }} ../sayarapp"
      delegate_to: localhost
      ignore_errors: yes

Jenkins Pipeline 的 CI/CD

我们将用于管道的 Jenkinsfile 看起来像这样：

node{
  def Namespace = "default"
  def ImageName = "sayarapp/sayarapp"
  def Creds = "2dfd9d0d-a300-49ee-aaaf-0a3efcaa5279"
  try{
  stage('Checkout'){
      git 'https://mAyman2612@bitbucket.org/mAyman2612/ci-cd-k8s.git'
      sh "git rev-parse --short HEAD > .git/commit-id"
      imageTag= readFile('.git/commit-id').trim()
}
stage('RUN Unit Tests'){
      sh "npm install"
      sh "npm test"
  }
  stage('Docker Build, Push'){
    withDockerRegistry([credentialsId: "${Creds}", url: 'https://index.docker.io/v1/']) {
      sh "docker build -t ${ImageName}:${imageTag} ."
      sh "docker push ${ImageName}"
        }
}
    stage('Deploy on K8s'){
sh "ansible-playbook /var/lib/jenkins/ansible/sayarapp-deploy/deploy.yml  --user=jenkins --extra-vars ImageName=${ImageName} --extra-vars imageTag=${imageTag} --extra-vars Namespace=${Namespace}"
    }
     } catch (err) {
      currentBuild.result = 'FAILURE'
    }
}

让我们更深入地研究 Jenkinsfile。

步骤1 —在这里我们定义一些变量：

def Namespace = "default"  
//default namespace on k84
def ImageName = "sayarapp/sayarapp" 
// image name which will be pushed to docker registry
    def Creds = "2dfd9d0d-a300-49ee-aaaf-0a3efcaa5279" 
// Creds of docker registry

第2步-从我们的版本控制中 Pull/Clone 更新：

git 'https://mAyman2612@bitbucket.org/mAyman2612/ci-cd-k8s.git'
      sh "git rev-parse --short HEAD > .git/commit-id"
      imageTag= readFile('.git/commit-id').trim()

第3步-运行单元测试：

  stage('RUN Unit Tests'){
         sh "npm install"
         sh "npm test"
    }

第4步 — Docker 构建并推送到 Docker 注册表

stage('Docker Build, Push'){
withDockerRegistry([credentialsId: "${Creds}", url: 'https://index.docker.io/v1/']) {
         sh "docker build -t ${ImageName}:${imageTag} ."
         sh "docker push ${ImageName}"
           }
      }

第5步—调用 Ansible 剧本以在 K8s 上部署

stage('Deploy on K8s'){
sh "ansible-playbook ./ansible/sayarapp-deploy/deploy.yml  --user=jenkins --extra-vars ImageName=${ImageName} --extra-vars imageTag=${imageTag} --extra-vars Namespace=${Namespace}"
 }

访问在 Kubernetes 中运行的应用程序：

$ kubectl get svc // to get the IP/Port of the application

现在 curl http://:。

更新代码

现在，让我们看看是否正确。让我们稍微更改一下 yaml 文件。在 CI-CD-K8s/app/routes/root.js中，更改 hello K8s 以更新第3行中的 k8s。

此外，在 CI-CD-K8s/app/test/ root.test.js 中，更改 hello K8s 以在第 27 行中更新 k8s。

module.exports = function(req, res, next) {
  res.contentType = "json";
  res.send({ message: "hello K8s" });
  next();
};

和

const chai = require("chai");
const sinon = require("sinon");
var rootResponder = require("../routes/root");

// const expect = chai.expect;
// const assert = chai.assert;
chai.should();
describe("Root Directory Test", function() {
  describe("Should Behave properly on GETing /", function() {
    const nextSpy = sinon.spy();
    const resSpy = { send: sinon.spy() };
    beforeEach(function() {
      nextSpy.resetHistory();
      resSpy.send.resetHistory();
    });
    it("should call next", function() {
      rootResponder({}, resSpy, nextSpy);
      nextSpy.calledOnce.should.be.true;
    });

    it("should call send on resp", function() {
      rootResponder({}, resSpy, nextSpy);
      resSpy.send.calledOnce.should.be.true;
    });
    it("should call send on resp with Hello World as a message", function() {
      rootResponder({}, resSpy, nextSpy);
      resSpy.send.calledWith({ message: "hello K8s" }).should.be.true;
    });
    it("should have json as the content type of the respones", function() {
      rootResponder({}, resSpy, nextSpy);
      resSpy.contentType.should.exist;
      resSpy.contentType.should.equal("json");
    });
  });
});

再次运行 Pipeline 并 curl http://: