使用 Spot 实例打造低成本高性能无限并发的 Gitlab Runner 原创

树欲静而风不止

发布于 2022-11-7 13:20

2347浏览

0收藏

1.

当项目中存在一些大型编译项目时，由于机器性能不足，导致研发花费大量时间等待构建，浪费生命，本文带你了解 DeepFlow 如何使用阿里云 ECI Spot 弹性实例打造低成本高性能无限并发的 Gitlab Runner。

0x0: 背景

一般使用 Gitlab CI 都是创建一台虚拟机，注册为 Gitlab Runner。我们项目中的 deepflow-agent 使用 Rust 编写，对编译机性能要求非常高，在多人同时提交代码时虚拟机经常卡顿，造成所有开发等待编译，浪费时间浪费生命。

发现这个问题后，我们开始寻找新的 CI 构建方案，最终采用了阿里云 ACK + ECI + Spot 实例的方式，实现低成本高性能无限资源池的 Gitlab Runner。

在我们内部企业版 deepflow-agent 及 deepflow-server 项目的 CI 中，半年时间构建了 6531 次 Pipeline，可以看到 8 月份总计跑了 1176 次 CI，单月 ECI 成本为 130.31 元，对比原来需要给 Rust 编译准备一台 32C64G 包月计费虚拟机（ecs.c7.8xlarge），成本下降到了 1/20。

CI/CD 构建次数：
ECI 成本分析：
原单台虚拟机成本：

0x1: 阿里云 ECI 基本概念

通过基础设施集群中的虚拟节点，在阿里云的超大资源池中直接创建 Pod 资源，Kubernetes 不再需要直接负责单个 Pod 的放置、启动等工作，也不再需要关心底层虚拟机的资源情况，无需自行准备计算节点。通常用于高性能计算，离线备份计算，CI 等临时需要高规格资源场景。

限制：基于 Kubernetes 社区的 Virtual Kubelet 技术，ECI 通过虚拟节点与 Kubernetes 实现无缝对接，因此 ECI 实例并不会运行在一个集中式的真实节点上，而是打散分布在整个阿里云的资源池中。基于公有云的安全性和虚拟节点本身带来的限制，ECI 目前还不支持 Kubernetes 中 HostPath、DaemonSet 等功能。

阿里云上有两种 K8s 集群类型，ASK 及 ACK：

ASK：该集群中创建的所有 Pod 直接使用 ECI 调度
ACK：部署虚拟节点，通过添加特定 Label 调度 Pod 到 ECI

使用 Spot 实例打造低成本高性能无限并发的 Gitlab Runner-鸿蒙开发者社区

ACK 使用 ECI 调度：由于我们本身基础架构使用的阿里云 ACK 集群，固选择在 ACK 中部署虚拟节点的方式使用 ECI，使用流程：

部署虚拟节点
调度Pod到虚拟节点

使用 Spot 实例打造低成本高性能无限并发的 Gitlab Runner-鸿蒙开发者社区

简单测试一下创建 ECI 实例：

kubectl run deepflow-test --image ubuntu:latest -l alibabacloud.com/eci=true --annotations=k8s.aliyun.com/eci-use-specs="2-4Gi" -n dev-ci-cd
1.

实例资源配置：可选择多种方式创建实例：

指定 vCPU 和内存，会自动匹配对应的 ECS 资源规格
指定 ECS 规格，可选择计算型，内存型，高主频等规格
创建 GPU 实例，可选择带 GPU 类型
创建 AMD 实例，可选择处理器为 AMD EPYCTM ROME 的实例

Spot 抢占式实例：一种价格极低的抢占式实例，价格非常便宜但不保证长时间的可用性，适合临时测试业务或 CI 使用。按秒计费，计费规则为每小时价格/3600秒。

常用规格参考

规格	大小	原价格/小时	spot 价格/小时
ecs.c5.large	2C4G	0.62	0.062
ecs.c6.large	2C4G	0.39	0.078
ecs.g6.2xlarge	8C32G	2.0	0.4-0.84
ecs.g6.4xlarge	16C64G	4.0	0.8-1.44-4.0

annotations 参考

可使用 kubernetes 中 pod annotations 调整 ECI 参数，其中 ECI 支持的所有 Annotation，详细说明参考官方文档：ECI Pod Annotation

annotations:
k8s.aliyun.com/eci-use-specs : "ecs.c5.large" # 根据需要替换ECS实例规格
k8s.aliyun.com/eci-spot-strategy: "SpotWithPriceLimit" # 采用自定义设置价格上限的策略或 SpotAsPriceGo 系统自动出价，跟随当前市场实际价格。
k8s.aliyun.com/eci-spot-price-limit: "0.250" # 设置每小时价格上限
k8s.aliyun.com/eci-spot-duration: "2" # 设置保护期
1.
2.
3.
4.
5.

查询当前 spot 实例价格
两种方式，命令行工具或 API 查询，推荐 cli 工具，具体参数详见阿里云cli工具使用说明

# aliyun-cli
aliyun ecs DescribeSpotPriceHistory --InstanceType=ecs.c5.large --NetworkType=vpc --output cols=InstanceTypeOriginPrice,SpotPrice,ZoneId rows=SpotPrices.SpotPriceType[]
## 注意：zsh shell 中 [] 需要用 \ 转义，e.g. \[\]
1.
2.
3.

也可使用 API 方式

# API 文档
https://next.api.aliyun.com/api/Ecs/2014-05-26/DescribeSpotPriceHistory?lang=GO&params{%22NetworkType%22:%22vpc%22,%22ZoneId%22:%22cn-beijing-h%22,%22RegionId%22:%22cn-beijing%22%22InstanceType%22:%22ecs.c5.large%22}&tab=DEMO
1.
2.

0x2: Gitlab CI 配置

第一步创建命名空间

创建命名空间 dev-eci，并打上 alibabacloud.com/eci=true LABEL，在此命名空间下创建的 Pod 将默认调度至 ECI 虚拟节点。

kubectl create ns dev-eci
kubectl label ns dev-eci alibabacloud.com/eci=true
1.
2.

第二步注册 Kubernetes 类型 Runner

我们在 dev-eci 命名空间下注册一个名为 kubernetes-eci 的 Runner，使用该 runner 的 CI 将自动在 dev-eci 命名空间使用 ECI 创建 CI POD。详细说明可查看官方文档 The Kubernetes executor for GitLab Runner

helm repo add gitlab https://charts.gitlab.io

# For Helm 3
helm install --namespace dev-eci gitlab-runner -f values-custom.yaml gitlab/gitlab-runner

# 按提示输入 gitlab url 及 token
1.
2.
3.
4.

values-custom.yaml 自定义配置参考

指定 namespace
如果访问 gitlab 官方仓库网络不好，可以将 gitlab-runner-helper:x86_64-f761588f 镜像传到国内公网仓库
指定 pod_annotations_overwrite_allowed ，方可在 ci 中通过变量控制 ECI 实例参数，详细注解列表可参考 Overwriting pod annotations
指定挂载 pvc（所有 CI Pod 可共享该目录，可以用来放置缓存目录）

# values-custom.yaml
runners:
  # runner configuration, where the multi line strings is evaluated as
  # template so you can specify helm values inside of it.
  #
  # tpl: https://helm.sh/docs/howto/charts_tips_and_tricks/#using-the-tpl-function
  # runner configuration: https://docs.gitlab.com/runner/configuration/advanced-configuration.html
    [[runners]]
      [runners.kubernetes]
        namespace = "dev-eci"
        image = "ubuntu:16.04"
        ## 可选，如果网络无法拉取官方镜像，可自行同步至内网仓库
        # helper_image = "dfcloud-image-registry.cn-beijing.cr.aliyuncs.com/deepflowcloud/gitlab-runner-helper:x86_64-f761588f"
        pod_annotations = ""
        pod_annotations_overwrite_allowed = "k8s.aliyun.com.*"
        poll_timeout = 3600
        privileged = false
        ## 可选
        [[runners.kubernetes.volumes.pvc]]
          name = "rust-cache"
          mount_path = "/root/.cache/"

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.

使用 Spot 实例打造低成本高性能无限并发的 Gitlab Runner-鸿蒙开发者社区

第三步配置 Gitlab CI

有关 ECI 与 Gitab CI 的结合，没有太多网络资料参考，如有疑问可扫描下方二维码加入 DeepFlow 开源交流群共同交流。

以构建 deepflow-agent-x86 为例，参考 CI 配置如下：

# .gitlab-ci.yml
.common_rules:
  ci_script:
  - changes:
    - .gitlab-ci.yml
  agent_verify_rules:
  - if: $CI_PIPELINE_SOURCE == "merge_request_event"
    changes:
    - agent/**/*
  - if: '$CI_COMMIT_BRANCH && $CI_OPEN_MERGE_REQUESTS'
    when: never
  agent_package_rules:
  - if: $CI_COMMIT_BRANCH =~ /^feature-/  || $CI_COMMIT_REF_NAME == "main"
    changes:
    - agent/**/*
  - if: $CI_PIPELINE_SOURCE == "schedule"

variables:
  ALIYUN_REGISTRY: 镜像仓库地址
  DEPLOY_IMAGE: 镜像仓库地址/deepflow-agent
  GO_IMAGE: 镜像仓库地址/golang:1.18.0-protobuf-3.6.1-tmpl-docker-0.7
  RUST_IMAGE: 镜像仓库地址/public/rust-build:1.14
  # 可指定多个实例类型，至多 5 个。
  KUBERNETES_POD_ANNOTATIONS_1: "k8s.aliyun.com/eci-use-specs=ecs.c6.2xlarge,ecs.c5.2xlarge,ecs.c7.3xlarge,ecs.g6.2xlarge,ecs.c6e.2xlarge"
  # 配置 Spot 实例保护期为一小时，防止 CI 运行时突然中断。超过2小时将只能使用部分指定机型，详情看文档。
  # https://help.aliyun.com/document_detail/451259.html
  KUBERNETES_POD_ANNOTATIONS_2: "k8s.aliyun.com/eci-spot-duration=1"
  # 配置 Spot 实例自动出价，跟随当前市场实际价格。
  KUBERNETES_POD_ANNOTATIONS_3: "k8s.aliyun.com/eci-spot-strategy=SpotAsPriceGo"
  # 启用镜像缓存，加速镜像拉取速度。
  KUBERNETES_POD_ANNOTATIONS_4: "k8s.aliyun.com/eci-image-cache=true"
  # 是否开启镜像缓存复用。开启后，新创建的镜像缓存可以复用已有镜像缓存的镜像层，加快镜像缓存的制作速度。
  # https://help.aliyun.com/document_detail/311475.html?spm=a2c4g.11186623.0.0.24ba9f3c6sFiO6
  KUBERNETES_POD_ANNOTATIONS_5: "k8s.aliyun.com/imc-enable-reuse=true"
  # [可选]镜像缓存时间，过期自动删除，超过1G的镜像尽量不删除，不然每次拉取很慢。
  # KUBERNETES_POD_ANNOTATIONS_7: "k8s.aliyun.com/imc-retention-days=7"

stages:
  - verify
  - build_agent
  - package

verify-agent-x64:
  stage: verify
  retry: 1
  tags:
    - kubernetes-eci
  image: $RUST_IMAGE
  script:
    - source /opt/rh/devtoolset-8/enable
    - cd agent
    - cargo check
    - cargo fmt --all -- --check
  rules:
  - !reference [.common_rules, ci_script]
  - !reference [.common_rules, agent_verify_rules]

binary-agent-x64:
  stage: build_agent
  tags:
    - kubernetes-eci
  image: $RUST_IMAGE
  timeout: 30 minutes
  script:
    - cd agent
    - cargo build --release --target=x86_64-unknown-linux-musl
    - cargo build --release --bin deepflow-agent-ctl --target=x86_64-unknown-linux-musl
    - ls -alh target/x86_64-unknown-linux-musl/release
    - mkdir -p x86_64/output
    - cp target/x86_64-unknown-linux-musl/release/{deepflow-agent,deepflow-agent-ctl} x86_64/output/
    - DEP_PATH=$(cargo metadata | jq -r '.packages[] | select(.name=="deepflow-agent" and .source!=null) | .manifest_path' | xargs -i dirname {})
    - cp $DEP_PATH/src/ebpf/{libtrace.a,deepflow-ebpfctl} x86_64/output/
  rules:
  - !reference [.common_rules, ci_script]
  - !reference [.common_rules, agent_package_rules]
  artifacts:
      paths:
        - agent/x86_64/output/deepflow-agent
        - agent/x86_64/output/deepflow-agent-ctl
        - agent/x86_64/output/libtrace.a
        - agent/x86_64/output/deepflow-ebpfctl

docker-agent-x64:
  stage: package
  tags:
    - rust
  script:
    - cd agent
    - cp x86_64/output/{deepflow-agent,deepflow-agent-ctl,deepflow-ebpfctl} docker/
    - cd docker
    # e.g. deepflow-agnet:latest
    - docker build --pull -t  $DEPLOY_IMAGE:latest .
    - docker push $DEPLOY_IMAGE:latest
  rules:
  - !reference [.common_rules, ci_script]
  - !reference [.common_rules, agent_package_rules]
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.

第四步 Push 代码

此时已完成 Runner 注册，可提交代码触发 CI Pipeline，查看 CI 执行流程。

使用 Spot 实例打造低成本高性能无限并发的 Gitlab Runner-鸿蒙开发者社区

0x4: 遇到的问题

spot 实例资源不足导致无法启动

阿里云当前可用区的 Spot 资源不足，导致无法启动实例

使用 Spot 实例打造低成本高性能无限并发的 Gitlab Runner-鸿蒙开发者社区

14:51 Message: The instanceTypes are out of usage..
We recommend that you use the create multi-zone function to avoid insufficient inventory.
For more information, see https://help.aliyun.com/document_detail/157290.html
...
1.
2.
3.
4.

解决办法

通过增加交换机的方式增加可用区，详细说明参考官方文档：配置 ECI Profile 中的 vSwitchIds
调整实例规格类型，使用剩余资源较多的类型，详细说明参考官方文档：优化库存之多可用区多规格创建 Pod

0x5: 使用 ECI 后的改变

目前我们 DeepFlow 的主要 CI 都已切换到 ECI 的 Runner 上，达到了之前所有的预期：

性能：每人每次 Push 后都将独立使用一台高性能机器编译，无需等待他人，不受其他编译任务影响
成本：对比原来需要给 Rust 编译准备一台 32C64G 包月计费虚拟机（ecs.c7.8xlarge），成本仅为虚拟机的 1/20，极大的降低了成本
灵活性：可将任意 CI 或负载弹性扩容至 ECI 集群
实例维护成本：无任何维护成本，无需维护虚拟机

0x6: 什么是 DeepFlow

DeepFlow是一款开源的高度自动化的可观测性平台，是为云原生应用开发者建设可观测性能力而量身打造的全栈、全链路、高性能数据引擎。DeepFlow 使用 eBPF、WASM、OpenTelemetry 等新技术，创新的实现了 AutoTracing、AutoMetrics、AutoTagging、SmartEncoding 等核心机制，帮助开发者提升埋点插码的自动化水平，降低可观测性平台的运维复杂度。利用 DeepFlow 的可编程能力和开放接口，开发者可以快速将其融入到自己的可观测性技术栈中。

GitHub 地址：https://github.com/deepflowys/deepflow

访问 DeepFlow Demo，体验高度自动化的可观测性新时代。