数据调度组件：基于Azkaban协调时序任务执行

strikeeagle

发布于 2023-1-4 11:13

浏览

0收藏

一、Azkaban概述

1、任务时序

在数据服务的业务场景中，很常见的业务流程就是日志文件经过大数据分析，再向业务输出结果数据；在该过程中会有很多任务需要执行，并且很难精准把握任务执行的结束时间，但是又希望整个任务链尽快结束释放资源。

数据调度组件：基于Azkaban协调时序任务执行-鸿蒙开发者社区

大致执行顺序如下：

业务日志文件同步到HDFS文件系统；
经过Hadoop执行分析计算过程；
结果数据在导入数仓进行存储；
最终需要把数仓内数据同步到业务库；

这样的流程不必业务中任务调度，时间基本是可预估的，只要把握留足任务间隔时间即可，大数据的任务链路通常需要一个结束直接启动另一个，以此降低时间成本，初入数据服务公司时，就发生过因为同步任务执行结束但是最后的个别CSV数据文件未生成结束的案例，导致近百万的分析数据同步更新业务库失败。

2、Azkaban简介

Azkaban是由Linkedin公司推出的可以管理批量工作流任务的调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。

Azkaban特点和优势

提供功能清晰，简单易用的 Web UI 界面；
作业配置简单，任务作业依赖关系清晰；
提供可扩展的组件；
基于Java语言开发，易于二次开发；

相比较于Oozie配置工作流的过程是编写大量的XML配置，并且其代码复杂度比较高，不易于二次开发，Azkaban则显得轻量级，功能和用法相对简单和容易使用。

二、服务安装

1、核心包

Web服务

azkaban-web-server-2.5.0.tar.gz1.

执行服务

azkaban-executor-server-2.5.0.tar.gz1.

SQL脚本

azkaban-sql-script-2.5.0.tar.gz1.

2、安装路径

上传上面三个安装包，并解压操作。

[root@hop01 azkaban]# pwd
/opt/azkaban
[root@hop01 azkaban]# tar -zxvf azkaban-web-server-2.5.0.tar.gz
[root@hop01 azkaban]# tar -zxvf azkaban-executor-server-2.5.0.tar.gz
[root@hop01 azkaban]# tar -zxvf azkaban-sql-script-2.5.0.tar.gz
[root@hop01 azkaban]# mv azkaban-web-2.5.0/ server
[root@hop01 azkaban]# mv azkaban-executor-2.5.0/ executor1.
2.
3.
4.
5.
6.
7.

3、MySQL导入脚本

[root@hop01 ~]# mysql -uroot -p123456
mysql> create database azkaban_test;
mysql> use azkaban_test;
mysql> source /opt/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql1.
2.
3.
4.

查看表

数据调度组件：基于Azkaban协调时序任务执行-鸿蒙开发者社区

4、SSL配置

[root@hop01 opt]# keytool -keystore keystore -alias jetty -genkey -keyalg RSA1.

生成文件：keystore

拷贝到AzkabanWeb服务器目录下：

[root@hop01 opt]# mv keystore /opt/azkaban/server/1.

5、Web服务配置

基础配置

[root@hop01 conf]# pwd
/opt/azkaban/server/conf
[root@hop01 conf]# vim azkaban.properties1.
2.
3.

核心修改内容：MySQL和Jetty。

default.timezone.id=Asia/Shanghai

# Azkaban MySQL server properties.
database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban_test
mysql.user=root
mysql.password=123456
mysql.numconnections=100

# Azkaban Jetty server properties.
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=keystore
jetty.password=123456
jetty.keypassword=123456
jetty.truststore=keystore
jetty.trustpassword=1234561.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.

这里配置符合本地配置参数即可。

用户配置

[root@hop01 conf]# vim azkaban-users.xml1.

增加一个管理员用户：

<azkaban-users>
    <user username="admin" password="admin" roles="admin,metrics" />
</azkaban-users>1.
2.
3.

数据调度组件：基于Azkaban协调时序任务执行-鸿蒙开发者社区

6、Executor服务配置

[root@hop01 conf]# pwd
/opt/azkaban/executor/conf
[root@hop01 conf]# vim azkaban.properties1.
2.
3.

核心修改内容：MySQL和时区。

default.timezone.id=Asia/Shanghai

# Azkaban MySQL server properties.
database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban_test
mysql.user=root
mysql.password=123456
mysql.numconnections=1001.
2.
3.
4.
5.
6.
7.
8.
9.
10.

7、启动服务器

Web服务

[root@hop01 bin]# pwd
/opt/azkaban/server/bin
[root@hop01 bin]# ll
total 16
-rwxr-xr-x 1 root root  161 Apr 21  2014 azkaban-web-shutdown.sh
-rwxr-xr-x 1 root root 1275 Apr 21  2014 azkaban-web-start.sh1.
2.
3.
4.
5.
6.

这里分别是启动和关闭的脚本。

[root@hop01 bin]# /opt/azkaban/server/bin/azkaban-web-start.sh1.

Executor服务

[root@hop01 bin]# /opt/azkaban/executor/bin/azkaban-executor-start.sh1.

启动日志

两个服务的关键尾行日志：

Azkaban Server running on ssl port 8443.
Azkaban Executor Server started on port 123211.
2.

登录界面

注意这里是基于https协议：

https://hop01:8443/1.

数据调度组件：基于Azkaban协调时序任务执行-鸿蒙开发者社区

三、操作案例

1、入门案例

创建command类型job

[root@hop01 flow_01]# pwd
/opt/azkaban/testJob/flow_01
[root@hop01 flow_01]# vim simple.job

type=command
command=echo 'mySimpleJob'1.
2.
3.
4.
5.
6.

打成zip包

[root@hop01 flow_01]# zip -q -r simpleJob.zip simple.job1.

创建项目

数据调度组件：基于Azkaban协调时序任务执行-鸿蒙开发者社区

上传任务包

数据调度组件：基于Azkaban协调时序任务执行-鸿蒙开发者社区

执行任务

数据调度组件：基于Azkaban协调时序任务执行-鸿蒙开发者社区

2、任务顺序执行

创建任务A

[root@hop01 flow_02]# vim simpleA.job

type=command
command=echo 'simplejobA'1.
2.
3.
4.

创建任务B

[root@hop01 flow_02]# vim simpleB.job

type=command
dependencies=simpleA
command=echo 'simplejobB'1.
2.
3.
4.
5.

打包任务

[root@hop01 flow_02]# zip -q -r simpleTwoJob.zip simpleA.job simpleB.job1.

数据调度组件：基于Azkaban协调时序任务执行-鸿蒙开发者社区

同样的操作方式，两个任务放在zip包中，通过Web服务上传，观察执行效果即可。

四、源代码地址

GitHub·地址
https://github.com/cicadasmile/big-data-parent
GitEE·地址
https://gitee.com/cicadasmile/big-data-parent1.
2.
3.
4.

本文转载自公众号：知了一笑

分类

其他

标签

Azkaban

已于2023-1-4 11:13:59修改

相关推荐

HarmonyOS应用开发-分布式任务调度

killads • 3.1w浏览 • 0回复
HarmonyOS 之分布式任务调度

鸿蒙开发者社区官方账号 • 2.4w浏览 • 0回复
鸿蒙子系统解读-分布式任务调度篇(上)

恋上一只猪 • 2.6w浏览 • 4回复
鸿蒙子系统解读-分布式任务调度篇(下）

恋上一只猪 • 1.8w浏览 • 1回复
HarmonyOS分布式任务调度开发之--你必须知道的bundleName

开源夏德旺 • 2.3w浏览 • 5回复
v03.06 鸿蒙内核源码分析(时钟任务) | 触发调度谁的贡献最大

鸿蒙内核源码分析 • 1.9w浏览 • 10回复
v04.03 鸿蒙内核源码分析(任务调度) | 任务是内核调度的单元

鸿蒙内核源码分析 • 1.6w浏览 • 2回复
v07.08 鸿蒙内核源码分析(调度机制) | 任务是如何被调度执行的

鸿蒙内核源码分析 • 1.3w浏览 • 0回复
鸿蒙轻内核M核源码分析系列六任务及任务调度（2）任务模块

zhushangyuan_ • 2.0w浏览 • 3回复
鸿蒙轻内核M核源码分析系列六任务及任务调度（3）任务调度模块

zhushangyuan_ • 1.8w浏览 • 3回复
三步完成HarmonyOS分布式任务调度

鸿蒙开发者社区官方账号 • 1.2w浏览 • 1回复
小游戏：吃豆豆--基于分布式数据库与分布式任务调度（学习笔记）

木棉花Gan_Susan • 1.7w浏览 • 8回复
【木棉花】：简单的分布式任务调度

木棉花潘颖琳 • 1.6w浏览 • 5回复
#星光计划1.0# OpenHarmony 源码解析之分布式任务调度

深开鸿 • 1.9w浏览 • 6回复
TSDB时序数据库时序数据压缩解压技术浅析

p_wdn • 8604浏览 • 0回复
#夏日挑战赛#【FFH】分布式任务调度应用拉起实现(OpenHarmony JS

Hagon • 1.1w浏览 • 2回复
数据平台调度升级改造 | 从Azkaban平滑过度到海豚调度的迁移实践

海豚调度平台 • 1.1w浏览 • 0回复
拆解一下消息队列、任务队列、任务调度系统

史前动物 • 6216浏览 • 0回复
【时间盒子】-【9.任务设置项】自定义任务名称、任务时长等设置项组件

与辉鸿蒙 • 2977浏览 • 0回复

strikeeagle

这个用户很懒，还没有个人简介

帖子

视频

声望

粉丝

关注

51CTO

51CTO博客

51CTO学堂

数据调度组件：基于Azkaban协调时序任务执行

一、Azkaban概述

1、任务时序

2、Azkaban简介

二、服务安装

1、核心包

2、安装路径

3、MySQL导入脚本

4、SSL配置

5、Web服务配置

6、Executor服务配置

7、启动服务器

三、操作案例

1、入门案例

2、任务顺序执行

四、源代码地址

目录

订阅鸿蒙技术特刊，精选内容抢先看