Azkaban .docx
立即下载
拥有小太阳的向日葵
2025-05-12
ban
执行
Azka
Server
数据库
流程
job
关系
数据
保存
399.1 KB
Azkaban
一．概述
1. Azkaban是 LinkedIn 开发的，为了解决Hadoop job 的 依赖顺序问题。我们有时需要有序的去运行jobs,例如 从 ETL 的job 到 数据分析的流程。
2. Azkaban一开始是一个单台服务器解决方案，hadoop几年来的用户使用Azkaban的数量不断增加，使得它更加完善和健壮起来。
3. Azkaban 有三个组件组成：
. 关系型数据库（例如：mysql）
. AzkabanWebServer（azkaban的 web网页服务，是能看到 网页 并操作）
. AzkabanExecutorServer （azkaban 执行服务器，也就 是调度工作流真正执行任务地方）
例如图：
大概用关系数据库做了什么
Azkaban用数据库保存一些执行中的状态 和 本身的登陆权限，执行权限。AzkabanExecutorServer 和 AzkabanWebServer 都用到了关系数据库 上图 说明了这一点。
AzkabanWebServer 使用 关系数据做原因（五点 负责查）
. Project management（项目管理）：例如 页面登陆时的权限 上传文件权限 等 （有权限表保存）。
. Excuting flow state (执行流程状态)：跟踪 执行的进度，显示那些 执行器 在运行 （刷新到 进度表去，然后页面去进度表刷数据）。
. Previous Flow/Jobs （历史上的 执行流程和执行过的 job）：
查找历史上的 执行流程 和 job，还可以查看他们日志文件。
.Scheduler （调度器）：持久化调度任务的状态。
.SLA （服务等级协议）：保存规则信息。它一般都包含出现故障时服务提供者和客户应采取的步骤，例如 服务商保证 当机2小时解决 ，超出咋赔偿等 。
AzkabanEcecutorServer 使用关系数据库原因（四点 更新插入）
. Access the project (访问
ban/执行/Azka/Server/数据库/流程/job/关系/数据/保存/
ban/执行/Azka/Server/数据库/流程/job/关系/数据/保存/
-->