跳到主要内容

批式任务

点击左侧菜单栏 生产任务-批式任务 项在这里有任务列表调度配置两个菜单页。任务列表主要用来查看任务配置详情。

调度配置页下可以操作批任务的启停,查看日志,配置调度时间等。

工作流定义

创建工作流定义

点击工作流定义,进入工作流定义页面,点击创建工作流,进入工作流DAG编辑页面:

左侧工具栏中拖拽到右侧画板中,如新增一个任务节点:

配置任务之间的依赖关系:点击已添加的节点的右侧加号连接节点(或者在创建节点时添加前置节点也是一样的效果),如下图所示,

保存工作流,点击保存,输入工作流名称,即可成功创建工作流:

工作流定义操作功能

点击工作流定义,进入工作流定义页面

编辑:只能编辑"下线"的工作流定义。工作流DAG编辑同创建工作流定义。

上线: 工作流状态为"下线"时,上线工作流,只有"上线"状态的工作流能运行,但不能编辑。

下线: 工作流状态为"上线"时,下线工作流,下线状态的工作流可以编辑,但不能运行。

运行: 只有上线的工作流能运行。运行操作步骤见运行工作流。

定时: 只有上线的工作流能设置定时,系统自动定时调度工作流运行。创建定时后的状态为"下线",需上线定时才生效。定时操作步骤见工作流定时。

定时上线: 定时调度上线,只能定时创建后且工作流状态为"上线"时才可点击。

定时下线: 定时调度下线。

删除: 删除工作流定义。

下载: 下载工作流定义到本地。

复制: 在当前项目下,根据当前工作流复制出一个新的工作流,新工作流的名称会在原工作流名称的基础上加上后缀copy<date>

版本信息: 查看工作流版本信息,可在版本信息列表中切换工作流版本。

树形图: 以树形结构展示任务节点的类型及任务状态。

运行工作流

点击工作流定义,进入工作流定义页面,点击上线,上线工作流:

配置工作流定时,可以在根据上线后弹窗指示配置,也可后续在工作流定义列表自行选择配置

定时样例:添加一个3月28号到3月31号期间每天00:00:00运行一次的定时;点击执行时间,可以查看接下来5次执行时间:

点击创建,创建定时成功,定时需"上线"才生效。

点击运行,弹出启动参数设置弹框,设置启动参数,点击弹框中的运行,工作流开始运行,工作流实例页面生成一条工作流实例:

  1. 点击运行

  1. 设置启动参数

  1. 工作流运行实例

工作流运行参数说明:

失败策略:当某一个任务节点执行失败时,其他并行的任务节点需要执行的策略。"继续"表示:某一任务失败后,其他任务节点正常执行;"结束"表示:终止所有正在执行的任务,并终止整个流程。

通知策略:当流程结束,根据流程状态发送流程执行信息通知邮件,包含任何状态都不发,成功发,失败发,成功或失败都发。

流程优先级:流程运行的优先级,分五个等级:最高(HIGHEST),高(HIGH),中(MEDIUM),低(LOW),最低(LOWEST)。当 master 线程数不足时,级别高的流程在执行队列中会优先执行,相同优先级的流程按照先进先出的顺序执行。

是否空跑:工作流空跑指的是在不实际执行任务的情况下触发并运行工作流,用于确认工作流流程是否正常运行。

是否测试:测试运行一次工作流,不会对生产数据产生影响。

补数:指运行指定日期范围内的工作流定义,根据补数策略生成对应的工作流实例,补数策略包括串行补数、并行补数 2 种模式。

日期可以通过页面选择或者手动输入,日期范围是左关右关区间(startDate <= N <= endDate)

串行补数:指定时间范围内,从开始日期至结束日期依次执行补数,依次生成多条流程实例;点击运行工作流,选择串行补数模式:例如从3月28号到3月30号依次执行,依次在流程实例页面生成3条流程实例

并行补数: 指定时间范围内,同时进行多天的补数,同时生成多条流程实例。手动输入日期:手动输入以逗号分割日期格式为 yyyy-MM-dd HH:mm:ss 的日期。点击运行工作流,选择并行补数模式:例如同时执行3月28号到3月30号的工作流定义,同时在流程实例页面生成3条流程实例(执行策略为串行时流程实例按照策略执行)

并行度:是指在并行补数的模式下,最多并行执行的实例数。

补数与定时配置的关系:

未配置定时已配置定时并定时状态下线:根据所选的时间范围结合定时默认配置(每天0点)进行补数。

已配置定时并定时状态上线:根据所选的时间范围结合定时配置进行补数。

单独运行任务:右键选中任务,点击运行(只有已上线的任务才能点击运行),弹出启动参数设置弹框,参数说明同运行工作流。

节点执行参数说明:

向后执行:从选中运行的任务开始追溯到最上游任务开始执行,直到该节点结束。

向前执行:从选中运行的任务开始执行该节点的所有下游任务。

仅执行当前节点:仅执行选中运行的任务节点。

工作流实例

点击工作流实例,进入工作流实例页面,查看工作流实例:

点击工作流名称,进入DAG查看页面,查看任务执行状态:

工作流实例操作功能:点击工作流实例,进入工作流实例页面:

编辑: 只能编辑 成功/失败/停止 状态的流程。点击编辑工作流实例名称进入 DAG 编辑页面,编辑后点击保存,弹出保存 DAG 弹框,如下图所示,修改流程定义信息,在弹框中勾选"是否更新工作流定义",保存后则将实例修改的信息更新到工作流定义;若不勾选,则不更新工作流定义。

重跑: 重新执行已经终止的流程。

恢复失败: 针对失败的流程,可以执行恢复失败操作,从失败的节点开始执行。

停止: 对正在运行的流程进行停止操作,后台会先 kill worker 进程,再执行 kill -9 操作。

暂停: 对正在运行的流程进行暂停操作,系统状态变为等待执行,会等待正在执行的任务结束,暂停下一个要执行的任务。

恢复暂停: 对暂停的流程恢复,直接从暂停的节点开始运行。

删除: 删除工作流实例及工作流实例下的任务实例。

甘特图: Gantt 图纵轴是某个工作流实例下的任务实例的拓扑排序,横轴是任务实例的运行时间:

任务实例

点击任务实例,进入任务实例页面:

点击工作流实例名称,可跳转到工作流实例DAG图查看任务状态:

查看日志:点击操作列中的查看日志,可以查看任务执行的日志情况:

任务节点类型

任务节点

概述:任务节点类型,用于选择任务而形成的一个新的任务节点。

创建任务节点:

点击工作流定义,点击创建工作流,进入 DAG 编辑页面;

左侧工具栏的通用节点中选择任务节点,拖动到右侧画板中,弹出节点配置框,点确定即可完成节点的创建。

样例:

选择任务

DEPENDENT

概述:Dependent 节点,就是依赖检查节点。比如 A 流程依赖昨天的 B 流程执行成功,依赖节点会去检查 B 流程在昨天是否有执行成功的实例。

创建DEPENDENT节点:

点击工作流定义,点击创建工作流,进入 DAG 编辑页面;

左侧工具栏的逻辑节点中选择DEPENDENT,拖动到右侧画板中,弹出节点配置框,点确定即可完成节点的创建。

参数说明:

任务参数描述
添加依赖配置依赖的上游任务.
检查间隔检查依赖的上游任务状态间隔,默认10s.
依赖失败策略失败: 依赖的上游任务失败当前任务直接失败;等待: 依赖的上游任务失败当前任务继续等待;
依赖失败等待时间当依赖失败策略选择等待时,当前任务等待的时间.

样例:

Dependent 节点提供了逻辑判断功能,可以按照逻辑来检测所依赖节点的执行情况。

支持两种依赖模式,包括依赖于工作流和依赖于任务。依赖于任务的模式分依赖工作流中的所有任务和依赖单个任务两种情况。 依赖工作流的模式会检查所依赖的工作流的状态;依赖所有任务的模式会检查工作流中所有任务的状态; 依赖单个任务的模式会检查所依赖的任务的状态。