跳到主要内容

自定义任务(Flink/Spark Jar以及PySpark任务)

自定义任务开发主要是运行Jar任务为主,用户可以通过上传自定义Jar包、设置任务参数以及运行资源参数等;

  1. 点击左侧导航任务开发/自定义任务进入自定义任务管理页,可以看到当前工作空间下的所有的自定义任务以及每个人任务下的历史版本。

  2. 点击添加自定义任务按钮,在弹出的界面上设置任务名、处理引擎、选择应用包、设置主类、参数、以及配置项等信息。

处理引擎包括:Flink/Spark,选择Spark后,可以选择Spark AppJar类型以及PySpark方式

  1. 添加完成的任务,右侧操作栏有申请上线按钮出现,点击申请上线按钮,可以申请任务上线审批
  2. 任务更新。点击操作栏的编辑按钮,可以对当前任务发布一个新的版本。更新后,出现新的申请上线按钮,可以再次进行上线申请。
  3. 申请上线后,可以在审批任务界面看到,管理员可以对其继续审批处理。