跳到主要内容

数智开发

点击左侧导航栏任务开发-数智开发按钮,进入数智开发管理界面,可以看到当前工作空间下的开发note列表,在当前页面,可以对创建、编辑、以及对当前Note IDE的启停、日志查看和进入Note IDE界面等。

创建Note IDE

点击创建Note按钮,在弹出Note配置页面。按要求依次输入名称、资源配置信息包括CPU、内存、存储等大小以及描述信息,完成后点击创建按钮,可以创建一个新NoteIDE信息。

查看详情、编辑、删除、Note启停以及日志查询

对列表中Note记录,右侧包含 查看详情,编辑,删除,NoteIDE启停,查看日志,以及 进入IDE 按钮,对当前Note进行查看、编辑、启动停止以及日志查看等操作。

点击去开发按钮,进入Note IDE编辑界面

对于启动后,运行中的Note IDE,点击去开发按钮可以进入其界面进行代码开发,包括Flink SQL、Spark SQL以及Python相关代码编写,并将编写完成的代码发布为审批任务。

进入Note IDE界面后,选择`/home/coder/work-dir`目录进行代码的编辑。

在左侧树下,点击鼠标右键,创建一个名为user-demo.sql的Flink/Spark SQL note,在创建成功后,可以在其中进行Flink/Spark SQL的编辑,并对其中的SQL进行运行

  • 点击Run on activate connection在弹出的SQL Tool Connection中选择lakesoul-flink-global/lakesoul-spark-global连接信息,可以执行当前SQL。
  • 选中要执行的代码,点击右键,选择Run Selected Query在弹出的SQL Tool Connection中选择lakesoul-flink-global/lakesoul-spark-global连接信息,可以执行当前选中的SQL。
  • 运行完成后,会在右侧输出当前SQL或者选中的SQL执行或的结果
  • 将编写后的Flink/Spark SQL代码,点击右上角的任务配置按钮,可以对Flink流/批方式、Spark以批的方式发布上线审批,发布后可以对其进行流式或者批式的定时调度运行

在任务配置面板,选择是否是新建Note还是更新已上线任务Note,选择对应的Flink/Spark SQL文件获取SQL内容,选择对应的Flink、Spark处理引擎以及如果是Flink引擎的话设置任务的流还是批运行模式,设置对应的资源信息,点击发布按钮可以将其发布到任务管理的审批任务界面

创建Python任务并发布审批

在左侧树面板点击鼠标右键,创建一个名为user-note-1.py 或者user-note-1.ipynb的Python任务Note,在创建成功后,可以在其中进行Python相关任务的代码开发。

  • 运行编辑后的Python代码选中运行后环境,点击右上角的运行Python文件,可以执行当前Python代码,并可以查看输出结果点击Run ALL按钮或者对应的cell的Execute Cell按钮,执行其对应的代码,对应

    • 创建Python运行环境IDE内内置了conda命令,可以通过如下方式创建一个Python的虚拟运行环境,以便对开发项目相关依赖的隔离

      conda create -n lakesoul_venv python=3.10

      conda activate lakesoul_venv

      conda install -y -n lakesoul_venv -c conda-forge conda-pack
    • 在创建完环境后,点击界面右下角的环境选择,选择最新创建的运行环境

    • 以Jupyter的方式运行Python代码点击右上角的Select Kernel,在出现的Python环境选择列表选中对应的Python环境

    • 将编写后的Python代码,发布为审批任务,在审批后可以进行任务上线以定时调度方式运行在任务配置面板,选择是否是新建Note还是更新已上线任务Note,选择对应的Python文件内容,选择Python处理引擎,选择Python运行依赖环境,可以选择已上传的环境依赖文件或者也可以点击右侧的上传包,将新的打包后的tar文件上传为新的包文件,然后设置对应的资源信息,点击发布按钮可以将其发布到任务管理的审批任务界面

      1. 审批上线时需要将当前的虚拟环境通过conda pack -f -n lakesoul_venv -o lakesoul_venv.tar.gz打包为tar文件,并通过上传包的功能,将其传到包文件管理。如果上线后的Python任务运行时,如果依赖环境出现缺失的情况可以通过conda install安装相关的依赖库。
      2. 点击右上角的任务配置按钮,可以对Python类型的任务发布进行配置