跳到主要内容

程序包管理

程序包管理主要用于管理 Flink/Spark UDF Jar 包、Flink/Spark App Jar 包、PySpark 运行依赖文件,以及 Ray Job 使用的 Ray 工作目录包(Ray Working Directory,类型 7)。Ray 工作目录包只支持 .zip。

  1. 点击左侧导航任务开发/程序包管理进入包管理页,可以看到当前工作空间下的程序包管理,包括包的类型以及说明,也可以对其进行包的删除和更新操作。
  2. 点击上传包按钮,弹出上传包界面,设置包名称、包类型、待上传文件和描述信息。选择 Ray Working Directory 类型时,只能上传 .zip 文件,然后点击上传。

Ray 任务的两种包​

包类型用途Ray 任务支持的格式
Ray Working Directory(类型 7)项目模块、配置和资源文件.zip
Python Archives(类型 6)Python 解释器和依赖环境.zip、.tar.gz

两者均可选,支持 RayJob-managed 和 Standalone 集群,也可以同时选择。不要把 Conda 环境作为 Ray Working Directory 上传。

工作目录包​

建议直接压缩项目所需的模块和资源,例如在项目目录中执行:

zip -r ray-project.zip my_modules config data

按项目实际情况选择需要打包的目录。任务入口代码由平台单独加入,包内不要包含与平台生成入口文件同名的文件。上传 ZIP 后,在 Ray 任务中选择对应的工作目录包;excludes 可在 Ray Runtime Env 配置中用于过滤包内容,不会透传给 Ray。

Python 环境包​

例如打包已经准备好的 Conda 环境:

conda pack -f -n lakesoul_venv -o lakesoul_venv.tar.gz

以 Python Archives 类型上传后,在 Ray 任务的 Python Archives 中选择。归档根目录应直接包含 bin/python 和 bin/activate,不要额外嵌套一层环境目录。包内需要包含任务所需依赖,并与集群的系统、CPU 架构及 Ray/Python 版本兼容;选择环境包不会替换集群镜像或 Ray 集群本身。

选择 Python Archives 后,不要同时在 Runtime Env 中填写 pip、conda、uv、py_executable、container 或 image_uri。完整配置限制见 Ray Job 发布配置。