本文是离线算法平台的使用说明

流程说明

1. 业务方将输入文件上传到指定的文件系统
2. 业务方通过相关接口提交离线任务，离线平台会返回一个任务Id
3. 业务方凭任务Id查询任务状态，详见【查询任务状态】说明
4. 如果任务成功了，业务方到文件系统下载结果文件

文件系统

提交离线任务时，需要传文件系统相关的参数。常见的离线平台文件系统为HDFS和CEPH，下面是参数示例

HDFS

示例

  "inputFileSystemInfo": {
    "fileSystemType": "HDFS",
    "port": "your_hdfs_namenode_httpserver_port",
    "userName": "your_hdfs_file_userName"，
    "host": "your_hdfs_namenode_httpserver_host",
    "spareHost": "your_hdfs_SecondaryNameNode_host",
    "inputPath": "your_file_input_path_here"
},
  "outputFileSystemInfo": {
    "fileSystemType": "HDFS",
    "port": "your_hdfs_port",
    "userName": "your_hdfs_userName"，
    "host": "your_hdfs_host",
    "spareHost": "your_hdfs_SecondaryNameNode",
    "outputPath": "your_output_path_here"
}

说明:

• fileSystemType：固定填写HDFS
• port：namenode的http服务端口
• host：namenode的http服务域名
• spareHost：SecondaryNameNode的地址
• inputPath：输入文件或文件夹的路径
• userName：输入文件所属的user
• outputPath：输出的文件夹路径

CEPH

示例

  "inputFileSystemInfo": {
    "fileSystemType": "CEPH",
    "port": "your_ceph_port",
    "userName": "your bucket accessKey"，
    "password": "your bucket secretKey"，
    "host": "your_ceph_host",
    "inputPath": "bucket_name#your_input_path"
},
  "outputFileSystemInfo": {
    "fileSystemType": "CEPH",
    "port": "your_ceph_port",
    "userName": "your bucket accessKey"，
    "password": "your bucket secretKey"，
    "host": "your_ceph_host",
    "outputPath": "bucket_name#your_output_path"
}

说明:

• fileSystemType：固定填写CEPH
• port：ceph端口
• host：ceph域名
• userName：bucket的accessKey
• password：bucket的secretKey
• inputPath：格式为【bucket#输入文件文件路径】
• outputPath：格式为【bucket#输出文件文件夹路径】

查询任务状态

• 请求示例

  curl -XGET -H 'Authorization: your token here' \
  https://open.datastory.com.cn/api/algorithm/task/get?taskId=${taskId}

• 请求说明

  • taskId是提交离线算法任务时返回的

• 响应结果示例

  {
  "id":3039696,
  "status":"FINISHED",
  "addTime":"2022-08-08 15:51:23",
  "startTime":"2022-08-08 15:51:23",
  "finishTime":"2022-08-08 15:52:35"
  }

• 响应结果说明
  • status：任务状态

    INITIALING 任务正在初始化 或 正在等待资源
    RUNNING 运行中
    FINISHED 成功
    ERROR 失败

  • addTime：任务添加时间
  • startTime：任务开始时间
  • finishTime：任务结束时间

邮箱

必填。提交离线算法任务时，需要填入邮箱，用于接收任务状态的邮件，当任务异常、任务被取消会以邮件的形式发送到该邮箱地址。

注意事项

1、