作业开发概述

• 数据作业开发模块提供对数据进行同步、清洗、质量检测等数据相关开发工作配置，支持多种作业类型，内置自研作业调度系统。
• 适用于数据分析师、数据开发工程师、数据产品经理等多种用户人群，支持无代码式对海量数据进行处理，轻松上手，简单易用；支持开发工程师以JAVA/JS等多种方式开发各类业务处理过程，并可多次复用；基于HDP开源生态，可支持千亿级以上数据的调度、管理、清洗。

作业类型介绍

作业类型

• 目前系统共支持四类作业类型，分别是批处理工作流、SQL工作流、DAG工作流和实时工作流的可视化构建。
• 批处理工作流：基于可视化作业编辑器，适用于对数据进行批量的离线计算和处理，可使用系统内置的相关算法或数据处理算子，支持多数据源合并和多路输出，支持定时调度。
• SQL工作流：支持基于SQL编辑器提交SQL进行查询或输出作业，适用于需要基于多句或复杂SQL的数据查询或建表场景。支持定时调度
• DAG工作流：支持基于复杂的DAG构筑完成数据作业处理流程，可在配置中引用批处理工作流、支持自定义编写Java、shell等代码，适用于数据仓库搭建等复杂场景，支持定时调度和数据依赖关系。
• 实时工作流：支持基于消息度列读取数据，适用于对数据实时性要求高的场景，可使用部分系统内置数据处理算子，支持多路输出。

作业管理列表

• 在工作流桌面列表，用户可以直接根据工作流名称、创建时间、工作流ID或工作流类型进行快速筛选搜索，定位到您的目标工作流；在工作流列表项中，在直观展示工作流的名称、工作流ID、工作流类型、创建时间、创建人、运行频率（一次性or周期）以外，还可以快捷对该工作流进行操作：包括运行、编辑、设置、查看任务和复制等高频操作，满足您高效快速地管理工作空间的工作流需求。

任务管理列表

• 点击列表页的新建工作流入口，选择工作流类型和目标数据源后，便可以开启该数据源的工作流开发任务。数说XDP的数据开发模块为您提供了4种类型工作流，分别是批处理工作流、SQL工作流、DAG工作流和实时工作流，新建对应工作流后将打开图形化设计器，支持拖拉拽方式快速构建数据处理工作流，为您执行以完成对数据的一系列操作。以下将为您详细说明数说XDP的4种工作流类型：