Logo
    立即注册
    数说方舟
    产品文档
    数据集成
    最近更新时间:2022-08-16 10:28:13

    简介简介

    在数据集成中,用户可以将各种数据从一个连接实例同步到另一个连接实例中,提供多方数据整合、集中的服务,拥有自由选择待同步数据、同步路径和定时启动集成作业的强大功能。

    核心概念介绍

    核心概念 说明
    同步数据的来源。
    目标 同步数据的目的地,源中的数据将会同步到这里。
    集成作业 表示源-目标的关系和数据同步的配置信息。
    表示一组有关联的数据,如一个database里的tables、一个api接口里的resources等。同步数据在流中选择。
    namespace 可存储同步数据的位置,如database、schema。不同连接的namespace可能会不同。

    创建集成作业

    1.在数据管理-数据集成页面中,点击【新建集成作业】按钮

    2.配置集成作业信息 源配置

    • 连接器:选择同步数据来源所属的连接器类型。如果选择的连接器类型有namespace时,还需要选择namespace,如mysql类型的namespace为database。像api类型这种没有namespace的,则不需要选择。
    • 源:选择同步数据来源所属的连接实例。选择范围:所有【owner为当前用户】的连接实例。 目标配置 连接器和目标概念大致同上。
    • namespace:选项有镜像拷贝(与源的存储路径一致)、路径选择(同步到目标中已有的存储路径中)、自定义(同步到新建的存储路径中)。
    • namespace名称:当namespace选择自定义时,需要填写。
    • 流前缀:目标流的前缀。 同步配置
    • 执行频率:数据同步的执行频率,可选择手动执行或定时执行。
    • 转换&范式化:同步数据保持原始格式(JSON) 选择流
    • 可勾选多个要执行数据同步的流,目前只有全部数据追加的同步模式。

    3.点击确定,集成作业创建成功

     

    管理数据集成

    作业列表查看与操作

    在数据管理-数据集成页面中,集成作业列表展示的是全部【owner为当前用户】的作业及相关信息。用户可以启动或关闭作业的定时执行按钮,也可以手动执行同步。

    查看集成作业详情

    点击集成作业列表的详情按钮,进入作业详情页面,可以查看作业的基本配置信息以及运行记录。 运行记录状态有六种:成功、失败、运行中、已取消、排队中、再次重试。

    编辑集成作业配置信息

    点击集成作业列表的编辑按钮,再点击编辑页面的编辑按钮,可以修改作业的配置信息。

    微信扫描二维码在线咨询