Logo
    立即注册
    数说方舟
    产品文档
    数据管理概览
    最近更新时间:2022-08-16 10:28:12

    数据管理为用户提供数据接入、元信息管理与检索、数据质量监控等一站式的数据治理服务。

    模块功能概览

    功能模块 说明
    数据连接 数据连接是用户数据接入平台的第一步,平台支持多种异构数据源接入,包括关系型数据库、非关系型数据库、大数据引擎、消息队列、HTTP API等
    数据地图 数据地图围绕数据搜索,服务于数据分析、数据处理、数据服务等数据表的使用者和拥有者,提供方便快捷的数据搜索服务。
    数据质量 数据质量帮助您第一时间感知源端数据的变更与ETL中产生的脏数据。避免任务产出不符合预期的问题数据,影响正常使用和业务决策。

    基本概念

    连接器

    连接器用于连接不同的数据源,可以是Hive、Mysql、Elasticsearch、HBase等。可以把connector认为是一种数据库驱动。对于结构化数据,在连接器中完成DB对象与结构化数据源的映射(如:指定es的index为表,文档中的字段为列)。

    数据连接

    数据连接是连接器的连接实例,创建连接实例,需要输入数据库的连接(host:port)与认证信息(账号、密码等)。

    数据源

    与RDBMS中数据表的定义一致,指以行列形式组合而成的数据集合。数据源与数据库的映射关系在连接器中定义。如:将Elasticsearch的index映射成系统中的一个数据源,此定义在数据连接器中完成定义。

    微信扫描二维码在线咨询