在新建完工作空间后,我们就会进入到数据管理模块的数据源界面,在这里您将接入即将开始处理的数据源,开启数说XDP数据探索旅程。
数说XDP的数据源模块支持10余种异构数据源的接入,支持批量数据接入、实时数据集成和数据库实时同步,基本覆盖当前市面上常用的数据库类型;
与此同时,当接入完对应数据源后,还支持您查看该数据源概览信息,包括数据字段预览、字段设置、连接配置、关联关系、数据开发的历史记录和ETL工作流列表数据源相关信息;支持基于可视化页面进行多源异构数据的行/列追加和映射,在单个流程中解决不同来源数据的融合工作,省时省力。
新建数据源
、新建数据视图
和新建文件夹
,新建文件夹的功能可以方便您进行文件路径管理,接下来将详细的说明一下新建数据源和数据视图的功能。新建
按钮的选项列表中,选择新建数据源
打开新增数据源页面,您可以选择本地上传、导入已有数据源、非关系型数据库(elastic、mongoDB)、关系型数据库(MySQL、SQLServer、Oracle)、大数据引擎(Hive、presto)、消息队列(kafka)和第三方授权(微信)7种一级类型的数据导入。数据源分类 | 数据源 | 读取 | 写入 | 说明 |
---|---|---|---|---|
本地上传 | CSV | 支持 | 支持 | 每个文件不超过200M |
导入已有数据源 | - | 支持 | 不支持 | - |
非关系型数据库 | ElasticSearch | 支持 | 支持 | - |
非关系型数据库 | MongoDB | 支持 | 支持 | - |
关系型数据库 | MySQL | 支持 | 支持 | - |
关系型数据库 | SQLServer | 支持 | 支持 | - |
关系型数据库 | Oracle | 支持 | 支持 | - |
大数据引擎 | Hive | 支持 | 支持 | - |
大数据引擎 | Kylin | 支持 | 支持 | - |
大数据引擎 | Presto | 支持 | 支持 | - |
消息队列 | Kafka | 支持 | 支持 | - |
第三方授权 | 微信 | 支持 | 支持 | - |
新建
按钮的选项列表中,选择新建数据视图
打开新增数据视图页面,您可以选择若干个关系型数据表的来新建数据视图。支持最多7个数据源相互关联,可以选择的表与表、表与视图、视图与视图之间的内联、左联和右联。注意:被关联的关系型数据表必须在同一个database。
新建数据视图的本质是执行create view语句,所以只对于关系型数据库有效。此外,在某些情况下创建数据视图会失败,失败的情形包括:
1. 连接数据库的用户账号不具备create view权限;
2. 数据库中已经存在同名的视图;
3. 其他可能导致关系型数据库引擎执行create view语句失败的情形;
当您成功接入完数据源后,便可以在数据源页面中查看到您所接入的数据源了,同时数说XDP支持对列表项进行基本操作:
Tips:当数说XDP在接入用户数据源的时候,会需要相应处理时间,请您耐心等候。同时我们也在数据源名称前设置了数据源的状态信息,方便您对该数据源的情况进行直观判断。
状态标识 | 状态说明 | 备注 |
---|---|---|
● |
数据加载中 | 请您耐心等候 |
● |
数据源状态良好 | - |
● |
数据源状态不佳 | 可通过字段设置进行优化 |
● |
数据源出现严重问题,几乎无法访问 | - |
● |
数据源无法访问 | 查看是否有权限 |
以下列表提供了各个数据源信息概览功能的详细说明:
功能 | 功能描述 | 备注 |
---|---|---|
数据预览 | 对前1000条数据进行预览 | 基本功能 |
字段设置 | 对字段别名、描述进行设置(支持CSV上传)、新建分组 | 基本功能 |
连接配置 | 配置数据源访问过程中的数据路由 | 基本功能 |
关联关系 | 显示数据源相关的数据服务API/数据应用信息 | 需要开通数据服务或数据应用的相关功能权限 |
历史纪录 | 数据源相关ETL的历史任务 | 需要开通数据开发的相关功能权限 |
ETL工作流列表 | 数据源相关ETL的历史工作流列表 | 需要开通数据开发的相关功能权限 |
产品咨询
020-38061725
微信扫描二维码在线咨询