源数据管理

    定义读取的数据的数据结构。

    数据模型分类

    内部模型:从内部数据源读取数据,是有实体的物理表,如果内部(INTERNAL)数据源中不存在此表,则会进行创建(已废弃)

    外部模型:从外部数据源读取数据,不会执行建表操作,可能没有实体。由使用者保证外部(EXTERAL)数据源中表的存在。如果外部数据源不存在此表,如果后续的使用中用到了这张表,就会报错。

    因为数据模型依赖数据源,所以首先需要确定读取的数据源是外部还是内部,再创建对应的数据模型。此处举例创建外部数据模型(内部数据模型已废弃,仅供查看历史数据使用)。

    1.新增数据模型(非mysql类型数据,如果是mysql类型数据通过数据源探知勾选模型进行同步)

    1)选择EXTERNAL;

    2)点击新增数据模型;

    3)编辑数据模型。

    数据源名称:如果创建的是外部数据模型,那么可供选择的数据源也只能是外部数据源,反之亦然。

    数据模型标示:相当于给数据模型打上tag,一般用来分类数据模型。可在配置管理的数据标示中新建自己需要的tag。

    描述:可不写,对当前数据模型作用进行业务描述。

    点击确定创建完成后,展示框最上方会显示刚才创建的数据模型。

    源数据管理 - 图2

    2.点击刚才创建的数据模型,对字段进行编辑(非mysql类型的数据才可编辑,mysql类型的字段数据通过数据源探知进行数据同步)

    如果创建的数据模型名称在数据源中有相同名称的表,那么数据源内表的数据结构会自动同步过来。

    此处支持两种编辑模式:自定义模式和SQL编译模式。

    1). 自定义模式:

    (1)选择自定义模式;

    (2)点击新增字段;

    (4)点击确定,保存配置。

    若需要添加索引,可以点击下方新增索引,对索引进行配置

    2). SQL编译模式 (INTEREAL)(已废弃)

    (1)选择SQL编译模式;

    (2)在空白框输入语句(在**内部**模型中仅支持ALTER TABLE )

    (3)点击执行;

    (4)如果在执行结果中字段出现则表示成功,若没有出现,可以在下方日志中查看SQL报错信息进行排查。

    源数据管理 - 图4

    SQL编译模式 (EXTERAL)

    创建外部数据模型和内部数据模型使用自定义模式时步骤一致,但在使用SQL编译模式时略有不同

    针对当表的字段过多,一个一个新增字段太过麻烦的情况。

    (1)选择SQL编译模式;

    (2)在空白框输入语句(在**外部**模型中支持CREATE TABLE );

    (3)点击执行;

    (4)如果在执行结果中字段出现则表示成功,若没有出现,可以在下方日志中查看SQL报错信息进行排查。 对es的数据源建数据模型建表语句示例:

    点击数据模型内的编辑,可以在字段已经生成情况下修改字段配置(非mysql类型数据可修改)。

    点击数据模型外的编辑,可以修改数据模型。

    批量打标功能是当在左边复选框选择一个或多个数据模型时,点击后可以对这些数据模型同步添加数据模型标示。

    1. 首先确定要查询的数据模型是内部还是外部,选择对应的类型;

    源数据管理 - 图7

    能在页面上查询cassandra模型的数据。

    注:在原数据管理-即席查询下,只能查询ods模型。如需查询其他模型,请移步数据集市-即席查询进行。

    1) 选择即席查询;

    2) 选择模型类型和模型名称;

    3) 点击复制查询语句;

    4) 点击执行进行查询。

    如果查询的模型不是本人创建的话,会出现没有权限的提示,如下图。

    源数据管理 - 图9

    申请权限步骤:

    1)点击数据模型;

    2)在模型名称中输入要申请的模型;

    3)点击图标进行申请。

    提交的申请会在数据权限中显示。

    源数据管理 - 图11

    可以对数据模型中的一些字段进行脱敏加密。