检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置完成后,单击“立即创建”。当符合规则的告警产生时,系统会自动进行通知。 更多关于监控告警的信息,请参见云监控用户指南。 配置所有资源告警 用户可以对实时处理集成作业的监控指标设置告警策略。当监控指标在一定周期内多次触发告警策略的阈值时,系统将向用户发送告警通知。具体操作请参见创建告警规则和通知。
选择要移动的作业 在弹出的“移动作业”或“移动目录”页面,配置作业要移动到的目录。 图2 移动作业 图3 移动目录 表1 移动作业/作业目录参数 参数 说明 选择目录 选择作业或作业文件夹要移动到的目录,父级目录默认为根目录。 单击“确定”,移动作业。 方式二:通过拖拽的方式。 单
待删除集群中所需的连接和作业数据已通过批量管理CDM作业中的导出作业功能进行备份。 对于购买DataArts Studio服务时系统赠送的CDM集群,非常不建议您进行删除操作。该集群删除后无法再次赠送,只能另外购买。 删除集群后,CDM集群不再按需计费或扣除套餐时长。如果您为删除的CDM集
“新建业务对象”,系统会自动显示“编码”参数,编码规则支持“自动生成”和“自定义”两种方式。 自动生成:按照配置中心的编码规则自动生成 自定义:输入自定义编码 主题设计中,不同L1层级下的业务对象支持重名。 主题层级数目由用户在配置中心的主题层级中自定义,系统默认有三个层级,从上
DAYU User账号,但为当前工作空间的管理员。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签,单击列表中相应工作空间后的“编辑”,弹出“空间信息”弹窗。 图1
生成一个新的Signer,填入AppKey和AppSecret。 1 2 3 4 5 6 7 8 // 认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“OBS桶”。 配置OBS桶的信息。 图1 配置OBS桶 单击“保存”,完成配置。
Manager的用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户
tenantId 否 String 租户ID。获取方式参考此接口的路径参数“project_id”获取。 self_defined_fields 否 Array of SelfDefinedFieldVO objects 自定义项。主题的自定义属性项。 表6 parent 参数 是否必选 参数类型
API。 如果非审核人权限的用户发布API时,待审核人审核通过后,即可发布完成。 处于待审核状态的API无法修改数据连接,需要具有空间管理员角色的用户审批驳回才可进行修改。 审核人支持管理员、开发者、运维者,访客无法添加为审核人。 工作空间管理员角色的用户,无论是否被添加为审核人,都默认具备审核人权限。
当前用户可回收其他用户具备的该队列的权限,但不能回收该队列所有者的权限 查看其他用户具备的权限 : 当前用户可查看其他用户具备的该队列的权限 重启队列 : 重启此队列的权限 规格变更 : 修改队列规格的权限 图6 DLI队列详情 相关操作 删除队列资源:在队列权限目录页面,先单击选择需要删除的队列资
数据迁移进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导
tenantId 否 String 租户ID。获取方式参考此接口的路径参数“project_id”获取。 self_defined_fields 否 Array of SelfDefinedFieldVO objects 自定义项。主题的自定义属性项。 表6 parent 参数 是否必选 参数类型
关键操作指导 增量迁移原理介绍 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍 父主题: 数据集成
不覆盖:如果已存在同名API,则不导入该API。 当导入API与原有API定义冲突时,覆盖原有API定义:如果存在同名API,则按照导入的API更新API定义。 导入文件 待导入的API文件可以是从其他项目直接导出的API文件,也可以是通过模板填写的Excel文件,需要确保符合模板规范要求。 图5 导入API
重命名作业 在弹出的“重命名作业名称”页面,配置新作业名。 图3 重命名作业名称 表1 重命名作业参数 参数 说明 作业名称 自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“.”,且长度为1~128个字符。 单击“确定”,重命名作业。 父主题: (可选)管理作业
SelfDefinedFieldVO objects 自定义项。主题的自定义属性。 表4 SelfDefinedFieldVO 参数 是否必选 参数类型 描述 fd_name_ch 否 String 自定义项中文名。 fd_name_en 否 String 自定义项英文名。 not_null 否 Boolean
缘两种方式。一般推荐使用自动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的,无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。
SelfDefinedFieldVO objects 自定义项。主题的自定义属性。 表4 SelfDefinedFieldVO 参数 是否必选 参数类型 描述 fd_name_ch 否 String 自定义项中文名。 fd_name_en 否 String 自定义项英文名。 not_null 否 Boolean
参数类型 描述 data data object data,统一的返回结果的最外层数据结构。 表5 data 参数 参数类型 描述 value StandElementFieldVO object value,统一的返回结果的外层数据结构。 表6 StandElementFieldVO